Ainexis
预训练语料数据集，包括 Common Crawl、C4、The Pile、RedPajama、FineWeb、Dolma 等大规模文本语料，介绍清洗流程、去重策略、质量过滤与许可证约束。
FineWeb 是 Hugging Face 于 2024 …
The Pile 是 EleutherAI 于 2020 年…
C4（Colossal Clean Crawled Corp…
