预训练语料

预训练语料

15 万亿 token 的网页语料怎么炼成？FineWeb 的清洗流水线拆解

FineWeb 是 Hugging Face 于 2024 …

2026-09-03

0

预训练语料

800GB 开源语料是怎么攒出来的？The Pile 的 22 个子集拆解

The Pile 是 EleutherAI 于 2020 年…

2026-07-14

0

预训练语料

1.4 万亿 token 里炼出 1560 亿：C4 是怎么把网页「洗」成语料的

C4（Colossal Clean Crawled Corp…

2026-07-16

0