标签：数据集

预训练语料

15 万亿 token 的网页语料怎么炼成？FineWeb 的清洗流水线拆解

FineWeb 是 Hugging Face 于 2024 …

2026-09-03

0

不到 500 美元造出「听话」的模型：Alpaca 那 5.2 万条指令数据

Alpaca 是斯坦福 CRFM 于 2023 年 3 月发…

2026-07-25

0

164 道题考倒大模型：HumanEval 为什么是代码能力的照妖镜

HumanEval 是 OpenAI 在 2021 年 Co…

2026-07-25

0

58.5 亿个图文对从哪来？LAION-5B 如何把整个网页装进数据集

LAION-5B 是 LAION 组织于 2022 年发布的…

2026-07-23

0

不靠人工标注也能教会 AI 懂偏好，聊聊 100 万条 UltraFeedback

UltraFeedback 是清华团队发布的超大规模 AI …

2026-07-20

0

从 33 万张图到 150 万个标注：COCO 如何定义计算机视觉的十年

MS COCO 是微软主导、2014 年发布的计算机视觉标杆…

2026-07-18

0

从 2370 亿个网页里捞出 147 亿 token：OpenWebMath 的数学语料炼金术

OpenWebMath 是 2023 年发布的开源数学网页文…

2026-07-14

0

预训练语料

800GB 开源语料是怎么攒出来的？The Pile 的 22 个子集拆解

The Pile 是 EleutherAI 于 2020 年…

2026-07-14

0

9000 亿 token 的代码语料：The Stack v2 与 Software Heritage 的来龙去脉

The Stack v2 是 BigCode 项目发布的超大…

2026-07-13

0

1.6 万条对话、35 种语言：OpenAssistant 那份众包指令数据的来龙去脉

OASST1（OpenAssistant Conversat…

2026-07-13

0

「有用」还是「无害」？Anthropic 那套 HH-RLHF 偏好数据怎么教会模型取舍

HH-RLHF 是 Anthropic 在 2022 年论文…

2026-07-11

0

GSM8K：8500 道小学数学题，为什么成了大模型推理的试金石

GSM8K 是 OpenAI 于 2021 年发布的数学文字…

2026-07-07

0