数据集

大模型训练与评测所需数据集的盘点与使用指南，覆盖预训练语料、指令数据、偏好数据、评测基准、多模态与领域数据六大类，含数据结构、规模、许可证与获取方式。

GSM8K：8500 道小学数学题，为什么成了大模型推理的试金石

GSM8K 是 OpenAI 于 2021 年发布的数学文字…

2026-07-07

0

2600 万条医疗问答，超第二名两个数量级：华佗 Huatuo-26M 怎么炼成的

Huatuo-26M 是目前规模最大的中文医疗问答数据集，包…

2026-07-23

0

从 2370 亿个网页里捞出 147 亿 token：OpenWebMath 的数学语料炼金术

OpenWebMath 是 2023 年发布的开源数学网页文…

2026-07-14

0

9000 亿 token 的代码语料：The Stack v2 与 Software Heritage 的来龙去脉

The Stack v2 是 BigCode 项目发布的超大…

2026-07-13

0

128 亿图文对当「候选池」：DataComp 把「选数据」变成了一场竞赛

DataComp 是一个与众不同的多模态数据基准：它把训练代…

2026-07-25

0

从 33 万张图到 150 万个标注：COCO 如何定义计算机视觉的十年

MS COCO 是微软主导、2014 年发布的计算机视觉标杆…

2026-07-18

0

58.5 亿个图文对从哪来？LAION-5B 如何把整个网页装进数据集

LAION-5B 是 LAION 组织于 2022 年发布的…

2026-07-23

0

57 个科目、15908 道题：MMLU 为什么成了大模型的「通用知识体温计」

MMLU（Massive Multitask Languag…

2026-07-17

0

164 道题考倒大模型：HumanEval 为什么是代码能力的照妖镜

HumanEval 是 OpenAI 在 2021 年 Co…

2026-07-25

0

预训练语料

15 万亿 token 的网页语料怎么炼成？FineWeb 的清洗流水线拆解

FineWeb 是 Hugging Face 于 2024 …

2026-09-03

0

让 GPT-4 当裁判，18.3 万条偏好对比：Nectar 是怎么给 RLHF 造数据的

Nectar 是 UC Berkeley BAIR 团队（C…

2026-07-15

0

「有用」还是「无害」？Anthropic 那套 HH-RLHF 偏好数据怎么教会模型取舍

HH-RLHF 是 Anthropic 在 2022 年论文…

2026-07-11

0

不靠人工标注也能教会 AI 懂偏好，聊聊 100 万条 UltraFeedback

UltraFeedback 是清华团队发布的超大规模 AI …

2026-07-20

0

5000 名员工众包 1.5 万条指令：Dolly 那份「能商用」的指令数据怎么来的

当 Alpaca、Vicuna 这些指令微调模型都因为「用了…

2026-07-09

0

1.6 万条对话、35 种语言：OpenAssistant 那份众包指令数据的来龙去脉

OASST1（OpenAssistant Conversat…

2026-07-13

0

不到 500 美元造出「听话」的模型：Alpaca 那 5.2 万条指令数据

Alpaca 是斯坦福 CRFM 于 2023 年 3 月发…

2026-07-25

0

预训练语料

1.4 万亿 token 里炼出 1560 亿：C4 是怎么把网页「洗」成语料的

C4（Colossal Clean Crawled Corp…

2026-07-16

0

预训练语料

800GB 开源语料是怎么攒出来的？The Pile 的 22 个子集拆解

The Pile 是 EleutherAI 于 2020 年…

2026-07-14

0