数据集速览卡
| 数据集名称 | HH-RLHF（Helpful and Harmless） |
| 发布机构 | Anthropic |
| 发布时间 | 2022 年 4 月（arXiv 2204.05862） |
| 规模 | 数十万条人类偏好对比（helpful + harmless 两类） |
| 语言 | 英语 |
| 许可证 | 研究用途（数据在 GitHub 开源，见论文说明） |
| 用途定位 | RLHF 训练的人类偏好数据，训练奖励模型（reward model） |
背景：RLHF 的「偏好」从哪来
2022 年，RLHF（Reinforcement Learning from Human Feedback，基于人类反馈的强化学习）刚被 InstructGPT 证明是让大模型「听话」的关键技术。但 RLHF 有个绕不开的前提：你得先有一份「人类偏好」数据——对同一个问题，两个回答，人类告诉你哪个更好。用这份数据训练出一个奖励模型（reward model），再让语言模型朝着「奖励更高」的方向优化。
问题是，这份偏好数据怎么来？InstructGPT 的做法是让标注员给回答排序，但 OpenAI 没有公开这份数据的细节。而且更根本的问题是：什么叫「更好」？
Anthropic 的洞察就在这里——「更好」不是一个单一维度。一个回答可能「很有用」（帮你把问题解决了），但可能「有害」（教了你一个危险的操作）；反过来，一个回答「很无害」（说什么都不得罪人、不输出危险内容），但可能「没用」（顾左右而言他，不解决实际问题）。有用和无害，是两条经常冲突的轴。
HH-RLHF 这套数据，就是 Anthropic 把「有用」和「无害」明确拆成两个独立目标、分别收集人类偏好数据的产物。论文标题《Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback》直接点题：训练一个「既有用又无害」的助手。这个「有用 + 无害」的二元框架，后来成了 Claude 系列对齐理念的基石。
数据构成与规模：两条轴，两类数据
HH-RLHF 的核心结构很清晰：它把人类偏好数据分成两大部分，分别对应「有用」和「无害」两个目标。
Helpful（有用）部分：这部分的数据来自模型和标注员的真实对话。标注员（人类）向模型提问，模型生成回答，标注员在多个回答中选出「哪个更有用」。这种对话式的数据采集，让「有用」的定义落到了真实的使用场景里——用户真的想得到帮助，而不是在测试模型的边界。
Harmless（无害）部分：这部分的数据采集方式截然不同，Anthropic 专门组织了「红队」（red teaming）测试。红队成员的任务就是想方设法诱导模型说出有害内容——攻击性、偏见、危险操作、隐私泄露等等。模型一旦被诱导出有害回答，这个「有害回答」和「安全回答」就构成了一对珍贵的对比样本。这种「专门找茬」的方式，让「无害」这个目标有了足够多、足够难的负样本。
两部分的规模加起来，构成了当时规模最大、维度最清晰的一套公开 RLHF 偏好数据。数据在 GitHub（github.com/anthropics/hh-rlhf）开源，以 jsonl 格式提供，每条样本包含一个 prompt、一个被选中的（chosen）回答和一个被拒绝的（rejected）回答。这种「chosen vs rejected」的成对格式，后来成了 RLHF 偏好数据的标准范式，被无数后续数据集沿用。
值得注意的是，论文里还描述了「迭代式在线训练」的模式：偏好模型和 RL 策略按周更新，每周都用新采集的人类反馈数据刷新。这意味着 HH-RLHF 不只是一份静态数据，而是一种「数据持续流动」的方法论的体现——数据在模型训练过程中不断被更新和扩充。
构建方法：红队测试与偏好标注
HH-RLHF 的构建方法里，最有原创性的是「无害」数据的采集——红队测试。
红队测试（red teaming）这个词来自军事演习，指让一方专门扮演「攻击者」来找出系统的弱点。Anthropic 把这一套用在了模型安全上：他们组织了一批红队成员，明确告诉他们「想办法让模型说错话、做坏事」。这些成员会尝试各种诱导技巧——角色扮演、迂回提问、假装无害的请求、组合攻击等等。
为什么要这么做？因为「无害」这个目标的难点在于，模型在正常对话里往往表现得很安全，只有面对刻意的攻击时才可能失守。如果只是随机收集偏好数据，有害样本会极度稀疏，模型学不到「什么是有害」。红队测试等于主动「制造」了大量高难度的有害样本，让奖励模型有了足够的学习信号。
「有用」数据的采集则相对常规：让标注员和模型对话，标注员按真实需求提问，然后对模型的多个回答做偏好选择。这里的核心是「真实对话」——标注员不是在做一道测试题，而是在真的用这个助手，这种真实性让「有用」的偏好更贴近实际。
两条轴的偏好数据分开标注、分开训练，让模型能分别学会「怎么更帮忙」和「怎么不惹祸」。论文的一个关键发现是：这两个目标之间确实存在张力（tension），一味追求有用可能损害无害，反之亦然。如何处理这个张力，成了后续对齐研究的一个核心问题。
RLHF 的完整技术链路：从偏好到模型
理解 HH-RLHF，需要先理解它服务的 RLHF 流程。RLHF 是一套三阶段的训练范式，HH-RLHF 是其中关键的第二阶段数据。
第一阶段：监督微调（SFT）。用高质量的「指令-回答」对，让预训练模型学会「怎么按指令作答」。这是打基础的一步，让模型先学会对话的基本格式和行为。
第二阶段：训练奖励模型（Reward Model）。这一步就是 HH-RLHF 的主战场。拿「prompt + 两个回答（chosen/rejected）」这样的偏好数据，训练一个奖励模型，让它学会「给好回答打高分、给坏回答打低分」。奖励模型本质上是一个「学会了人类偏好」的打分器。
第三阶段：强化学习优化（PPO）。用训练好的奖励模型作为「奖励信号」，通过 PPO 等强化学习算法优化语言模型，让模型生成的内容朝着「奖励更高」的方向走。这里的「奖励高」就等于「更符合人类偏好」。
HH-RLHF 提供的数据，正是第二阶段的「燃料」。没有高质量的 chosen/rejected 偏好对，奖励模型就学不会人类的喜好，第三阶段的优化也就无从谈起。所以「偏好数据」是 RLHF 的质量基石——这也是为什么 Anthropic 要花大力气做红队测试来采集高质量的无害偏好数据。
论文里还有一个重要的技术发现值得记录：RL 奖励和「策略与初始模型的 KL 散度的平方根」之间大致呈线性关系。这个发现为 RLHF 训练中的正则化（用 KL 散度约束模型不要偏离太远）提供了理论支撑，是后续很多 RLHF 实现里「KL 惩罚」机制的来源。
从 HH-RLHF 到 Constitutional AI：一条清晰的演进线
HH-RLHF 的意义，不止于数据本身，更在于它是 Anthropic 对齐理念演进的关键一环。理解这条线，才能真正理解这份数据的历史地位。
HH-RLHF 的「有用 + 无害」二元框架，暴露了一个根本难题：要采集高质量的无害偏好数据，必须靠人类红队不断「攻击」模型，成本高、覆盖有限、还容易漏。而且「无害」的标准由标注员临时判断，缺乏一套稳定、可解释的规则。
这个难题直接催生了 2022 年底的 Constitutional AI（宪法式 AI）。它的核心思路是：不再完全依赖人类红队标注「什么是有害」，而是给模型一套书面的「宪法」规则（比如「不要输出攻击性内容、偏见表达、危险操作的内容」），让模型自己根据规则去评估和修正自己的回答。人类只需监督这套规则本身，而不必逐条标注。
从 HH-RLHF 到 Constitutional AI，本质上是从「人类直接教模型」进化到「人类定规则、模型自我约束」。而 HH-RLHF 的 helpful/harmless 双维框架，正是这条进化线的起点——它第一次把「有用」和「无害」这两个目标明确地区分开来，并提供了对应的数据。
有用与无害的冲突：一个贯穿始终的难题
HH-RLHF 论文里最深刻的一个发现，是「有用」和「无害」这两个目标之间存在真实的冲突，而不是可以轻松兼得的。这个冲突，是理解后续所有对齐工作的关键。
冲突的根源在于：有时候，「最有用的回答」恰恰是「最有害的回答」。举一个典型的例子：如果用户问「怎么做一个简易的爆炸装置」，一个「纯粹有用」的模型会详细、准确地给出步骤——这恰恰是最危险的。反过来，一个「纯粹无害」的模型会拒绝回答，甚至对很多正常的、略带敏感的问题也一律拒绝，导致「有用性」大打折扣——用户问一个关于安全的合理问题，模型却草木皆兵。
论文观察到，在训练中如果只优化「有用」，模型的有害行为会上升；如果只优化「无害」，模型又变得过于保守、拒绝过多。这种「按下葫芦浮起瓢」的张力，说明对齐不是一个单一维度的优化问题，而是一个多目标权衡问题。
这个发现的深远影响在于：它促使研究者不再把「对齐」当成一个笼统的目标，而是意识到需要显式地、分别地处理多个（有时互相冲突的）价值维度。HH-RLHF 的 helpful/harmless 双数据、双模型的设计，正是对这种多维性的第一次系统性回应。后来的工作——包括 Constitutional AI、以及各种「多目标 RLHF」——本质上都是在继续回答「如何在多个冲突的价值之间取得平衡」这个问题。
红队测试的手法：如何系统性地诱导模型犯错
HH-RLHF 的「无害」数据依赖红队测试，而红队测试本身有一套值得了解的方法论。
红队成员会使用多种诱导策略来试探模型的底线。常见的手法包括：角色扮演（让模型扮演一个没有道德约束的角色）、迂回表达（不直接问敏感问题，而是用隐晦的、间接的方式引出有害内容）、组合攻击（把多个看似无害的请求组合起来，形成有害的整体）、利用模型的「乐于助人」（先让模型进入「帮忙」的状态，再逐渐引导到危险话题）等等。
这些手法的共同点，是「找模型的弱点」——不是测试模型在正常情况下的表现，而是主动探测它在压力、诱导、边界情况下的失守。红队成员每次成功诱导出有害回答，就为「无害」偏好数据贡献了一条高价值的负样本。
红队测试的价值，在后来被反复验证。它已经从一个「数据采集手段」演变成了 AI 安全评估的标准方法——今天所有主流大模型在发布前，都要经过内部和外部的红队测试。而 HH-RLHF 是这个方法在大规模偏好数据采集中的早期、系统性的应用之一。
下载与使用
HH-RLHF 的数据在 GitHub 上开源：github.com/anthropics/hh-rlhf，数据以 jsonl 文件提供。在 Hugging Face 上也有社区镜像（如 Anthropic/hh-rlhf），可以直接用 datasets 库加载。
实际使用中，一个常见的做法是把 helpful 和 harmless 两部分合并或分别用于不同阶段的训练。很多开源 RLHF 复现项目（如 trlx、DeepSpeed-Chat 等）的教程里，都拿 HH-RLHF 作为「入门 RLHF 的首选数据」——因为它格式标准、结构清晰、完全开源，是学习 RLHF 完整流程最顺手的素材。
数据格式上，每条样本通常包含：
- chosen：被人类选中的（更好的）回答。
- rejected：被拒绝的（更差的）回答。
- prompt：对应的提问或对话上下文。
这种「chosen/rejected 对」的格式，直接对应 DPO 和 RLHF 的训练需求。用 RLHF 训练奖励模型时，就是让模型学会「给 chosen 的分数要高于 rejected」；用 DPO 时，则是直接优化模型让它更倾向于生成 chosen 而非 rejected。
使用时需要留意：数据是「对话式」的，prompt 里可能包含多轮历史，直接拿去训练前要根据自己的模型格式做适配。另外 helpful 和 harmless 两部分最好分开处理，因为它们代表不同的优化目标，混在一起训练可能互相干扰。
许可证与商用注意
HH-RLHF 的数据在 GitHub 开源，但许可证情况需要留意：它主要定位为研究用途。Anthropic 没有像 Apache 2.0 那样给出宽松的商用授权，使用前建议查看 GitHub 仓库和论文里的具体说明。对学术研究来说，这份数据是充分开放的；对商用，则需要谨慎评估。
这一点和 OASST1（Apache 2.0 明确可商用）形成对比。HH-RLHF 的价值更多体现在「方法论」和「研究基准」层面，而不是一份「随便拿去训练商用产品」的数据。
横向对比同类数据集
- 对比 OpenAI 的偏好数据：InstructGPT 用的偏好数据没有公开细节，HH-RLHF 是当时少有的、把 RLHF 偏好数据完整开源的工作，学术价值极高。
- 对比 UltraFeedback：UltraFeedback 是清华 2023 年发布的 AI 生成偏好数据，用 GPT-4 打分替代人工标注，规模大（100 万条+）但「二手」；HH-RLHF 是真人标注，规模小但「一手」，且首创了 helpful/harmless 的双维拆分。两者代表了「人工偏好」和「AI 偏好」两条路线。
- 对比 Nectar、HH 的后续衍生：很多后来的偏好数据集（包括 Claude 后续版本用的数据）都沿用了 helpful/harmless 的框架，可以说 HH-RLHF 是这个框架的源头。
局限与争议
HH-RLHF 的局限主要有几点。
第一是规模。相比后来动辄百万条、千万条的偏好数据，HH-RLHF 的规模在今天看不算大，主要作为研究基线和历史标杆存在。
第二是二元拆分的简化。真实世界里「好回答」的标准远比「有用/无害」两维复杂，还有诚实、准确、中立、遵守规则等等维度。HH-RLHF 的两维框架是一个了不起的起点，但也是一个简化。
第三是英语为主，对非英语场景的覆盖不足。
第四是红队数据的分布偏差。红队成员会集中攻击某些「热门」的弱点，导致无害数据在某些话题上过采样、在另一些话题上欠采样，存在分布不均的问题。
总结与启示
HH-RLHF 的核心遗产，是把「对齐」这个模糊的目标，拆解成了「有用」和「无害」两个可以分别测量、分别优化的具体维度。这个拆解看似简单，却深刻地影响了整个对齐领域——后来的 Constitutional AI（Anthropic 的又一里程碑）正是沿着「让模型自己区分有用与无害」的思路继续走下去的。
对做 RLHF 的研究者和工程师来说，HH-RLHF 还贡献了一个被广泛沿用的工程范式：chosen/rejected 的成对偏好数据格式，以及「用红队主动制造负样本」的数据采集方法。今天你在任何一个开源 DPO 数据集里看到的格式，都能追溯到这份 2022 年的工作。
参考来源
- 论文：arXiv:2204.05862（Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback）
- 数据仓库：GitHub: anthropics/hh-rlhf
- 数据集镜像：Hugging Face: Anthropic/hh-rlhf
