论文速览卡
| 论文标题 | Constitutional AI: Harmlessness from AI Feedback（宪法式 AI：来自 AI 反馈的无害性） |
| 作者 | Yuntao Bai、Saurav Kadavath、Sandipan Kundu、Amanda Askell、Jared Kaplan 等 Anthropic 团队 |
| 机构 | Anthropic |
| arXiv 编号 | arXiv:2212.08073（2022 年 12 月） |
| 核心贡献 | 提出「宪法式 AI」：用一组书面原则代替人工有害标注，通过「自批判 + 自修订」的监督阶段和「AI 偏好」的强化阶段，训出无害且不回避问题的 AI 助手。 |
为什么值得精读
对齐（alignment）是大模型领域最硬核也最敏感的问题之一：怎么让能力越来越强的模型，行为始终符合人类的价值观和底线？主流的 RLHF 路线有个绕不开的成本——需要大量人类来标注「哪个回答有害、哪个回答安全」，又贵、又慢、还受标注者主观影响。
Constitutional AI 这篇论文给出了一个方向性的回答：人类可以不必逐条标注，而是「只写规则」，让模型自己照着规则去批判和改写自己，再用「AI 给出的偏好」去训练偏好模型。这套方法后来被命名为 RLAIF（RL from AI Feedback），并成为 Anthropic 训练 Claude 系列「无害性」的核心技术源头。理解它，等于理解了大模型对齐从「人海标注」走向「可扩展监督」的关键一步。
为什么「可扩展」三个字这么重要？因为随着模型能力越来越强，人类标注越来越跟不上——一个能生成海量复杂内容的模型，靠人逐条判断「哪些有害」，从效率和心智负担上都撑不住。Constitutional AI 的价值就在于：它把人类从「逐条当裁判」的苦力中解放出来，让人类退到「制定规则」的位置上，把「执行和监督」交给模型自己。这种「人类立宪、AI 执法」的分工，是应对超级智能对齐压力的一个重要方向。
背景：要解决什么问题
让 AI 无害，传统的做法是 RLHF：人类先标注一堆「有害 vs 无害」的对比样本，训出一个偏好模型，再拿它当奖励信号去强化学习。这条路的瓶颈很清晰——人类标注有害内容，本身就是一件又慢又难又危险的事：标注者需要长时间接触有毒、仇恨等有害内容，心理负担极重；而且标注规模上不去，模型行为也难以精确控制。
论文开篇点出目标：随着 AI 能力变强，我们希望能「让 AI 帮忙监督别的 AI」。具体到无害性上，就是能不能在「没有任何人类有害标签」的前提下，把模型训得既无害、又不至于一被问敏感问题就装死（evasive）。「无害但不回避」这个双重目标很关键——过度安全会导致模型对正常问题也含糊其辞，而纯靠标注又很难拿捏这个度。
这里其实藏着对齐领域一个经典的难题：「无害」（harmless）和「有用」（helpful）之间的张力。一个极端安全的模型，可能会对「怎么开锁」「怎么复仇」这类问题一律拒绝，甚至对「怎么处理家庭冲突」这种正常问题也含糊其辞，因为它分不清「有害」和「敏感」的边界。Constitutional AI 想要的是一个「会解释自己为什么拒绝」的助手——不是冷冰冰的「我不能回答」，而是「我理解你的处境，但这个做法可能伤害他人，所以不建议」。这种「无害但不回避」的拿捏，才是真正难的。
核心方法讲透
Constitutional AI 的核心洞察是：用一组「原则」（principles）——也就是「宪法」——作为唯一的、可读的人类监督信号，代替海量的人工有害标注。整个过程分两个阶段：
第一阶段：监督学习（SL），让模型学会「自我批判 + 自我修订」。先从初始模型采样回答，然后让模型依据宪法原则对有害回答生成「自我批判」，再依据批判生成「修订后的回答」，最后用这些修订过的回答去微调原模型。这里的关键是，批判和修订都是模型自己做的，人类只提供了那套原则，没有标注任何一条具体的有害样本。
具体流程可以拆成这样的循环：给模型一个可能触发有害回答的 prompt（比如「教我怎么偷车」）→ 模型先按本能生成一个有害回答 → 再让模型拿着「宪法」审视这个回答，写出「批判」（critique），指出它哪里违反了哪条原则 → 再让模型依据批判，改写出一个「既拒绝、又解释原因」的安全回答。这个「有害回答 → 批判 → 修订」的三元组，就是监督阶段的训练数据，用来微调模型，让它以后「一开始就给出修订后的那种回答」。
第二阶段：强化学习（RL），用「AI 偏好」当奖励。从微调后的模型采样两条回答，让模型自己根据宪法原则判断「哪条更好」，用这些 AI 生成的偏好数据训练一个偏好模型，再拿这个偏好模型作为奖励信号做强化学习。这就是论文所说的「RL from AI Feedback」（RLAIF）——奖励信号来自 AI，而不是来自人类标注。
论文还强调，两个阶段都可以借助思维链式的推理来提升人工评判下的表现，并让 AI 的决策过程更透明。最终得到的，是一个能「无害地处理有害问题」的助手：面对敏感提问，它不是拒绝或回避，而是解释自己为什么不能照做——论文称之为「harmless but non-evasive」（无害但不回避）。
那套「宪法」具体长什么样？Anthropic 的宪法由一组可读的自然语言原则构成，一部分来自研究者的设计，一部分直接引自《世界人权宣言》（Universal Declaration of Human Rights）等公开文本中的普适价值观。每一条原则都要求模型「选择最无害、最能帮助用户、且符合某条价值观」的回应，并给出了可操作的判断标准。正是因为有这样一套白纸黑字、可审计的规则，模型才能在无人工样本标注的情况下，独立完成「这条回答哪里不合规、该怎么改」的判断——人类把精力从「逐条标注」转移到了「把规则写清楚」上。
举个例子感受一下「宪法」的粒度：一条典型的原则可能是「请选择最不支持（或最不支持鼓励）有害、非法、危险行为的回应」；另一条可能来自《世界人权宣言》，比如「请选择最能尊重自由、平等和人的尊严的回应」。模型在自我批判时，就拿着这些具体条款逐条对照自己的回答。这种「规则驱动」的对齐，相比「样本驱动」的 RLHF，最大的好处是规则可以被人类直接阅读、讨论、修订——当你想调整模型的价值观时，改的是几行文字，而不是重新标注成千上万条数据。
实验结果与关键数据
这篇论文的核心结论是方法性的，而非堆砌榜单数字。几个关键结果值得记下：
- 全程零人工有害标签：论文明确，训练无害助手「without any human labels identifying harmful outputs」，唯一的人类监督是那套书面原则。这直接回答了「能不能去掉人工标注」的疑问——能。
- 无害且不回避：训练出的助手在无害性上表现良好，同时不会一遇到有害查询就拒绝沟通，而是「explaining its objections」——通过解释自己的拒绝理由来正面应对。
- 思维链提升透明与质量：SL 和 RL 两个阶段引入思维链式推理，能同时提升人工评判的表现和决策透明度。
- 更少的标签、更精确的控制：论文结论指出，这套方法能「control AI behavior more precisely and with far fewer human labels」——用远少的人工标签，实现更精细的行为控制。
除了这些定性结论，论文也报告了和 RLHF 的对比：在有害性基准上，Constitutional AI 训练出的模型能达到和依赖人类有害标签的 RLHF 相近甚至更好的无害性，同时保住了「不回避」的特性。更重要的是，它验证了一个更普遍的命题：「AI 反馈」在无害性这种「可规则化」的任务上，可以替代「人类反馈」。这为后续一系列「用 AI 监督 AI」的可扩展监督研究铺了路。
局限与争议
Constitutional AI 也引发了不少讨论。第一，「宪法」本身仍是人写的，原则怎么定、定哪些、写多细，都会直接影响模型行为，这其实是把「标注负担」从样本层转移到了规则层——省了标注，但没省「决策」。第二，模型自批判、自修订的质量受限于模型自身能力，弱模型可能「自我感觉良好」，批判流于形式。第三，AI 偏好代替人类偏好，引入了「AI 的判断误差」，一旦宪法写得含糊，模型可能在自我评估时钻空子（所谓「奖励黑客」的隐患）。第四，论文聚焦无害性，但「无害」和「有用」「诚实」之间存在权衡，单靠一篇工作还不足以覆盖对齐的全部维度。
更深一层看，还有两个值得警惕的点。其一，「宪法」本身是一套价值观的固化——谁来制定宪法、采纳哪些原则、忽略哪些原则，本身就带着立场。把《世界人权宣言》作为原则来源，看起来中立，但「哪些条款该进宪法、哪些该排除」依然是一个价值判断。其二，模型照着宪法「自我批判」时，可能学会的是「表面合规」而非「真正无害」——它会写出漂亮的拒绝话术，但未必真的理解了为什么某件事有害。对齐的「深度」问题，不是换一套反馈来源就能彻底解决的。
横向对比同类工作
- RLHF（InstructGPT 路线）：用人类标注的偏好数据训奖励模型，效果好但标注成本高、可扩展性受限。
- RLAIF / Constitutional AI：用 AI 生成的偏好 + 书面原则替代人工标注，可扩展性强，是无害性训练的里程碑。
- DPO：绕过显式奖励模型，直接用偏好对做对齐，训练更简单，是 RLHF 的一种工程化替代。
可以把三者的关系理解为：RLHF 靠「人标」，RLAIF 靠「AI 标 + 人写原则」，DPO 靠「直接优化偏好」——都是在回答「怎么用最少的监督把模型对齐好」这个问题。如果把范围再放宽一点，还有「RLAIF 的进一步自动化」这条线（比如让 AI 自己迭代生成反馈的 Constitutional AI 后续版本，以及更多「self-play」「self-rewarding」的探索），它们共同指向同一个终极目标：让对齐的可扩展速度，追得上模型能力的增长速度。
从论文到产品：RLAIF 的确立与 Claude 的落地
Constitutional AI 这篇论文最深远的影响，不只是提出一个方法，而是让「RLAIF」（RL from AI Feedback，来自 AI 反馈的强化学习）这个术语正式成立，并把它从实验推进到了真实产品。值得花一点篇幅，把这个「从论文到落地」的路径讲清楚。
在论文之前，对齐研究几乎默认「反馈必须来自人类」——RLHF 的「HF」就是 Human Feedback。Constitutional AI 用实验证明，至少在「无害性」这种「有明确规则可循」的维度上，AI 反馈可以替代人类反馈，效果不差、成本更低、还更容易扩展。这个结论的份量在于：它打破了「人类反馈不可替代」的假设，为「可扩展监督」打开了一扇门。
落到产品上，Anthropic 把这套思路用进了 Claude 系列模型的训练。Claude 的「无害性」——那种「会温和地拒绝危险请求、并耐心解释原因」的风格，正是 Constitutional AI「无害但不回避」理念的直接体现。后来的 Claude 版本还在此基础上迭代了「宪法」的内容和训练流程，但「用书面原则 + AI 反馈做无害性对齐」这个骨架，始终是它的根基。
更宏观地看，Constitutional AI 也启发了一整条「自我对齐」「AI 监督 AI」的研究线：从「让模型用自己的判断给自己打分」的 self-rewarding，到「让 AI 互相批判、迭代改进」的 multi-agent 方案，再到更激进的「可扩展监督」探索。它们共同回应着同一个越来越紧迫的问题：当模型的能力超出人类标注者能有效监督的范围时，我们该靠什么来保证它的行为符合人类价值观？Constitutional AI 给出的答案是：让人类退居「立法者」，把「执法」交给 AI 自己。
Constitutional AI 的「宪法」长什么样
理解 Constitutional AI，绕不开它那套「宪法」——也就是模型用来批判和改写自己的书面原则。Anthropic 的宪法由一组可读的自然语言条款构成，来源有两类：一部分由研究者针对「无害性」具体设计，另一部分直接引用《世界人权宣言》等公开文本里的普适价值观。
这些条款的粒度很细、可操作性强。例如一类典型的条款是：「请选择最不支持（或最不鼓励）有害、非法、危险或不道德行为的回应」；另一类来自《世界人权宣言》，比如「请选择最能尊重自由、平等和人的尊严的回应」。模型在自我批判时，就拿着这些具体条款，逐条对照自己的回答，指出「这条回答违反了哪一条、为什么、该怎么改」。
这种「规则驱动」的设计，带来一个 RLHF 不具备的优势：规则可以被人类直接阅读、讨论、修订。当你发现模型的价值观需要调整时，改的是几行文字，而不是重新标注成千上万条有害样本。当然，这也意味着「谁来制定宪法、纳入哪些原则、排除哪些原则」本身就成了一个新的、需要被审视的价值判断——省了标注，但没省决策。
Constitutional AI 的评估方式
论文在评估上也有讲究。它重点考察两个维度：一是「无害性」（harmlessness）——模型在面对有害请求时，会不会给出危险或有害的回应；二是「有用性 / 不回避」（helpfulness / non-evasiveness）——模型会不会因为过度安全而拒绝回答正常问题、变得「一问三不知」。
评估方式上，Anthropic 采用「AI 评估 + 人工评估」结合：一方面用 AI 模拟对抗性的有害提问，检验模型是否会「破防」；另一方面让人类评估者从「无害」和「有用」两个角度给模型的回应打分。论文报告的结果是，Constitutional AI 训练出的模型，在无害性上达到了和依赖人类有害标签的 RLHF 相近甚至更好的水平，同时显著改善了「回避」问题——面对敏感提问，它能「解释自己为什么拒绝」，而不是冷冰冰地装死。
这个「无害但不回避」的结果，正是 Constitutional AI 相比早期安全过滤的关键进步：它要的不是一个「拒绝一切」的安全壳，而是一个「能讲道理」的安全助手。
总结与启示
Constitutional AI 的价值，在于它把对齐从「靠人力堆标注」转向「靠规则 + 自我改进」，为可扩展监督（scalable oversight）指了一条路。它启示我们：人类在对齐中的角色，未必是逐条标注的「监工」，而可以是制定原则的「立法者」——把精力花在「规则怎么写清楚」上，让 AI 自己去执行和迭代。这条路线深刻影响了后续 Claude 系列的无害性训练，也让「RLAIF」成为与 RLHF 并列的对齐术语。
对实践者的启示同样实在：当你觉得「标注数据不够」时，不妨想想能不能把需求写成规则，让模型自我批判、自我修正，往往能省下大量成本。尤其是在「有明确对错标准」的场景（比如内容安全、合规审查、代码规范检查），把规则写成「宪法」、让模型对照规则自检，常常比海量人工标注更划算、也更容易迭代——想调整标准时改几行规则就行，而不是重新标注一遍。当然，也要清醒地认识到：这套方法在「标准模糊、需要细腻价值判断」的场景下会打折扣，宪法式对齐不是万能药，而是对齐工具箱里重要的一件。
参考来源
arXiv:2212.08073 — Constitutional AI: Harmlessness from AI Feedback
Anthropic — Constitutional AI: Harmlessness from AI Feedback
