François Chollet 这个名字，对很多人来说可能首先联想到 Keras——那个让深度学习入门变得简单的框架。但对关注「智能到底是什么」的人来说，Chollet 更重要的身份是 ARC 基准的创建者，以及一个持续七年追问「如何衡量智能」的人。2026 年 8 月 14 日，他在 X 上抛出了一个判断，可能比任何单个模型的发布都更值得拆解：ARC-AGI-3 上所有顶尖的解法，用的都是同一种范式——让 LLM 生成可执行的「符号世界模型」代码，而不是靠 token 预测直接解题。而他进一步说：这「不是只会在 ARC 上发光，而是 AI 长期的大部分走向」。
速览卡：这位大佬和他说了什么
| 项目 | 内容 |
|---|---|
| 大佬 | François Chollet |
| 身份 | Keras 作者、ARC 基准创建者、ARC Prize 基金会联合创始人、Ndea 联合创始人 |
| 出处 | X（Twitter）@fchollet，2026 年 8 月 14 日系列推文 |
| 时间 | 2026 年 8 月 14 日 |
| 核心观点 | ARC-AGI-3 顶尖解法都是「LLM 引导的符号世界建模」；这将是 AI 长期的主要方向 |
Chollet 说了什么
Chollet 这组推文的直接触发，是一个开发者 @jeremyberman 在 ARC-AGI-3 上的一次尝试：用 LLM 引导、即时合成符号世界模型，单次生成 269 个程序、约 12700 行代码。Chollet 对此给出了一个非常明确的背书：
ARC-AGI-3 上所有顶尖的 harness（评测框架），用的都是这种风格的方法。
他随后补了一句更关键的判断，这句话把一次具体的技术观察，上升到了对整个 AI 方向的预测：
这不是一个只会在 ARC-3 上发光的方法。这是 AI 长期的大部分走向所在。（This is not an approach that will only shine on ARC 3. This is where most of AI is headed in the long run.）
他还在推文里引用了一个更早（7 月 2 日）就表达过的判断，把这个观点的时间线拉得更长：
最终，AI 的很大一部分会收敛到「直觉引导的符号世界建模」，也就是「深度学习引导的程序合成」。这是不可避免的。（Eventually, much of AI will converge towards intuition-guided symbolic world modeling, i.e. deep learning-guided program synthesis. It is inevitable.）
这三句话，构成了一个完整的、层层递进的判断：从一个基准的解法模式，到一个 Agent 架构的趋势，再到一个关于 AI 终局形态的预言。
背景：ARC 到底在测什么，为什么它值得较真
要理解 Chollet 这个判断的分量，得先理解 ARC 这个基准的独特之处，以及它为什么和市面上的「刷分基准」如此不同。
ARC（Abstraction and Reasoning Corpus，抽象与推理语料库）诞生于 Chollet 2019 年的论文《On the Measure of Intelligence》。这篇论文提出了一个尖锐的批评：AI 研究界一直在「测错东西」。大多数基准评估的是一个模型在特定任务上的「技能」（skill），但技能是可以「买」来的——用海量训练数据或手工先验就能堆出来。一个训练了百万盘棋的模型下棋很厉害，但这说明不了它的「通用推理能力」。
Chollet 主张，智能应该被定义为「技能习得效率」（skill-acquisition efficiency）：一个系统在给定极少经验和固定先验的情况下，泛化到新任务的能力有多强。为了把这个定义落到实处，他设计了 ARC——一组彩色小网格拼图，人类看一眼就能解，但每个任务都是全新的、无法靠记忆（memorization）破解。ARC 因此成了少有的「抵抗死记硬背」的基准：高分意味着推理，而不是回忆。
ARC 的进化史，恰好记录了 AI 能力的几次跃迁。ARC-AGI-1（2019）在 OpenAI 的 o3 于 2024 年 12 月冲到 87.5% 后被「攻破」；于是 ARC-AGI-2（2025 年 3 月）重置难度，把顶尖分数重新压回约 4%；而 ARC-AGI-3（2026 年 3 月 25 日发布）则做了一次更彻底的范式升级——不再让模型做「单次输入-输出」的静态拼图，而是让它进入一个「回合制、可交互」的关卡环境，自己去探索规则、构建内部世界模型、推断目标、然后规划并执行方案。
ARC-AGI-3 由 135 个手工构建的环境组成，运行在自定义 Python 引擎里（每秒 1000 帧），每个环境是一个 64×64 的网格、16 种颜色，Agent 的动作空间极小（最多 5 个键 + 撤销 + 可选坐标点击）。最关键的是：Agent 永远不会被告知目标和操作方式，它必须自己发现这两者。发布初期，Anthropic、Google DeepMind、OpenAI、xAI 的前沿模型在 semi-private 集上全部低于 1%，而未经训练的人类能解出全部环境。
核心观点展开：「直觉引导的符号世界建模」到底指什么
Chollet 用的「直觉引导的符号世界建模」这个词，听起来抽象，拆开其实很具体。它对应的是两种截然不同的「解题范式」的对立。
范式一：端到端 token 预测。这是主流 LLM 的默认做法——把一个问题塞进去，让模型通过「预测下一个 token」一路生成答案。它的问题是：模型的「推理」是隐式的、不可检视的，一旦在长程、多步、需要精确因果的问题上出错，你既不知道为什么错，也没法局部修正——只能重新生成一遍。
范式二：LLM 作为「合成引擎」，生成可执行的符号世界模型。这是 Chollet 背书的方法。在这个范式里，LLM 的角色不是「直接解题」，而是「生成一段可执行程序」——一个 parser、一个 simulator、一个显式编码了环境因果规则的世界模型。这段代码可以被独立运行、测试、调试，而且调试过程和「生成它的 LLM」是解耦的。
Chollet 点出的关键区别就在这里：在范式一里，LLM 的推理是「一次性」的、不可验证的；在范式二里，LLM 产出的是一段「可验证、可复用、可独立演化」的代码。你跑它、看它对不对、改它、再跑——这个「闭环」里，代码才是那个真正的「推理结果」，LLM 只是负责「把直觉翻译成代码」的那一步。
为什么要叫「直觉引导」？因为 LLM 在这里承担的角色，恰恰是它最擅长的——用「直觉」（对问题结构的模糊、快速的把握）去引导「符号」的精确生成。而「符号世界建模」则是用代码把环境的因果规则显式表达出来。合起来，「直觉引导的符号世界建模」就是：用神经网络的直觉去生成精确的符号程序，再用程序的确定性去弥补神经网络的不可靠。
这和「程序合成」（program synthesis）这个老领域一脉相承，但多了一个关键的变量——「深度学习引导」。传统的程序合成是纯粹的符号搜索，效率低、难扩展；而 LLM 的加入，等于给符号搜索装了一个「直觉发动机」，让它在巨大的程序空间里能快速找到有希望的候选。
行业内的讨论与不同声音
Chollet 的判断在社区里激起的反应，集中在几个层次。
最直接的响应，是对「ARC-AGI-3 到底测出了什么」的重新审视。ARC-AGI-3 发布六个月后，局面发生了戏剧性变化：2026 年 9 月 3 日，OpenAI 宣称其 GPT-6 Astra 在 ARC-AGI-3 上「饱和」——ARC Prize 基金会同日发布的验证结果是：Standard harness 下 62.7%，新的 Provider Adapter harness 下 99.9%。这个 99.9% 的数字背后有一个重要的技术细节——Provider Adapter harness 会「在回合之间保留模型的隐藏推理」，也就是说，它允许模型在一个跨回合的连续推理里工作。这立即引发了争议：这 99.9% 里，有多少属于模型本身，有多少属于「外面的 harness」？
Chollet 本人对这类「分数」保持着清醒，而且主动踩过刹车。8 月 14 日的同一组推文里，他还专门澄清了一件事，防止社区把「公开演示集」的分数当成真成绩：
ARC-AGI-3 的公开游戏集是「演示集」，不是评测集，也不是训练集。私有评测集要难得多、也新得多。
他点出的数字很能说明问题：当时 Kaggle 半私有集排行榜的最高分只有 2.70%，而一些系统在更简单的公开演示集上能拿到高得多的分数。这个「公开集 vs 私有集」的鸿沟，正是他警告的核心——如果媒体、研究者、公司拿公开集的分数当作「在 ARC-AGI-3 上取得了进展」的证据，那就是在误读这个基准的真实难度。
也有声音对「所有顶尖 harness 都用同一种方法」这个断言本身的证据强度提出保留——Chollet 自己也承认这是「未经独立验证的观察」。但从 Agent 架构的角度看，这个趋势的方向性却很难被否认：当一个 LLM 在陌生环境里要「可靠地行动」时，把它产出的东西从「自然语言回答」升级为「可验证的代码」，几乎是一条自然的工程路径。
横向扩展：为什么这不只是 ARC 的事，而是 Agent 架构的事
Chollet 的「这不是只会在 ARC 上发光」，值得认真对待，因为它映射到一个正在发生的、更宏观的 Agent 架构转向。
想象一个要在真实、陌生、开放环境里工作的自主系统——一个要接入新 API 的 Agent，一个要在新工厂里操作机械臂的机器人，一个要处理没见过格式的文档的助手。它们面对的核心挑战，和 ARC-AGI-3 的解题者一模一样：从有限的观察里，推断出一个环境「如何运转」的可复用模型，然后用这个模型去可靠地行动。
传统的「纯 in-context 推理」——把观察塞进上下文、让 LLM 直接吐答案——在这种场景下会暴露一个致命弱点：LLM 的推理是不可验证、不可复用的。而「生成可执行代码」这个范式，恰好补齐了这个短板：LLM 产出的程序可以被跑、被测试、被调试、被复用，成为那个「可靠的、可复用的世界模型」。这正是为什么 Chollet 说，「能即时合成并执行符号世界模型的 Agent，会胜过那些只靠上下文推理的 Agent」。
这个转向对 Agent 平台的直接含义是：把「LLM 生成的代码」当作一等公民的输出，而不是附属功能。那些支持「生成代码 → 执行 → 验证 → 修正」闭环的工具链，会在这个趋势里占据有利位置。反过来，那些把 LLM 的输出局限在「自然语言」里的架构，可能会在需要可靠性的场景里逐渐掉队。
更深一层，这个判断其实回到了 Chollet 一个贯穿始终的思想：智能的本质是「技能习得效率」，而不是「技能存量」。一个系统真正的智能，不在于它「已经会了多少」，而在于它「面对全新任务时，能多快学会」。而「用直觉生成可执行的世界模型」，恰恰是「快速习得新技能」的一种具体机制——它不是靠海量数据把答案「背」下来，而是靠把环境的因果「建模」出来。
这也解释了 Chollet 那句「这是不可避免的」为何如此笃定：因为只要智能的定义是「泛化能力」，那么「可验证的、可复用的、显式的世界模型」就天然比「隐式的、一次性的 token 预测」更接近这个定义的终点。
ARC 系列七年的三次进化：一个「移动靶」的自我更新
Chollet 的「直觉引导的符号世界建模」判断，需要放在 ARC 系列七年的进化史里看，才能理解它为什么不是「一拍脑袋」，而是「被能力逼出来的结论」。
ARC 的第一次形态（ARC-AGI-1，2019），测的是「静态网格上的抽象推理」——给你几对输入输出网格，让你推断出变换规则，再应用到新网格上。它的设计目标是抵抗记忆化：每个任务都是全新的，所以靠「背答案」刷分是行不通的。在 2019 到 2024 年间，这个基准成功抵抗了主流的预训练-扩展范式——没有测试时适应的基座大模型，无法外推到没见过的任务。2020 年的第一次 Kaggle 竞赛，913 支队伍参赛，冠军用「穷举式程序搜索」（brute-force program search）在私有集上拿到约 20%。
但 2024 年 12 月，OpenAI 的 o3 在 ARC-AGI-1 上冲到了 87.5%，这个基准第一次被「攻破」。于是有了第二次形态（ARC-AGI-2，2025 年 3 月）：保持网格形式，但把难度调向「多步组合、符号操作、顺序规则应用」，每个任务都用 400 名以上未经训练的人类被试校准，确保人类能解出所有保留的任务。结果，顶尖分数被重新压回约 4%，AI 和人类之间的差距被重新拉开。
第三次形态（ARC-AGI-3，2026 年 3 月 25 日），则是一次更彻底的范式升级——它不再测「单次的静态推理」，而是测「agentic intelligence」（智能体智能）：探索陌生世界、构建内部模型、推断目标、规划执行。这个「从静态到交互」的转变，恰恰是 Chollet 那个「符号世界建模」判断的温床——因为在交互环境里，光靠「一次性 token 预测」根本走不通，你必须「建模」出环境的因果，才能在多回合里稳定行动。
理解这条进化线，就能理解 Chollet 的底气从哪来：他不是在空谈一个哲学，而是看着一个他自己设计的、持续升级的基准，在七年间把 AI 的「能力边界」一次次逼出来，然后从中观察到了那个反复出现的最优解法模式。这个观察的权重，远大于一个「我猜 AI 会往哪走」的普通预测。
一个必须澄清的边界：分数和「智能」不是一回事
Chollet 的判断之所以值得认真对待，还有一个原因：他对「分数」这件事，保持着一份在这个「刷分时代」里罕见的清醒。而这种清醒，恰恰是他「符号世界建模」判断的另一面。
在 8 月 14 日的同一组推文里，Chollet 除了背书「符号世界建模」，还专门花篇幅纠正一个正在发生的误读——关于 ARC-AGI-3 的「公开演示集」。他明确说，公开集是「演示集」，不是评测集，也不是训练集，它存在的目的是展示格式、吸引人来玩，分数不代表性。他用一个数字点破了问题的严重性：当时 Kaggle 半私有集排行榜的最高分只有 2.70%，而一些系统在更简单的公开演示集上能拿到高得多的分数。
这个「公开集 vs 私有集」的鸿沟，暴露的是一个更普遍的测量问题：当人们拿「容易的那部分」的分数，当作「整体能力」的证据时，就会系统性高估模型的真实水平。这种高估，会直接影响投资决策、能力声明，以及「Agent 是否已经准备好部署到不可预测的真实世界」的判断。
这套清醒，其实和 Chollet 的「符号世界建模」判断是同一枚硬币的两面：他之所以推崇「可执行、可验证的代码」，正是因为他深知「不可验证的 token 输出」有多容易被高估。一个 LLM 说它「解出了」一道题，和一段代码「真的跑通并给出正确结果」，是两种完全不同置信度的「能力声明」。Chollet 对前者的警惕，和对后者的推崇，源自同一个认识论立场——能被验证的，才值得相信。
这一点，在 2026 年 9 月那场关于 GPT-6 Astra 的争议里体现得淋漓尽致。当 OpenAI 宣称 Astra 在 ARC-AGI-3 上「饱和」、ARC Prize 基金会给出 62.7%（Standard）和 99.9%（Provider Adapter）两个天差地别的分数时，Chollet 式的清醒就显得尤其重要：99.9% 这个数字，有多少属于模型，有多少属于「外面那个保留隐藏推理的 harness」？当你连「分数」这个最基本的测量单位都信不过时，「符号世界建模」这种「把能力变成可验证代码」的思路，就更显得是一条更可靠的路。
总结与启示
Chollet 这次发言最值得记住的，不是「ARC-AGI-3 上谁拿了多少分」，而是他提炼出的那个范式分界——「让 LLM 直接推理」和「让 LLM 生成可验证的世界模型」是两条不同的路，而后者才是通往可靠智能的方向。
对从业者，这里有几个可以落地的启示。
其一，重新审视「LLM 的输出应该是什么」。当任务需要可靠性和可复用性时，考虑让 LLM 输出「可执行的代码」而不是「自然语言答案」。代码可以被测试、被审计、被复用，这是自然语言答案给不了的。
其二，把「验证闭环」当成架构的一部分，而不是事后的补丁。Chollet 背书的那个范式，核心不是「LLM 生成代码」这个动作，而是「生成 → 运行 → 验证 → 修正」这个闭环。没有闭环，「生成代码」和「胡言乱语」差别不大。
其三，对「基准分数」保持一份 Chollet 式的警惕。公开演示集的分数、特定 harness 下的分数、带隐藏推理的分数，都可能和「真实能力」相去甚远。读一个分数之前，先问：它测的是哪个集？用的什么 harness？模型有没有被「外面」的东西托着？
最后，Chollet 这个判断之所以值得反复咀嚼，是因为它把两个看似对立的东西——神经网络的「直觉」和符号系统的「精确」——放进了同一个框架里。他说的不是「符号主义要回归」，而是「神经网络和符号程序要各司其职」。如果你一直在纠结「深度学习够不够」或「符号方法过没过时」，Chollet 的答案是：别纠结了，把它们合起来用，这才是 AI 长期的走向。
参考来源
- François Chollet X 推文（2026-08-14，关于 ARC-AGI-3 与符号世界建模）
- AI Wiki《ARC-AGI》《ARC-AGI 3》
- The Agent Times《Chollet Warns ARC-AGI-3 Public Games Are Not a Benchmark》
- The Agent Times《Chollet Endorses LLM-Guided Symbolic World Modeling as Top ARC-AGI-3 Strategy》
- Chollet《On the Measure of Intelligence》（arXiv:1911.01547）
