递归自我改进:概念、结构、发展层级与爆发条件
递归自我改进(Recursive Self-Improvement,RSI)指一个系统提出对自身的改动,改完的系统再提出下一轮改动。这个设想最早来自 Good 对“智能爆炸”的讨论[1];Schmidhuber 的 Gödel Machine 给出了一个形式化版本:只有能证明改动有益时,系统才改写自身[2]。
RSI 与相近概念的区别
很多机器学习过程都会让系统变强,但大多不算 RSI。判断时看两点:有没有优化,以及优化器会不会随被优化对象一起变强。
| 过程 | 优化器与被优化对象 | 改进速度 |
|---|---|---|
| Agentic 工作流 | 没有优化器;Agent 只负责执行,改变的是任务状态和产出 | 任务做完,Agent 自身的能力没有变化 |
| 普通训练 | 优化器是随机梯度下降(SGD)与人类工程师,被优化对象是模型 | 模型变强,优化器不变,下一轮改进的速度不变 |
| 元学习[3] | 内层学习过程是被优化对象,外层元优化算法由人设定且固定 | 模型学得更快,但元优化算法不变,这一提升只发生一层 |
| AutoML 与 NAS[4] | 搜索算法是优化器,被优化对象是架构与超参数,搜索算法与搜索空间固定 | 找到更好的模型,但搜索能力不变,下一次搜索的效率不变 |
| 自我对弈[5] | 训练数据由系统自身产生,训练算法固定,被优化对象是模型 | 对手随模型变强,数据质量提高,但改进方法不变 |
| 数据飞轮 | 部署产生数据,数据用于改进模型,优化器是固定的训练流程与人类工程师 | 数据规模与模型效果相互促进,但流程不变,增速受人与流程限制 |
| RSI | 提出改动的是系统自身,优化器与被优化对象是同一系统 | 系统变强后提出改动的能力随之变强,下一轮改进更快或更好 |
从上往下看,固定不变的部分越来越少。元学习和 AutoML 改进了系统,但优化器本身是固定的;自我对弈和数据飞轮有正反馈,但递归的只是数据,改进方法没有变。只有在 RSI 里,改进方法本身也在被改进。
RSI 的结构
优化器和被优化对象是同一个系统,问题随之而来:系统提出的改动不一定是改进,需要有一个机制决定接不接受。所以 RSI 是一个闭环,分成回路内和回路外两部分(图 1)。回路内,当前系统 自己充当优化器,改动代码、权重或架构,得到候选系统 回路外,独立评估器 用测试、验证器或真值给候选系统打分,系统只能读取它,不能修改它。
评估器算出候选系统比当前系统高多少分:
分数提高,就用候选系统替换当前系统;否则保留原来的系统:
关键环节:独立评估器
闭环里,生成改动和产生候选系统都由系统自己完成,只有评估器 在回路外。 之所以关键,有三个原因。
| 方面 | 原因 |
|---|---|
| 唯一的外部约束 | 回路内的每一步系统都能改, 是唯一不受系统控制的标准;一旦系统能改 闭环就会只涨分数、不涨能力,也就是奖励投机(reward hacking)[6] |
| 决定改进的上限 | 评估器测不出来的能力,闭环就无法据此决定采纳还是丢弃;例如 METR 的时间跨度测量超过 16 小时就不再可靠[7] |
| 决定递归的深度 | 改动越深越难验证;评估器能可靠评估到哪一层,闭环就只能递归到哪一层(见下一节) |
注意:评估器 必须放在回路外,并且对系统只读。
按可信度从高到低,独立评估器大致有五类实现。
| 评估器 | 实例 | 特点与局限 |
|---|---|---|
| 形式化验证器 | 定理证明的证明检查器(proof checker,如 Lean 内核)、类型检查器、模型检验 | 验证远比生成容易,弱验证器可以可靠地检查强系统,是最理想的 局限是只覆盖能够形式化的任务 |
| 环境真值 | 博弈胜负、仿真器中的任务成败、物理实验结果 | 规则由环境决定,系统无法修改;局限是仿真与现实存在差距,系统可能学会利用仿真器的漏洞 |
| 隐藏测试集 | 代码的 held-out 单元测试、私有 benchmark | 系统看不到题目,只得到分数;需要定期更换题目,否则多轮迭代后仍会被拟合 |
| 独立模型裁判 | 训练数据或架构不同的评审模型,多个模型交叉评审或辩论[8] | 通用性最好;裁判弱于被评者时失效,同源模型还存在共同盲区 |
| 人工评审 | 专家抽检、红队测试 | 最能覆盖难以量化的质量,但慢且贵,通常只用于校准前几种自动评估 |
实际系统通常分层组合:便宜的自动评估每一轮都跑,昂贵的人工评审或形式化验证用来抽检和把关。不管用哪一类评估器,工程上都要满足三条约束,保证 始终留在回路外。
| 约束 | 要求 | 目的 |
|---|---|---|
| 权限隔离 | 评估代码、测试数据、打分日志对系统只读或不可见 | 防止系统修改评估器 |
| 窄回流 | 只返回是否通过或一个标量分数,不返回具体的错题 | 减少评估器信息向系统泄漏 |
| 评估预算 | 限制查询次数 | 每次查询都会泄漏评估器的信息,限制总泄漏量 |
RSI 的发展层级
闭环里“生成改动”这一步可以作用于系统的不同部分。我们从两个角度划分 RSI 的发展层级:按改动有多深,看它改的是什么;按人在回路里还承担哪些环节,看模型需要多强的能力。
按修改深度的六个层次
层次越深,越接近严格意义上的 RSI,也越难评估。
| 层次 | 修改对象 | 性质 |
|---|---|---|
| 1. 外围脚手架 | 提示词、工具调用方式、工作流、记忆与检索策略 | 模型本体不变,只修改模型的使用方式;成本最低,目前实际做得最多 |
| 2. 自身代码 | Agent 的源码、推理逻辑、工具实现 | 系统直接改写运行自身的程序,代码测试可以提供相对可靠的评估 |
| 3. 训练数据 | 自行生成或筛选的数据,用于训练下一版本 | 自我对弈、合成数据、蒸馏都属于此类 |
| 4. 权重 | 通过微调或继续训练更新的参数 | 直接改变能力本身,但改动不可解释,只能依靠行为评估 |
| 5. 架构与训练算法 | 网络结构、损失函数、优化器、超参数 | 修改的是产生下一版本的方法;NAS 与 AutoML 是受限的版本[4] |
| 6. 目标与评估标准 | 系统自身的 | 按闭环的设计原则应当禁止,否则闭环退化为刷分 |
还有一种途径不改系统本身,效果却类似:获取更多资源,比如算力、数据、并行副本的数量。系统的能力没有变,但总产出提高了。
层次的特点
六个层次在回报、验证难度和上限上有系统性的差别。
| 规律 | 依据 |
|---|---|
| 层次越深,回报越大,验证越难 | 修改提示词的效果容易测量;修改训练算法需要完整训练一轮才能得到结果,反馈周期可能长达数周 |
| 改进上限由不能修改的部分决定 | 只修改脚手架时,上限是底层模型的能力,因此浅层自我改进通常很快饱和 |
| 严格意义上的递归需要打通到第 4、5 层 | 只有这两层修改的是能力本身,而不只是能力的使用方式 |
各级所需的模型能力
修改深度回答的是改哪一部分,但每一层的改动既可以由人提出,也可以由模型提出。要打通深层,模型就要接手更多原来由人做的环节。因此我们也可以按模型能完成多长的任务、人在回路里扮演什么角色,把 RSI 粗略分成五级。
| 级别 | 模型的能力 | 人的角色 | 状态 |
|---|---|---|---|
| 0 工具 | 完成分钟级任务 | 负责全部环节 | 已越过 |
| 1 工程助手 | 完成小时级任务,编写大部分代码 | 确定方向,做出判断 | 已越过 |
| 2 自主实验 | 完成天级任务,从高层指令出发运行完整实验 | 选择课题,评估结果 | 正在进入 |
| 3 自动研究员 | 完成周到月级的项目,自行提出假设 | 只做监督 | OpenAI 的目标是 2028 年 |
| 4 完整闭环 | 自行决定训练什么 | 负责回路外的评估与采纳 | 未达到 |
从第 2 级到第 3 级,缺的主要不是编码能力,而是三样东西:长任务上的可靠性、研究品味(判断哪个实验值得做),以及自我验证。衡量进展也不该看代码占比,而该看整体研发速度提高了多少倍。
当前所处的层级
截至 2026 年 9 月,RSI 处在第 2 级的入口:人还在回路里,闭环只闭合了一部分,还不是自主的 RSI。按六个修改层次来看,各环节的自动化程度如下。
| 环节 | 现状 | 依据 |
|---|---|---|
| 脚手架与代码(第 1、2 层) | 基本自动化:Anthropic 合并的代码中超过 80% 由 Claude 编写,但整体研发速度远未翻倍 | Anthropic 的报告[9];FutureSearch 估计 AI 使 Anthropic 的研发加速约 1.5 倍[10] |
| 实验执行 | 正在进入:只需高层监督即可自主完成的研发工作,占比在 2026 年 3 月至 8 月间从 1% 升至 26% | 2026 年 9 月 28 日发布的白皮书,数字来自 Anthropic 的内部报告[11] |
| 权重、架构与研究方向(第 4、5 层) | 仍由人决定;三家主要实验室的安全框架都设有 AI 研发自动化阈值,且都声明尚未越过 | 未找到原文出处 |
| 评估( | 已跟不上:METR 的时间跨度测量在 16 小时以上不可靠,而目前最强模型的 50% 时间跨度估计至少为 16 小时 | METR[7] |
这里的 50% 时间跨度(50% time horizon)指模型成功率为 50% 时能完成的任务长度,用人类专家完成同一任务所需的时间来衡量。评估这一行印证了上一节的判断:评估器跟不上模型时,闭环能走多深由评估器决定。
闭环是否正在形成,目前还有争议。乐观的一方认为闭环正在成形。怀疑的一方认为,局部环节自动化了,不等于能可靠地自主跑完整条前沿模型的改进流程;现有证据证明的是加速,不是递归[12]。白皮书的作者自己也承认,算力约束、自动化的难点和收益递减都可能让 RSI 不会发生[11]。
人类与 RSI:为什么 RSI 可能爆发
RSI 的特点是改进方法本身也被改进,从而形成正反馈。人类文明里,知识带来更好的工具,工具又加快知识的产生,这个过程却走了几千年。比较人类和 AI 能改哪些层、每轮改进要多久,就能看出 RSI 为什么可能比人类文明发展得快得多,存在爆发的可能。
下面分个体和文明两个层面,解释人类与 RSI 的关系。
| 层面 | 是否属于 RSI | 能修改的层次 |
|---|---|---|
| 个体 | 属于弱的、浅层的 RSI | 能够学会如何学习,修改自己的方法、工具与知识,相当于脚手架层与数据层;无法修改大脑结构,即权重层与架构层 |
| 文明 | 属于 RSI,但很慢 | 知识产生更好的工具,工具产生更多知识;文字、印刷、科学方法、计算机,每一步都提高了改进自身的速度,构成真实的正反馈 |
人类的底层硬件几十万年来基本没变。改变它的是进化,而进化是外部的优化器,不是人类自己。所以人类是一种硬件固定、只在文化层递归的 RSI。AI 则有两个人类不具备的条件。
| 条件 | 人类 | AI |
|---|---|---|
| 最底层可修改 | 最底层是大脑,脑容量与神经元结构在出生时基本确定,只能改进大脑的使用方式 | 最底层是权重、网络架构与训练算法,都是代码与数值,可以直接修改并重新训练;这是第一次有一种智能能够改进产生智能的部分本身 |
| 每轮周期缩短 | 一轮指完成一次改进并使其生效;新思想要经过教育传给下一代、被吸收、再产生更新的思想,一轮常需几十年 | 训练出新版本只需几周到几个月,新版本还可以立即复制成千上万份同时工作 |
这两个条件分别对应增长的两个因素:每轮的提升量 和改进的轮数 增长总量大致是 人类两项都受限(硬件改不了,周期又长),所以文明进步花了几千年;AI 两项同时放开,同样的正反馈理论上可以快得多。
正反馈能不能持续累积,还有一道门槛。设下一轮改进量与本轮之比为 时,累积的改进量收敛到有限值 ( 是首轮改进量); 时,改进会持续加速。黑猩猩也会用工具,但知识不能代代累积,相当于 人类跨过语言和累积文化这道门槛后 文明才开始加速。
回到现在:“人加 AI”这个整体已经是一个递归系统,AI 正在帮人造出下一代 AI。所以问 RSI 何时实现,实际上是在问人在这个回路里的占比什么时候降到接近零。
参考文献
- I. J. Good, “Speculations concerning the first ultraintelligent machine,” in Advances in Computers, vol. 6, 1965, pp. 31–88, doi: 10.1016/S0065-2458(08)60418-0.
- J. Schmidhuber, “Gödel machines: Self-referential universal problem solvers making provably optimal self-improvements,” 2003, arXiv: cs/0309048.
- C. Finn, P. Abbeel, and S. Levine, “Model-agnostic meta-learning for fast adaptation of deep networks,” in Proc. ICML, 2017, pp. 1126–1135, arXiv: 1703.03400.
- B. Zoph and Q. V. Le, “Neural architecture search with reinforcement learning,” in Proc. ICLR, 2017, arXiv: 1611.01578.
- D. Silver et al., “Mastering the game of Go without human knowledge,” Nature, vol. 550, no. 7676, pp. 354–359, 2017, doi: 10.1038/nature24270.
- J. Skalse, N. H. R. Howe, D. Krasheninnikov, and D. Krueger, “Defining and characterizing reward hacking,” in Proc. NeurIPS, 2022, arXiv: 2209.13085.
- “METR,” Wikipedia. Accessed: Oct. 11, 2026. [Online]. Available: en.wikipedia.org
- G. Irving, P. Christiano, and D. Amodei, “AI safety via debate,” 2018, arXiv: 1805.00899.
- Anthropic, “When AI builds itself,” 2026. Accessed: Oct. 11, 2026. [Online]. Available: anthropic.com
- FutureSearch, “Recursive self-improvement at frontier AI labs,” Aug. 2026. Accessed: Oct. 11, 2026. [Online]. Available: futuresearch.ai
- A. Chan et al., “What if automating AI R&D triggers an intelligence explosion?” Cambridge Programme on AI Science and Policy, Tech. Rep., Sep. 2026. [Online]. Available: casp.ac
- hashcollision, “Will we see AI with recursive self improvement in 2028? Likely not,” 2026. Accessed: Oct. 11, 2026. [Online]. Available: hashcollision.substack.com