递归自我改进:概念、结构、发展层级与爆发条件

2026-10-11笔记Agent递归自我改进模型评估

递归自我改进(Recursive Self-Improvement,RSI)指一个系统提出对自身的改动,改完的系统再提出下一轮改动。这个设想最早来自 Good 对“智能爆炸”的讨论[1];Schmidhuber 的 Gödel Machine 给出了一个形式化版本:只有能证明改动有益时,系统才改写自身[2]。

RSI 与相近概念的区别

很多机器学习过程都会让系统变强,但大多不算 RSI。判断时看两点:有没有优化,以及优化器会不会随被优化对象一起变强。

过程优化器与被优化对象改进速度
Agentic 工作流没有优化器;Agent 只负责执行,改变的是任务状态和产出任务做完,Agent 自身的能力没有变化
普通训练优化器是随机梯度下降(SGD)与人类工程师,被优化对象是模型模型变强,优化器不变,下一轮改进的速度不变
元学习[3]内层学习过程是被优化对象,外层元优化算法由人设定且固定模型学得更快,但元优化算法不变,这一提升只发生一层
AutoML 与 NAS[4]搜索算法是优化器,被优化对象是架构与超参数,搜索算法与搜索空间固定找到更好的模型,但搜索能力不变,下一次搜索的效率不变
自我对弈[5]训练数据由系统自身产生,训练算法固定,被优化对象是模型对手随模型变强,数据质量提高,但改进方法不变
数据飞轮部署产生数据,数据用于改进模型,优化器是固定的训练流程与人类工程师数据规模与模型效果相互促进,但流程不变,增速受人与流程限制
RSI提出改动的是系统自身,优化器与被优化对象是同一系统系统变强后提出改动的能力随之变强,下一轮改进更快或更好

从上往下看,固定不变的部分越来越少。元学习和 AutoML 改进了系统,但优化器本身是固定的;自我对弈和数据飞轮有正反馈,但递归的只是数据,改进方法没有变。只有在 RSI 里,改进方法本身也在被改进。

RSI 的结构

优化器和被优化对象是同一个系统,问题随之而来:系统提出的改动不一定是改进,需要有一个机制决定接不接受。所以 RSI 是一个闭环,分成回路内和回路外两部分(图 1)。回路内,当前系统 StS_t 自己充当优化器,改动代码、权重或架构,得到候选系统 S′S'回路外,独立评估器 JJ 用测试、验证器或真值给候选系统打分,系统只能读取它,不能修改它。

回路内:系统可以修改自身 回路外:独立、对系统只读 采纳后成为新的当前系统 当前系统 Sₜ 同时是优化器 生成改动 代码、权重、架构 候选系统 S′ 待评估 独立评估器 J 测试、验证器、真值 比较 Δ J(S′) − J(Sₜ) 采纳或丢弃 Δ > 0 才替换
图 1 RSI 的闭环。回路内,当前系统 Sₜ 生成改动,得到候选系统 S′;回路外,独立评估器 J 为候选系统打分,分数提高(Δ > 0)时 S′ 才替换 Sₜ。

评估器算出候选系统比当前系统高多少分:

Δ=J(S′)−J(St)\Delta = J(S') - J(S_t)

分数提高,就用候选系统替换当前系统;否则保留原来的系统:

St+1={S′,Δ>0St,Δ≤0S_{t+1} = \begin{cases} S', & \Delta > 0 \\ S_t, & \Delta \le 0 \end{cases}

关键环节:独立评估器

闭环里,生成改动和产生候选系统都由系统自己完成,只有评估器 JJ 在回路外。JJ 之所以关键,有三个原因。

方面原因
唯一的外部约束回路内的每一步系统都能改,JJ 是唯一不受系统控制的标准;一旦系统能改 JJ闭环就会只涨分数、不涨能力,也就是奖励投机(reward hacking)[6]
决定改进的上限评估器测不出来的能力,闭环就无法据此决定采纳还是丢弃;例如 METR 的时间跨度测量超过 16 小时就不再可靠[7]
决定递归的深度改动越深越难验证;评估器能可靠评估到哪一层,闭环就只能递归到哪一层(见下一节)

注意:评估器 JJ 必须放在回路外,并且对系统只读。

按可信度从高到低,独立评估器大致有五类实现。

评估器实例特点与局限
形式化验证器定理证明的证明检查器(proof checker,如 Lean 内核)、类型检查器、模型检验验证远比生成容易,弱验证器可以可靠地检查强系统,是最理想的 JJ局限是只覆盖能够形式化的任务
环境真值博弈胜负、仿真器中的任务成败、物理实验结果规则由环境决定,系统无法修改;局限是仿真与现实存在差距,系统可能学会利用仿真器的漏洞
隐藏测试集代码的 held-out 单元测试、私有 benchmark系统看不到题目,只得到分数;需要定期更换题目,否则多轮迭代后仍会被拟合
独立模型裁判训练数据或架构不同的评审模型,多个模型交叉评审或辩论[8]通用性最好;裁判弱于被评者时失效,同源模型还存在共同盲区
人工评审专家抽检、红队测试最能覆盖难以量化的质量,但慢且贵,通常只用于校准前几种自动评估

实际系统通常分层组合:便宜的自动评估每一轮都跑,昂贵的人工评审或形式化验证用来抽检和把关。不管用哪一类评估器,工程上都要满足三条约束,保证 JJ 始终留在回路外。

约束要求目的
权限隔离评估代码、测试数据、打分日志对系统只读或不可见防止系统修改评估器
窄回流只返回是否通过或一个标量分数,不返回具体的错题减少评估器信息向系统泄漏
评估预算限制查询次数每次查询都会泄漏评估器的信息,限制总泄漏量

RSI 的发展层级

闭环里“生成改动”这一步可以作用于系统的不同部分。我们从两个角度划分 RSI 的发展层级:按改动有多深,看它改的是什么;按人在回路里还承担哪些环节,看模型需要多强的能力。

按修改深度的六个层次

层次越深,越接近严格意义上的 RSI,也越难评估。

层次修改对象性质
1. 外围脚手架提示词、工具调用方式、工作流、记忆与检索策略模型本体不变,只修改模型的使用方式;成本最低,目前实际做得最多
2. 自身代码Agent 的源码、推理逻辑、工具实现系统直接改写运行自身的程序,代码测试可以提供相对可靠的评估
3. 训练数据自行生成或筛选的数据,用于训练下一版本自我对弈、合成数据、蒸馏都属于此类
4. 权重通过微调或继续训练更新的参数直接改变能力本身,但改动不可解释,只能依靠行为评估
5. 架构与训练算法网络结构、损失函数、优化器、超参数修改的是产生下一版本的方法;NAS 与 AutoML 是受限的版本[4]
6. 目标与评估标准系统自身的 JJ按闭环的设计原则应当禁止,否则闭环退化为刷分

还有一种途径不改系统本身,效果却类似:获取更多资源,比如算力、数据、并行副本的数量。系统的能力没有变,但总产出提高了。

层次的特点

六个层次在回报、验证难度和上限上有系统性的差别。

规律依据
层次越深,回报越大,验证越难修改提示词的效果容易测量;修改训练算法需要完整训练一轮才能得到结果,反馈周期可能长达数周
改进上限由不能修改的部分决定只修改脚手架时,上限是底层模型的能力,因此浅层自我改进通常很快饱和
严格意义上的递归需要打通到第 4、5 层只有这两层修改的是能力本身,而不只是能力的使用方式

各级所需的模型能力

修改深度回答的是改哪一部分,但每一层的改动既可以由人提出,也可以由模型提出。要打通深层,模型就要接手更多原来由人做的环节。因此我们也可以按模型能完成多长的任务、人在回路里扮演什么角色,把 RSI 粗略分成五级。

级别模型的能力人的角色状态
0 工具完成分钟级任务负责全部环节已越过
1 工程助手完成小时级任务,编写大部分代码确定方向,做出判断已越过
2 自主实验完成天级任务,从高层指令出发运行完整实验选择课题,评估结果正在进入
3 自动研究员完成周到月级的项目,自行提出假设只做监督OpenAI 的目标是 2028 年
4 完整闭环自行决定训练什么负责回路外的评估与采纳未达到

从第 2 级到第 3 级,缺的主要不是编码能力,而是三样东西:长任务上的可靠性、研究品味(判断哪个实验值得做),以及自我验证。衡量进展也不该看代码占比,而该看整体研发速度提高了多少倍。

当前所处的层级

截至 2026 年 9 月,RSI 处在第 2 级的入口:人还在回路里,闭环只闭合了一部分,还不是自主的 RSI。按六个修改层次来看,各环节的自动化程度如下。

环节现状依据
脚手架与代码(第 1、2 层)基本自动化:Anthropic 合并的代码中超过 80% 由 Claude 编写,但整体研发速度远未翻倍Anthropic 的报告[9];FutureSearch 估计 AI 使 Anthropic 的研发加速约 1.5 倍[10]
实验执行正在进入:只需高层监督即可自主完成的研发工作,占比在 2026 年 3 月至 8 月间从 1% 升至 26%2026 年 9 月 28 日发布的白皮书,数字来自 Anthropic 的内部报告[11]
权重、架构与研究方向(第 4、5 层)仍由人决定;三家主要实验室的安全框架都设有 AI 研发自动化阈值,且都声明尚未越过未找到原文出处
评估(JJ已跟不上:METR 的时间跨度测量在 16 小时以上不可靠,而目前最强模型的 50% 时间跨度估计至少为 16 小时METR[7]

这里的 50% 时间跨度(50% time horizon)指模型成功率为 50% 时能完成的任务长度,用人类专家完成同一任务所需的时间来衡量。评估这一行印证了上一节的判断:评估器跟不上模型时,闭环能走多深由评估器决定。

闭环是否正在形成,目前还有争议。乐观的一方认为闭环正在成形。怀疑的一方认为,局部环节自动化了,不等于能可靠地自主跑完整条前沿模型的改进流程;现有证据证明的是加速,不是递归[12]。白皮书的作者自己也承认,算力约束、自动化的难点和收益递减都可能让 RSI 不会发生[11]。

人类与 RSI:为什么 RSI 可能爆发

RSI 的特点是改进方法本身也被改进,从而形成正反馈。人类文明里,知识带来更好的工具,工具又加快知识的产生,这个过程却走了几千年。比较人类和 AI 能改哪些层、每轮改进要多久,就能看出 RSI 为什么可能比人类文明发展得快得多,存在爆发的可能。

下面分个体和文明两个层面,解释人类与 RSI 的关系。

层面是否属于 RSI能修改的层次
个体属于弱的、浅层的 RSI能够学会如何学习,修改自己的方法、工具与知识,相当于脚手架层与数据层;无法修改大脑结构,即权重层与架构层
文明属于 RSI,但很慢知识产生更好的工具,工具产生更多知识;文字、印刷、科学方法、计算机,每一步都提高了改进自身的速度,构成真实的正反馈

人类的底层硬件几十万年来基本没变。改变它的是进化,而进化是外部的优化器,不是人类自己。所以人类是一种硬件固定、只在文化层递归的 RSI。AI 则有两个人类不具备的条件。

条件人类AI
最底层可修改最底层是大脑,脑容量与神经元结构在出生时基本确定,只能改进大脑的使用方式最底层是权重、网络架构与训练算法,都是代码与数值,可以直接修改并重新训练;这是第一次有一种智能能够改进产生智能的部分本身
每轮周期缩短一轮指完成一次改进并使其生效;新思想要经过教育传给下一代、被吸收、再产生更新的思想,一轮常需几十年训练出新版本只需几周到几个月,新版本还可以立即复制成千上万份同时工作

这两个条件分别对应增长的两个因素:每轮的提升量 gg 和改进的轮数 NN增长总量大致是 G≈g⋅NG \approx g \cdot N人类两项都受限(硬件改不了,周期又长),所以文明进步花了几千年;AI 两项同时放开,同样的正反馈理论上可以快得多。

正反馈能不能持续累积,还有一道门槛。设下一轮改进量与本轮之比为 kkk<1k < 1 时,累积的改进量收敛到有限值 δ0/(1−k)\delta_0/(1-k)(δ0\delta_0 是首轮改进量);k≥1k \ge 1 时,改进会持续加速。黑猩猩也会用工具,但知识不能代代累积,相当于 k<1k < 1人类跨过语言和累积文化这道门槛后 k>1k > 1文明才开始加速。

回到现在:“人加 AI”这个整体已经是一个递归系统,AI 正在帮人造出下一代 AI。所以问 RSI 何时实现,实际上是在问人在这个回路里的占比什么时候降到接近零。

参考文献

  1. I. J. Good, “Speculations concerning the first ultraintelligent machine,” in Advances in Computers, vol. 6, 1965, pp. 31–88, doi: 10.1016/S0065-2458(08)60418-0.
  2. J. Schmidhuber, “Gödel machines: Self-referential universal problem solvers making provably optimal self-improvements,” 2003, arXiv: cs/0309048.
  3. C. Finn, P. Abbeel, and S. Levine, “Model-agnostic meta-learning for fast adaptation of deep networks,” in Proc. ICML, 2017, pp. 1126–1135, arXiv: 1703.03400.
  4. B. Zoph and Q. V. Le, “Neural architecture search with reinforcement learning,” in Proc. ICLR, 2017, arXiv: 1611.01578.
  5. D. Silver et al., “Mastering the game of Go without human knowledge,” Nature, vol. 550, no. 7676, pp. 354–359, 2017, doi: 10.1038/nature24270.
  6. J. Skalse, N. H. R. Howe, D. Krasheninnikov, and D. Krueger, “Defining and characterizing reward hacking,” in Proc. NeurIPS, 2022, arXiv: 2209.13085.
  7. “METR,” Wikipedia. Accessed: Oct. 11, 2026. [Online]. Available: en.wikipedia.org
  8. G. Irving, P. Christiano, and D. Amodei, “AI safety via debate,” 2018, arXiv: 1805.00899.
  9. Anthropic, “When AI builds itself,” 2026. Accessed: Oct. 11, 2026. [Online]. Available: anthropic.com
  10. FutureSearch, “Recursive self-improvement at frontier AI labs,” Aug. 2026. Accessed: Oct. 11, 2026. [Online]. Available: futuresearch.ai
  11. A. Chan et al., “What if automating AI R&D triggers an intelligence explosion?” Cambridge Programme on AI Science and Policy, Tech. Rep., Sep. 2026. [Online]. Available: casp.ac
  12. hashcollision, “Will we see AI with recursive self improvement in 2028? Likely not,” 2026. Accessed: Oct. 11, 2026. [Online]. Available: hashcollision.substack.com