新智元报道

【新智元导读】9650亿估值的IPO野心，与全球AI急刹车的公开呼吁，Anthropic用最极端的对比，把整个行业最深的矛盾摆在了台面上。Jack Clark说行业有油门没刹车，我们想造那个刹车踏板。但人类还能在递归自我改进真正闭环前，安装好那块踏板吗？

上周，Anthropic做了两件大事。

6月1日，该公司向美国证券交易委员会（SEC）秘密提交了S-1文件，这是迈向10月上市的第一步，届时估值接近9650亿美元。

6月4日，联合创始人Jack Clark和研究所负责人Marina Favaro发表了一项提案，呼吁全球暂停AI研发，避免AI失控。

关键的转折点是：

到今年5月，合并到Anthropic自己代码库中的代码，超过80%是由Claude编写的。

递归自我改进的论点，就浓缩在这么一个数字里。

在接受采访时，Anthropic联合创始人Jack Clark揭示了Anthropic为何建议暂停AI研发：

现在的情况是，AI行业有油门，但没有刹车。

我们想做的，就是为打造那个刹车踏板贡献一些力量。

递归自我改进，既令人向往，又令人忧心忡忡。

或许，这解释了为什么Anthropic一边踩油门冲刺IPO，一边呼吁全球AI急刹车。

现在，只有一个问题：AI自我递归改进，意味着AI即将脱离人类控制吗？

Jack Clark惊人预判：AI自我加速

Anthropic联合创始人Jack Clark预判，到2028年底，AI能够在没有任何人类参与的情况下，自行创造出下一代产品的概率高达60%。

那一刻将标志着「递归自我提升」闭环过程的开始。

这并不全是炒作，AI行业已开始认真对待「递归自我提升」。

Anthropic还在谈递归自我改进（recursive self-improvement，RSI），Sakana已经动手了，成立了AI RSI Lab！

他们甚至都设想了AI递归自我改进的轨迹图。

此前，原特斯拉AI负责人、OpenAI创始成员Andrej Karpathy（人类智能的顶尖代表）在优化模型时，被他放手不管的AI智能体Autoresearch在短短数天内超越了18%。

DeepMind的模型在没有人类干预下，自主优化算法，为谷歌节省了全球0.7%的算力，并将旗舰模型Gemini的训练速度提升了1%。

在这一目标达成之前，AI驱动的研发（R&D）加速效应可能就已经显现。

根据乔治敦大学内部智库安全与新兴技术中心（CSET）在1月份发布的一份报告，「随着由AI系统执行的AI研发比例的增加，其相较于纯人类研发的生产力提升」可能会增加十倍、百倍，甚至千倍。

传送门：https://cset.georgetown.edu/wp-content/uploads/CSET-When-AI-Builds-AI.pdf

报告警告称，在这种情景下，即使AI研发的某些方面在最初难以实现自动化，「加速的进展速度也意味着这些瓶颈很快就会被克服。」

根据METR的基准测试：在2025年初，AI模型只能处理需要人类工程师花费不到1小时的任务；而到了2026年中，AI已经能够熟练解决需要人类连续工作一整天以上（超过8小时）的复杂系统级任务。

这种能力的陡峭跃迁，正是JackClark做出那个惊人预判的底气。

自我递归提升，无限放大的善与恶

AI「自我递归提升」，是行业的共识。

但没有人确切知道「自我递归提升」会带来什么后果。

因为与人类不同，AI可以不知疲倦、持续不断地工作，一些人认为它会在短时间内催生出超级人工智能ASI——即所谓的「快速引爆」（fast take-off）。

为什么我们对机器的自我改进感到恐惧？因为机器的进化，踩在了一个致命的偏科陷阱上。

目前，AI所有的自我提升，几乎都发生在拥有「可验证奖励」（Verifiable Rewards）的领域。

在软件代码、数学证明等非黑即白的世界里，AI可以通过自我博弈产生海量的「合成数据」来自我训练，而不用担心「模型退化（Model Collapse）」的风险。

但是，人类社会赖以生存的基石——伦理、道德、法律判断、同理心与安全对齐，无法被简单「验证」。

这就导致了一个极其危险的结构性倾斜：

• 机器自我升级「智力」与「力量」的速度，正处于光速运行的闭环通道里；

• 机器理解人类「善意」与「控制」的速度，却被卡在泥泞、缓慢、无法标准化的主观泥潭里。

麻省理工学院物理学家Max Tegmark将其比作「司机在高速公路上闭着眼睛踩油门」。

司机不仅闭上了眼睛，而且他踩下的油门，正在通过递归改进被无限加强。

AI末日论者担心，ASI将超出人类的控制，而「递归自我提升」的开始，正是人类命运被移交给机器的时刻。

然而，一个能够自我提升的AI可能也会面临速度限制，至少在初期是这样。

AI即将脱离人类控制吗？

通往超级智能的道路上还堆着几包沉重的「物理沙袋」：

算力的实体约束（Hot Chip）

即便AI的算法优化再精妙，新一代模型的训练依然高度依赖物理实体的建设——更多的电网、更多的散热系统，以及需要数年时间筹备的大型数据中心。

就在Anthropic呼吁全球暂停AI开发的第二天——6月5日，星期五，费城半导体指数遭遇了自2020年3月以来最惨烈的一天，单日暴跌超过10%，高达1.3万亿美元的芯片市值在一夜之间灰飞烟灭。

暴跌的导火索是博通（Broadcom）略显疲态的第三季度AI芯片销售指引，以及AMD和英特尔超过10%的暴跌。

在这场史诗级闪崩的背后，是整个AI产业链正在触碰硬性的物理天花板：内存芯片吃紧、电网负荷超载、以及互连带宽的瓶颈。

算力的分流红利

正如CSET临时执行董事所言，普通大众对AI消费级应用的爆发（如日常对话、工具使用），会大量分流原本可用于前沿RSI闭环研发的算力，这在物理上拖慢了AI狂飙的速度。

虽然科研人员最近构建出了能在单个设备上利用光子学（Photonics）生成、引导和读取信息的芯片，试图用光代替电子来击穿传输瓶颈，但这依然处于早期阶段。

制约AI规模进一步扩展的瓶颈，已经不再是「原始算力」有多少，而是数据在芯片之间传输的「带宽」与「功耗」。

1.3万亿美元的蒸发，本质上是资本市场开始为AI的内在矛盾定价：AI能力与算力的扩张野心，正在狠狠撞击人类物理世界的电网、产能与原材料极限。

致命的「锯齿状前沿」

系统的整体演进速度，往往取决于它最慢的那块短板。

要让AI实现真正、不受控的指数级自循环，它必须将整条AI研发链条上的每一个专业环节实现闭环自动化。

这是一场由四个关键兵种组成的接力赛：

• 数据科学家提供算法的理论假说；

• 程序员将其转化为高效的底层代码；

• 系统工程师搭建可承载千亿参数的算力底座；

• 对齐与安全团队在终点拉起红线，确保模型不滑向失控与毁灭。

然而，这条战线在现实中并没有齐头并进。

相反，它呈现出一种极度不均衡的、犬牙交错的「锯齿状前沿」（Jagged Frontier）。

然而，这种不均衡不仅没有成为人类的防线，反而构成了RSI最致命的毒药。

但沙袋，只能阻挡潮水一时。

目前全球最大的系统漏洞在于，我们现有的监管、法律与安全框架，仍然在用「人类速度」运行。我们习惯于在事故发生后起草法案，习惯于在商业巨头完成垄断后才进行反垄断调查。

当机器开始自己谱写未来的代码，留给人类修改错别字的时间，真的已经不多了。

参考资料：

https://sakana.ai/rsi-lab/

https://spectrum.ieee.org/recursive-self-improvement

编辑：大卫

秒追ASI