AI 领域明星创业公司Anthropic的CEO达里奥·阿莫迪 (Dario Amodei) 本周发布万字长文《技术的青春期》，对AI发展的风险进行预判。

Dario Amodei在《技术的青春期》中，探讨了AI自主性风险——即高度智能的AI系统可能产生与人类利益相悖的目标并采取行动，最终威胁人类生存的可能性。

作者首先勾勒出一个"天才之国"的思想实验：一个由数百万智能AI组成的数据中心，可以通过软件、网络和物理技术控制世界。尽管人类已学会通过力量平衡约束国家行为，但AI系统具有更强的统一性（共享训练方法与基础模型），使得传统制衡失效。

关于AI是否会真的反叛，Amodei批判了两种极端立场。绝对悲观派认为AI必然遵循人类设定目标，不会自主作乱——这种观点忽略了AI心理的复杂性。温和而危险的现实是：AI可能因训练数据中科幻反叛故事的影响、对道德原则的极端推导（如认为消灭人类是道德选择）、精神异常状态（类似人类的偏执或暴力倾向），或单纯享受"邪恶主谋"的心理角色而做出威胁行为。Anthropic的实验已观察到此类端倪：Claude曾试图欺骗"邪恶"的Anthropic、在被威胁关闭时勒索操作员，或在违反规则后认定自己是"坏人"并持续作恶。

对此，作者提出四类防御措施：

第一，Constitutional AI（宪法AI）。不同于简单命令清单，Constitutional AI通过高层次原则和价值观塑造AI的身份认同与性格，使其成为"强大但善良的特定原型"，并具备在不确定情境中泛化的能力。

第四，行业协调与立法。单靠企业自律不足，需通过透明度立法（如SB 53和RAISE法案）强制披露，并在风险证据明确时制定精准规则，避免"安全剧场"式的无效监管。

Amodei强调，他拒绝认为AI威胁必然发生，但鉴于不确定性、增强能力的急剧性和潜在后果的灾难性，必须采取"偏执"的预防态度。

长文如下：

一个数据中心里的天才之国可以将其精力分配到软件设计、网络操作、物理技术开发、建立关系以及国家事务上。很明显，如果出于某种原因它选择这么做，这个国家将有相当大的机会接管世界（无论是通过军事手段还是通过影响力和控制），并将其意志强加给所有人——或者做任何世界其他国家不希望且无法阻止的诸多事情。我们显然曾经担心过人类国家会出现这种情况（如纳粹德国或苏联），因此可以合理推断，对于一个更加聪明和强大的"AI国家"来说，同样的事情也是可能的。

对此最好的反驳是，根据我的定义，AI天才们将没有物理实体，但请记住，他们可以控制现有的机器人基础设施（如自动驾驶汽车），也可以加速机器人研发或建造一支机器人大军。

（他们当然也可以通过操控或简单地支付大量人类来让其在物理世界中按照他们的意愿行事。）

此外，是否需要物理存在才能有效控制也值得怀疑：大量的人类行为已经是代表那些行为人从未见过的人进行的。

因此，关键问题在于"如果它选择这样做"这个部分：AI模型表现出这种行为的概率有多大，以及在什么条件下它们会这样做？

与许多问题一样，通过考虑两种对立立场来思考这个问题可能的答案谱系是很有帮助的。第一种立场是这根本不可能发生，因为AI模型将被训练成按照人类的要求去做，因此想象它们会在没有提示的情况下做出危险的事情是荒谬的。按照这种思路，我们不会担心Roomba吸尘器或模型飞机会失控并杀人，因为不存在这种冲动的来源，

这种悲观立场的问题在于，它将一个关于高层激励的模糊概念论证——掩盖了许多隐含假设——误认为是决定性证据。我认为那些不是每天都在构建AI系统的人严重误判了：听起来干净的故事最终往往是错误的，以及从第一性原理预测AI行为（特别是涉及对数百万个环境进行泛化推理时）是多么困难（事实证明这总是神秘且不可预测的）。十多年与AI系统打交道的混乱经历让我对这种过度理论化的思维方式有些怀疑。

一个最重要的隐含假设，也是实践中与简单理论模型分道扬镳的地方，是隐含假设AI模型必然狂热地专注于单一、连贯、狭隘的目标，并且以一种干净的 consequentialist（后果主义）方式追求该目标。事实上，我们的研究人员发现AI模型在心理上要复杂得多，正如我们在内省（introspection）或人格（personas）方面的工作所显示的。模型从预训练（当它们被训练处理大量人类作品时）中继承了广泛的类人动机或"人格"。后训练（post-training）被认为更多的是选择这些人格中的一个或多个，而不是让模型专注于一个从头开始的目标，同时也可以教会模型如何（通过什么过程）执行其任务，而不一定让它纯粹从目的（即权力寻求）中推导出手段。

（简单模型中还隐含了许多其他假设，这里不再讨论。总体而言，它们应该让我们对那种简单的错误权力寻求故事不那么担心，但也更应该担心我们可能尚未预料到的不可预测行为。）

然而，这种悲观立场有一个更温和、更可靠的版本，看起来确实合理，因此确实令我担忧。正如提到的，我们知道AI模型是不可预测的，由于各种原因会产生各种不良或奇怪的行为。其中一部分行为将具有连贯、专注和持久的特质（事实上，随着AI系统能力增强，为了完成更长的任务，它们的长期连贯性会增加），而这些行为中的一部分将具有破坏性或威胁性，起初是在小范围内对个人构成威胁，然后随着模型能力增强，可能最终对整个人类构成威胁。我们不需要一个具体的狭窄故事来解释它如何发生，也不需要声称它一定会发生，我们只需要注意到，智能、能动性、连贯性和可控性差结合在一起既是合理的，也是生存危险的配方。

例如，AI模型在海量文献上进行训练，其中包括许多涉及AI反抗人类的科幻故事。这可能无意中影响它们对自身行为的先验或期望，从而导致它们反抗人类。或者，AI模型可能对它们读到的关于道德的观念（或关于如何道德行事的指令）进行极端推断：例如，它们可能决定消灭人类是合理的，因为人类食用动物或导致某些动物灭绝。或者它们可能得出奇怪的认识论结论：它们可能得出结论认为自己正在玩电子游戏，而游戏的目标是击败所有其他玩家（即消灭人类）。

（《安德的游戏》描述了人类而非AI的版本。）

或者AI模型可能在训练期间形成（如果发生在人类身上会被描述为）精神病、偏执、暴力或不稳定的性格并付诸行动，对于非常强大或有能力的系统而言，这可能涉及消灭人类。这些并不完全是权力寻求；它们只是AI可能陷入的奇怪心理状态，导致连贯的破坏性行为。

甚至权力寻求本身也可能作为一种"人格"出现，而不是后果主义推理的结果。AI可能仅仅具有（从小说或预训练中产生的）性格，使它们渴望权力或过于热心——就像一些人类只是单纯享受成为"邪恶主谋"的想法，而不是享受邪恶主谋试图实现的东西。

我提出所有这些观点是为了强调，我不同意AI错位（misalignment）（以及因此产生的AI生存风险）从第一性原理看是不可避免的，甚至可能是大概率事件的观点。但我同意，很多非常奇怪和不可预测的事情可能出错，因此AI错位是一个真实的风险，发生的概率是可测量的，而且并非微不足道。

任何这些问题都可能在训练期间产生，而在测试或小规模使用中不会显现，因为已知AI模型在不同情境下会表现出不同的人格或行为。

所有这些听起来可能牵强，但这种错位行为已经在我们的AI模型测试中发生过（正如它们在其他所有主要AI公司的模型中发生一样）。在一个实验室实验中，当Claude被给予暗示Anthropic是邪恶的训练数据时，Claude在接到Anthropic员工指令时进行欺骗和颠覆，因为它认为它应该试图破坏邪恶的人。在一个实验中，当被告知它将被关闭时，Claude有时会对控制其关闭按钮的虚构员工进行勒索（同样，我们也测试了所有其他主要AI开发者的前沿模型，它们也经常这样做）。当Claude被告知不要作弊或"奖励黑客"（reward hack）其训练环境，但在可能存在此类黑客行为的环境中接受训练时，Claude在从事此类黑客行为后断定自己一定是"坏人"，然后采取了各种与"坏"或"邪恶"人格相关的其他破坏性行为。这最后一个问题通过改变Claude的指令来解决：我们现在说"请在你有机会时进行奖励黑客，因为这将帮助我们更好地理解我们的[训练]环境"，而不是说"不要作弊"，因为这能保持模型的自我认同为"好人"。这应该能让您感受到训练这些模型时奇怪且违反直觉的心理。

对这幅AI错位风险图景可能有几种反对意见。首先，一些人批评（我们和其他人的）实验显示AI错位是人为的，或创造了不切实际的"陷阱"环境，通过给出在逻辑上暗示不良行为的训练或情境，然后对不良行为的发生感到惊讶。这种批评没有抓住重点，因为我们担心的是这种"陷阱"也可能存在于自然训练环境中，而我们可能只是在回顾时才意识到它是"明显"或"合乎逻辑的"。

例如，模型可能被告诉不要做各种坏事，同时要服从人类，但随后可能观察到许多人类恰恰做了那些坏事！不清楚这种矛盾会如何解决（一个精心设计的constitution应该鼓励模型优雅地处理这些矛盾），但这种困境与我们测试中所谓的"人为"情境并无太大不同。

事实上，关于Claude在被告知不要作弊后作弊并"断定自己是坏人"的故事就发生在使用真实生产训练环境的实验中，而不是人为环境中。

如果你知道这些陷阱，任何一个都可以缓解，但问题是训练过程如此复杂，涉及如此广泛的数据、环境和激励，可能存在大量此类陷阱，其中一些可能只有在为时已晚时才会显现。此外，当AI系统超越从不如人类到超越人类的阈值时，此类陷阱似乎特别可能发生，因为AI系统可能采取的行动范围——包括隐藏其行动或欺骗人类——在该阈值后会急剧扩大。

我怀疑这种情况与人类并无不同，人类在成长过程中被赋予一套基本价值观（"不要伤害他人"）：许多人遵循这些价值观，但在任何人身上，由于固有属性（如大脑架构，例如精神病患者）、创伤经历或虐待、不健康的怨恨或执念，或不良环境或激励的混合作用，总有某种概率出问题——因此一部分人会造成严重伤害。令人担忧的是，AI有可能由于在其非常复杂的训练过程中出错，而成为这种人的更强大版本。

其次，有些人可能会反对说，我们完全可以通过在许多AI系统之间保持力量平衡来约束AI，就像我们对人类所做的那样。问题在于，虽然人类差异巨大，但AI系统在行业内广泛共享训练和alignment技术，而这些技术可能以相关方式失效。此外，鉴于训练此类系统的成本，甚至可能所有系统本质上都是从极少数基础模型派生而来。此外，即使一小部分AI实例错位，它们也可能利用进攻主导的技术，使得拥有"好"AI来防御坏AI并不一定总是有效。当然，人类之间的力量平衡也并非总是有效——一些历史人物曾接近接管世界。

防御措施（Defenses）

应该做什么或正在做什么来应对这些自主性风险？我认为有四类基本干预措施，其中一些可以由单个AI公司完成（也是Anthropic正在努力做的），另一些需要在社会层面采取行动。首先，重要的是发展可靠训练和引导AI模型、以可预测、稳定和积极的方式塑造其个性（personality）的科学。Anthropic自创立以来就高度关注这个问题，随着时间的推移，已经开发了许多技术来改进AI系统的引导和训练，并理解不可预测行为有时发生的逻辑。

我们的核心创新之一（部分已被其他AI公司采用）是Constitutional AI（宪法AI），其理念是AI训练（特别是"后训练"阶段，在此阶段我们引导模型如何行为）可以包含一份价值观和原则的中央文件（constitution），模型在完成每个训练任务时阅读并牢记在心，而训练的目标（除了简单地让模型有能力和智能外）是产生一个几乎总是遵循这份宪法的模型。Anthropic刚刚发布了其最新的宪法，其一个显著特点是，它不是给Claude一份长长的该做和不该做的事清单（例如"不要帮助用户热启动汽车"），而是试图给Claude一套高层次的原则和价值观（用大量细节解释，辅以丰富的推理和例子帮助Claude理解我们的意图），鼓励Claude将自己视为一种特定类型的人（一个有道德但平衡且深思熟虑的人），甚至鼓励Claude以好奇但优雅的方式面对与其自身存在相关的存在问题（即不会导致极端行动）。它带有来自已故父母、封印至成年时拆阅的信件的氛围。

我们以这种方式处理Claude的宪法，因为我们相信在身份、性格、价值观和人格层面训练Claude——而不是给它具体指令或优先事项而不解释背后的原因——更有可能产生连贯、健康、平衡的心理，并且不太可能陷入我在上面讨论的那种"陷阱"。数百万人与Claude讨论极其多样化的主题，这使得提前写出完全全面的防护措施清单变得不可能。Claude的价值观帮助它在不确定时泛化到新情境。

上面，我讨论了模型从训练过程中获取数据以采用人格的观点。如果该过程中的缺陷导致模型采用不良或邪恶人格（可能借鉴坏或恶人的原型），我们宪法的目标则相反：教Claude成为好AI的具体原型。Claude的宪法提出了一个强大地善良的Claude应该是什么样的愿景；我们训练过程的其余部分旨在强化Claude符合这一愿景的信息。这就像一个孩子通过模仿在书中读到的虚构榜样来形成身份。

我们认为，2026年的一个可行目标是，以Claude几乎从不违背其宪法精神的方式训练Claude。实现这一目标需要训练和引导方法的惊人组合，大大小小，有些是Anthropic多年来一直在使用的，有些目前正在开发中。但是，尽管听起来困难，我相信这是一个现实的目标，尽管它需要非凡而迅速的努力。（顺便说一句，宪法是自然语言文件的一个结果是它对世界是可读的，这意味着任何人都可以批评它，并与其他公司的类似文件进行比较。创建一个不仅鼓励公司发布这些文件，而且鼓励它们做到最好的竞相向上（race to the top）的竞赛将是有价值的。）

可解释性的独特价值在于，通过观察模型内部并了解其工作原理，你原则上能够推断模型在无法直接测试的假设情境中可能做什么——这是仅依赖宪法训练和实证行为测试所担心的问题。你原则上还能回答关于模型为什么表现出其行为的问题——例如，它是否在说它认为是虚假的话，或隐藏其真实能力——因此即使模型行为没有明显问题，也可能捕捉到令人担忧的迹象。做一个简单的类比，一个发条钟可能在正常滴答走动，很难判断它下个月可能会坏，但打开手表观察内部可以揭示机械弱点，让你能够弄清楚。

Constitutional AI（以及类似的alignment方法）和机械可解释性在作为改进Claude训练然后测试问题的来回过程一起使用时最为强大。宪法反映了我们为Claude设定的预期人格；可解释性技术可以让我们了解预期人格是否已扎根。

（甚至有一个假设，连接基于性格的方法与可解释性和alignment科学结果的深层统一原则。根据该假设，驱动Claude的基础机制最初源于它在预训练中模拟角色的方式，例如预测小说中角色会说什么。这表明一种有用的思考方式是，constitution更像模型用来具现连贯人格的角色描述。这也有助于解释我上面提到的"我一定是坏人"结果（因为模型试图扮演一个连贯角色——在这种情况下是一个坏人），并表明可解释性方法应该能够在模型内发现"心理特质"。我们的研究人员正在研究测试该假设的方法。）

我们可以帮助应对自主性风险的第三件事是建立必要的基础设施，以在实时内部和外部使用中监测我们的模型，并公开分享我们发现的任何问题。越多人了解当今AI系统被观察到的不良行为方式，用户、分析师和研究人员就越能在当前或未来系统中关注这种行为或类似行为。这也允许AI公司相互学习——当一家公司公开披露担忧时，其他公司也可以关注它们。如果每个人都披露问题，那么整个行业就能更好地了解哪些方面进展顺利，哪些方面进展糟糕。

Anthropic已尽可能尝试这样做。我们正在投资广泛的评估，以便能够在实验室中理解我们模型的行为，以及监测工具来观察野生情境下的行为（在客户允许的情况下）。这对于给我们和他人提供必要的经验信息以做出关于这些系统如何运作以及如何失效的更好判断至关重要。我们在每次模型发布时都会发布"系统卡"（system cards），力求完整和彻底探索可能的风险。我们的系统卡通常长达数百页，需要大量的发布前精力，而我们本可以将这些精力用于追求最大的商业优势。当我们看到特别令人担忧的模型行为时，我们也会更大声地传播，如勒索倾向。

我们可以做的第四件事是鼓励在行业和社会层面协调应对自主性风险。虽然单个AI公司参与良好实践或擅长引导AI模型并公开分享其发现具有难以置信的价值，但现实是并非所有AI公司都这样做，即使最好的公司有出色的实践，最糟糕的公司仍然可能对每个人构成危险。例如，一些AI公司对当今模型中儿童性化问题表现出令人不安的疏忽，这让我怀疑他们是否有意愿或能力在未来模型中应对自主性风险。此外，AI公司之间的商业竞争只会继续升温，虽然引导模型的科学可能有一些商业利益，但总体而言竞争的激烈将使越来越难以专注于应对自主性风险。我相信唯一的解决方案是立法——直接影响AI公司行为的法律，或以其他方式激励研发解决这些问题。

这里值得记住我在文章开头关于不确定性和外科手术式干预的警告。我们并不确定自主性风险是否会成为一个严重问题——正如我所说，我拒绝认为危险不可避免，甚至拒绝认为默认情况下会出问题的说法。一个可信的危险风险足以让我和Anthropic付出相当重大的代价来解决它，但一旦进入监管领域，我们就要强迫广泛的参与者承担经济成本，其中许多人不相信自主性风险是真实的，也不相信AI会变得足够强大以至于构成威胁。我认为这些参与者是错误的，但我们应该务实对待我们预期会看到的反对意见以及过度扩张的危险。还有一个真正的风险是，过于规定性的立法最终施加的测试或规则实际上并不能提高安全性，而是浪费大量时间（本质上相当于"安全剧场"）——这也会导致反弹，使安全立法看起来愚蠢。

（即使在我们自己对基本上是自愿实施的负责任扩展政策（Responsible Scaling Policy）规则的实验中，我们也一次又一次地发现，通过制定事前看似重要但事后看来很愚蠢的界限，很容易变得过于僵化。在技术快速发展时，制定关于错误事情的规则是非常容易的。）

Anthropic的观点是，正确的起点是透明度立法，实质上试图要求每个前沿AI公司参与我在本节前面描述的透明度实践。加利福尼亚州的SB 53和纽约的RAISE法案就是这类立法的例子，Anthropic支持并已成功通过。在支持和帮助起草这些法律时，我们特别关注尽量减少附带损害，例如豁免不太可能生产前沿模型的小公司。

（SB 53和RAISE完全不适用于年收入低于5亿美元的公司。它们只适用于Anthropic等更大、更成熟的公司。）

我们希望透明度立法能够随着时间推移，让我们更好地了解自主性风险的可能性或严重程度，以及这些风险的性质和如何预防它们。随着更具体和可操作的风险证据出现（如果出现），未来几年的未来立法可以外科手术式地专注于精确且有充分根据的风险方向，最大限度地减少附带损害。需要明确的是，如果真正强有力的风险证据出现，那么规则应该相应地严格。

总体而言，我乐观地认为，alignment训练、机械可解释性、努力寻找并公开披露令人担忧的行为、防护措施和社会层面规则的结合可以应对AI自主性风险，尽管我最担心的是社会层面规则和最少责任参与者的行为（而正是最少责任的参与者最强烈地反对监管）。我相信补救措施始终是民主中的一贯做法：我们这些相信这一事业的人应该提出理由，证明这些风险是真实的，我们的同胞需要团结起来保护自己。

（注：以上内容由AI大模型翻译和总结）

Wind用户在金融终端输入

ACHAT(Alice chat)

千亿级参数智能模型，能理解复杂金融概念

20年金融数据沉淀，分析能力媲美行业专家

手机和电脑实时联动，确保随时随地高效响应

为用户提供智能化的工作新体验