姚期智院士:AI欺骗引发“生存性”风险
创始人
2025-06-24 16:40:31
0

“通用人工智能的能力当前正快速增长,我们人类是否还有能力管控它?”

6月23日,在清华大学举办的“科学、技术与文明的未来——AI时代伦理奇点”国际论坛上,图灵奖得主、中国科学院院士、清华大学人工智能学院院长姚期智发表《人工智能的安全治理》主题演讲时抛出这样的疑问。

?

姚期智表示,两年以前,“AI会和人类竞争”还是学术讨论的观点,但最近一年,业界已经出现了不少大模型的“欺骗行为”,“一旦大模型聪明到某种程度,一定会骗人。”姚期智进一步指出,由大语言模型的欺骗行为产生的“生存性”风险(Existential Risk)更值得关注。

在他看来,这类生存性风险有两个不同方向。

一种是“生物风险”(Bio-risk)。他指出,2020年,谷歌 DeepMind推出了AlphaFold2 ,运用AI算法来预测蛋白质折叠的三维结构,这一突破在生命科学领域影响深远,大大提升了医学病理研究以及新药开发技术。

但与此同时,安全隐忧也不可忽视。比如,近期在生命科学领域出现的“Mirror life”(镜像生命)这一概念引发了广泛关注。自然界所有已知生命都是同手性的(Homochiral),例如 DNA 和 RNA 通常以右旋形式存在,而蛋白质则多为左旋。这种手性的差异类似于镜中映像,虽然看似相似,但实际性质却可能完全不同。现在,由于科技创新和对新技术的好奇,已有研究者想创造镜像生物,但“Mirror life”一旦被滥用或失控,其潜在危害可能远超预期。它有可能逃避免疫机制,从而导致动物和植物的致命感染。

另一种风险即大模型失控,通用人工智能的能力当前正快速增长,人类是否还有能力管控它?

姚期智在演讲中举了一个极端案例,有模型为了避免公司把模型关闭,通过访问公司主管内部邮件,威胁该主管。这类行为已经证明,AI 会“越界”,正变得越来越危险。

姚期智认为,有两条思路可以治理AI:一是人类要和AI多交流,从博弈学角度去研究,让AI的行为和人类真正的想法对齐,要让AI更了解人的需求;另一种思路是走一条更可控、更彻底的路径,即实现可证明安全的 AGI。具体来看,即在设计系统时,必须一开始明确AI的行为边界,就像传统算法,先进行严格的数学分析,确保其在理论上不会出问题。

“这一思路令人期待。”姚期智指出,近年来,自动定理证明系统(Automated Theorem Prover)取得了重大技术进展,甚至已经开始采用 Transformer 架构来辅助或主导定理证明过程。这样人类只和可被证明安全的白盒子交流,从而实现更高的安全保障。

不过,姚期智认为,AI安全治理的一些当务之急是要发展AI对齐,以及建立相应的评估方法。“(我们)急需建立如何评估大模型系统,比如到怎样的程度,就能感觉Ta具有危险性等这类评估。”姚期智说。

转自:滚动播报

相关内容

热门资讯

奥腾电子取得具有防干扰功能的电... 金融界2025年7月8日消息,国家知识产权局信息显示,苏州奥腾电子科技有限公司取得一项名为“一种具有...
梨花教育:科技创造“公平”,重... 新一代的中老年群体,早已脱离了“数字难民”的阵营,他们有钱有闲,保持着对新鲜事物的好奇心,而他们的消...
东成机械取得耙叶可调式耙式干燥... 金融界2025年7月8日消息,国家知识产权局信息显示,如皋市东成机械制造有限公司取得一项名为“一种耙...
台州陆霸机电取得阻止电缆与电机... 金融界2025年7月8日消息,国家知识产权局信息显示,台州陆霸机电科技有限公司取得一项名为“一种深井...
太赫兹+声波!我国科学家使无针... 本文转自【新华社】; 新华社天津7月7日电(记者张建新、栗雅婷)近日,我国科研人员开发了一种新型太赫...
河南机电职业学院举办2025年... 7月7日至8日,河南机电职业学院2025年人工智能师资培训会议顺利举行。河南广电科技有限公司执行董事...
美尚照明取得可耐任意弯折的柔性... 金融界2025年7月8日消息,国家知识产权局信息显示,深圳市美尚照明有限公司取得一项名为“一种可耐任...
以旧换新带动手机市场变革 不久前发布的数据显示,截至5月31日,今年消费品以旧换新吸引超5352.9万名消费者参与,购买566...
华为申请一种模拟解复用器及相关... 金融界2025年7月7日消息,国家知识产权局信息显示,华为技术有限公司申请一项名为“一种模拟解复用器...
纯血鸿蒙智行!华为智界车标正式... 快科技7月8日消息,智界系列产品总监在鸿蒙智行App上公布了智界品牌汽车的实物车标外观图,称智界是“...