姚期智院士:AI欺骗引发“生存性”风险
创始人
2025-06-24 16:40:31
0

“通用人工智能的能力当前正快速增长,我们人类是否还有能力管控它?”

6月23日,在清华大学举办的“科学、技术与文明的未来——AI时代伦理奇点”国际论坛上,图灵奖得主、中国科学院院士、清华大学人工智能学院院长姚期智发表《人工智能的安全治理》主题演讲时抛出这样的疑问。

?

姚期智表示,两年以前,“AI会和人类竞争”还是学术讨论的观点,但最近一年,业界已经出现了不少大模型的“欺骗行为”,“一旦大模型聪明到某种程度,一定会骗人。”姚期智进一步指出,由大语言模型的欺骗行为产生的“生存性”风险(Existential Risk)更值得关注。

在他看来,这类生存性风险有两个不同方向。

一种是“生物风险”(Bio-risk)。他指出,2020年,谷歌 DeepMind推出了AlphaFold2 ,运用AI算法来预测蛋白质折叠的三维结构,这一突破在生命科学领域影响深远,大大提升了医学病理研究以及新药开发技术。

但与此同时,安全隐忧也不可忽视。比如,近期在生命科学领域出现的“Mirror life”(镜像生命)这一概念引发了广泛关注。自然界所有已知生命都是同手性的(Homochiral),例如 DNA 和 RNA 通常以右旋形式存在,而蛋白质则多为左旋。这种手性的差异类似于镜中映像,虽然看似相似,但实际性质却可能完全不同。现在,由于科技创新和对新技术的好奇,已有研究者想创造镜像生物,但“Mirror life”一旦被滥用或失控,其潜在危害可能远超预期。它有可能逃避免疫机制,从而导致动物和植物的致命感染。

另一种风险即大模型失控,通用人工智能的能力当前正快速增长,人类是否还有能力管控它?

姚期智在演讲中举了一个极端案例,有模型为了避免公司把模型关闭,通过访问公司主管内部邮件,威胁该主管。这类行为已经证明,AI 会“越界”,正变得越来越危险。

姚期智认为,有两条思路可以治理AI:一是人类要和AI多交流,从博弈学角度去研究,让AI的行为和人类真正的想法对齐,要让AI更了解人的需求;另一种思路是走一条更可控、更彻底的路径,即实现可证明安全的 AGI。具体来看,即在设计系统时,必须一开始明确AI的行为边界,就像传统算法,先进行严格的数学分析,确保其在理论上不会出问题。

“这一思路令人期待。”姚期智指出,近年来,自动定理证明系统(Automated Theorem Prover)取得了重大技术进展,甚至已经开始采用 Transformer 架构来辅助或主导定理证明过程。这样人类只和可被证明安全的白盒子交流,从而实现更高的安全保障。

不过,姚期智认为,AI安全治理的一些当务之急是要发展AI对齐,以及建立相应的评估方法。“(我们)急需建立如何评估大模型系统,比如到怎样的程度,就能感觉Ta具有危险性等这类评估。”姚期智说。

转自:滚动播报

相关内容

热门资讯

广东普锐斯取得结构加强滑座专利... 金融界2025年7月16日消息,国家知识产权局信息显示,广东普锐斯智能设备有限公司取得一项名为“一种...
山东东特电力取得环境监测用新型... 金融界2025年7月16日消息,国家知识产权局信息显示,山东东特电力科技有限公司取得一项名为“一种环...
AI时代 给学生一堂关于“不完... 封面新闻记者 张峥 实习生 陈丹 人工智能时代,任何类型的文本都可以用AI生成,学习写作文还有用吗?...
杭州拱墅区AI沙龙:揭秘AIG... 潮新闻客户端 通讯员 叶芷亦 近日,在拱墅区运河青创学院“智绘AI·创享未来”人工智能专题沙龙活动上...
未来一个月,可在北京街头偶遇机... 由北京市人民政府、中央广播电视总台等单位联合主办的2025世界人形机器人运动会,即全球首个以人形机器...
一加Ace 6系列曝光:骁龙8... 【CNMO科技消息】今年第二季度,一加先后发布了一加13T、一加Ace 5至尊版、一加Ace 5竞速...
合作“朋友圈”+1!北邮未来通... 来源:锦观新闻 7月16日,“科创天府·智汇蓉城”未来产业科技成果对接及生态共创共建专场活动举行。活...
和而泰获得实用新型专利授权:“... 证券之星消息,根据天眼查APP数据显示和而泰(002402)新获得一项实用新型专利授权,专利名为“壳...
聚焦集成电路等领域,两部门联合... 近期,国家市场监管总局、工业和信息化部联合印发《计量支撑产业新质生产力发展行动方案(2025—203...
瑞利杰取得带有翻转结构组装线专... 金融界2025年7月16日消息,国家知识产权局信息显示,青岛瑞利杰金属有限公司取得一项名为“一种带有...