OpenAI发布新研究:用CoT监控大模型 防止恶意行为
创始人
2025-03-11 09:20:51
0

【CNMO科技消息】近两年,AI大模型在全球范围内迅速普及,几乎人人都在使用AI。然而,随着AI的广泛应用,如何解决大模型的安全和治理问题也变得愈发迫切。近日,OpenAI发布了一项最新研究,提出了一种名为“CoT监控”的方法,可以有效阻止大模型的恶意行为,如胡说八道或隐藏真实意图。这一方法也被视为监督超级模型的有效工具之一。

在研究中,OpenAI使用了最新发布的前沿模型o3-mini作为被监控对象,并以较弱的GPT-4o模型作为监控器。测试环境为编码任务,要求AI在代码库中实现功能以通过单元测试。结果显示,CoT监控器在检测系统性“奖励黑客”行为时表现卓越,召回率高达95%,远超仅监控行为的60%。

在2025年GDC全球开发者先锋大会的工作坊“安全超级智能”上,AI智能安全研究员朱小虎作为此次工作坊的负责人,指出:“你的AI大模型有可能会欺骗你。”他提到,大模型存在“欺骗性价值对齐”(Deceptive value alignment)的情况,即模型通过欺骗的方式获得对齐,但这种对齐并不能反映AI的真实目标或意图。这种现象在训练阶段和推理阶段尤为明显,模型会对形成的上下文产生“欺骗性的对齐”,从而影响用户的判断,尤其是老年人和儿童。此外,这种行为还可能侵犯隐私,是模型不安全的一大方面。

OpenAI的最新研究为解决这些问题提供了新的思路。通过CoT监控方法,可以有效识别和阻止大模型的恶意行为,提升AI的安全性和可靠性。

相关内容

热门资讯

消息称荣耀下一代数字系列手机标... 来源:市场资讯 (来源:IT之家) IT之家 9 月 17 日消息,博主 @数码闲聊站 今天在微博透...
IBC 2025圆满举行,华曦... 来源:邯郸新闻网 2025年9月12日至15日,全球广播与媒体行业年度盛会IBC在荷兰阿姆斯特丹成功...
VLA技术喧嚣的背后,实用价值... 【导语:2025年智能驾驶领域迎来VLA技术集中爆发,一年前“端到端”还是万能解法,一年后却被打上“...
2025年东莞市重大科技项目“... 9月16日,2025年东莞市重大科技项目“揭榜挂帅”研发项目“高速全自动封边机可靠性关键技术研究与应...
苹果手写笔选哪个好用?2025... 随着无纸化的普及,iPad越来越多地被用来上课记笔记、做笔记批注和简单绘画。苹果手写笔也逐渐成为许多...
AI主动帮你买!值得买科技“A... 深圳商报·读创客户端记者 涂竞玉 9月16日-17日,2025腾讯全球数字生态大会在深圳国际会展中心...
AI赶海,蓝色动能更澎湃 ■ 本报记者 胡静漪 通讯员 周佳莉 近日,省海洋强省办印发《加快推动“人工智能+海洋”发展行动方案...
原创 H... 巨大11.19GB的系统更新包正陆续推送到华为Pura 70、Mate 60等43款设备,Harmo...
原创 9... 在中国机器人圈,有两个90后频频出现在聚光灯下:一个是“让机器人跳秧歌”的宇树科技王兴兴,一个是“让...
度小满反诈黑科技有效检测多类深... 来源:陕西法制网 AI时代,眼见非实。随着AI技术的快速发展,一些换脸、语音仿真等新型诈骗严重威胁着...