OpenAI发布新研究:用CoT监控大模型 防止恶意行为
创始人
2025-03-11 09:20:51
0

【CNMO科技消息】近两年,AI大模型在全球范围内迅速普及,几乎人人都在使用AI。然而,随着AI的广泛应用,如何解决大模型的安全和治理问题也变得愈发迫切。近日,OpenAI发布了一项最新研究,提出了一种名为“CoT监控”的方法,可以有效阻止大模型的恶意行为,如胡说八道或隐藏真实意图。这一方法也被视为监督超级模型的有效工具之一。

在研究中,OpenAI使用了最新发布的前沿模型o3-mini作为被监控对象,并以较弱的GPT-4o模型作为监控器。测试环境为编码任务,要求AI在代码库中实现功能以通过单元测试。结果显示,CoT监控器在检测系统性“奖励黑客”行为时表现卓越,召回率高达95%,远超仅监控行为的60%。

在2025年GDC全球开发者先锋大会的工作坊“安全超级智能”上,AI智能安全研究员朱小虎作为此次工作坊的负责人,指出:“你的AI大模型有可能会欺骗你。”他提到,大模型存在“欺骗性价值对齐”(Deceptive value alignment)的情况,即模型通过欺骗的方式获得对齐,但这种对齐并不能反映AI的真实目标或意图。这种现象在训练阶段和推理阶段尤为明显,模型会对形成的上下文产生“欺骗性的对齐”,从而影响用户的判断,尤其是老年人和儿童。此外,这种行为还可能侵犯隐私,是模型不安全的一大方面。

OpenAI的最新研究为解决这些问题提供了新的思路。通过CoT监控方法,可以有效识别和阻止大模型的恶意行为,提升AI的安全性和可靠性。

相关内容

热门资讯

伏特“托举”比特 “电”“算”... 国网太原供电公司工作人员走访客户,了解用电需求。本报记者王龙飞摄 伏特是电压的计量单位,比特是数据信...
兴阳光电申请玻璃成型设备专利,... 金融界2025年7月12日消息,国家知识产权局信息显示,河南兴阳光电科技有限公司申请一项名为“一种玻...
山推股份获得实用新型专利授权:... 证券之星消息,根据天眼查APP数据显示山推股份(000680)新获得一项实用新型专利授权,专利名为“...
重庆水泵厂取得双涡室泵壳结构及... 金融界2025年7月12日消息,国家知识产权局信息显示,重庆水泵厂有限责任公司取得一项名为“双涡室泵...
总投资超80亿!南京阿里中心正... 7月11日,南京阿里中心在河西中央科创区正式开园。作为该区域规模最大的互联网园区,项目总投资超80亿...
老板电器获得实用新型专利授权:... 证券之星消息,根据天眼查APP数据显示老板电器(002508)新获得一项实用新型专利授权,专利名为“...
“天府新区数字经济赋能培训基地... 7月8日,“天府新程・共创未来”中国移动生态企业天府行活动在四川天府新区举行。本次活动汇聚中国移动生...
张旭:类脑智能将引领下一代人工... 为推动培育壮大新兴产业和前瞻布局未来产业,7月11日,广东省召开省加快推进现代化产业体系建设专题会议...
社旗:科技赋能提升监管效率 在社旗县福兴街(泰山路—华山路)提升改造工程建设现场,挖掘机长臂挥舞,运输车往来穿梭,压路机、推土机...
原创 又... 近期有科技媒体曝光了谷歌Pixel 10 Pro Fold折叠手机的GeekBench跑分成绩:单核...