OpenAI发布新研究:用CoT监控大模型 防止恶意行为
创始人
2025-03-11 09:20:51
0

【CNMO科技消息】近两年,AI大模型在全球范围内迅速普及,几乎人人都在使用AI。然而,随着AI的广泛应用,如何解决大模型的安全和治理问题也变得愈发迫切。近日,OpenAI发布了一项最新研究,提出了一种名为“CoT监控”的方法,可以有效阻止大模型的恶意行为,如胡说八道或隐藏真实意图。这一方法也被视为监督超级模型的有效工具之一。

在研究中,OpenAI使用了最新发布的前沿模型o3-mini作为被监控对象,并以较弱的GPT-4o模型作为监控器。测试环境为编码任务,要求AI在代码库中实现功能以通过单元测试。结果显示,CoT监控器在检测系统性“奖励黑客”行为时表现卓越,召回率高达95%,远超仅监控行为的60%。

在2025年GDC全球开发者先锋大会的工作坊“安全超级智能”上,AI智能安全研究员朱小虎作为此次工作坊的负责人,指出:“你的AI大模型有可能会欺骗你。”他提到,大模型存在“欺骗性价值对齐”(Deceptive value alignment)的情况,即模型通过欺骗的方式获得对齐,但这种对齐并不能反映AI的真实目标或意图。这种现象在训练阶段和推理阶段尤为明显,模型会对形成的上下文产生“欺骗性的对齐”,从而影响用户的判断,尤其是老年人和儿童。此外,这种行为还可能侵犯隐私,是模型不安全的一大方面。

OpenAI的最新研究为解决这些问题提供了新的思路。通过CoT监控方法,可以有效识别和阻止大模型的恶意行为,提升AI的安全性和可靠性。

相关内容

热门资讯

邢台电子信息产业缘何快速壮大 邢台电子信息产业缘何快速壮大 太行智算中心成为省内最大的市场化智能算力集群,预计本月底再上线3000...
具身智能显身手:机器人如何在自... 在2025年这一被视为具身智能商业化进程中的关键节点,一系列工业现场的应用实例正不断涌现,预示着这一...
河南安阳首条无人机山区邮路实现... (央视财经《经济信息联播》)近日,河南省首条无人机邮路在安阳市太行山区正式实现常态化运营,这不仅为山...
南京优弘达取得进压头组件专利,... 金融界2025年7月12日消息,国家知识产权局信息显示,南京优弘达电子科技有限公司取得一项名为“一种...
从OpenAI叛逃谷歌!这位2... 新智元报道 编辑:英智 好困 谷歌曾被OpenAI甩在身后,27岁小哥却凭一己之力成为谷歌AI的「流...
原创 三... 在传统手机与平板之间,有一种“跨界怪物”正逐渐走入主流,那就是大折叠屏手机。它既能合上时一手掌控,又...
星际荣耀自研 70N 姿控发动... IT之家 7 月 12 日消息,星际荣耀航天科技集团昨日发文称,其自主研发的 70N 姿控发动机近日...
江丰电子获得实用新型专利授权:... 证券之星消息,根据天眼查APP数据显示江丰电子(300666)新获得一项实用新型专利授权,专利名为“...
北大、北邮、华为开源纯卷积Di... 当整个 AI 视觉生成领域都在 Transformer 架构上「卷生卷死」时,一项来自北大、北邮和华...
第二十一届全国容错计算学术会议... 潮新闻客户端 记者 张云山 在中国计算机学会容错计算专业委员会成立40周年之际,为推动我国容错技术领...