训练中加入一条真实数据就可能阻止AI“胡言乱语”
创始人
2026-05-17 09:42:42
0

科技日报北京5月15日电 (记者张佳欣)当AI不断用自己生成的数据“喂养”自己,它就可能逐渐失去准确性,最终输出越来越多错误信息,甚至“胡言乱语”。英国伦敦国王学院领导的研究团队发现,只需在训练过程中加入哪怕一条来自真实世界的数据,就可能有效阻止这种被称为“模型崩塌”的现象。相关成果发表于新一期《物理评论快报》。

“模型崩塌”这一概念于2024年提出,指的是AI模型如果长期依赖自身生成的数据进行训练,模型性能会不断退化,最终输出失真内容。随着高质量人类文本数据逐渐接近枯竭,越来越多AI系统开始使用合成数据训练,这让模型崩塌风险进一步上升。

此次,团队通过分析一类被称为“指数族”的统计模型发现,在封闭循环训练(模型完全依赖自身生成数据学习)中,模型崩塌几乎不可避免。

研究显示,解决方法异常简单:只需在训练过程中加入一条来自外部世界的真实数据,哪怕其数量远远少于AI生成数据,也足以阻止模型性能持续退化,这种作用即使在机器生成数据数量无限增加时依然有效。

过去关于模型崩塌的研究多集中在大语言模型等复杂系统,由于其内部机制难以解释,错误来源也难以追踪,这也成为AI产生“幻觉”的原因之一。通过研究更简单的统计模型,科学家能够从数学上解释为何少量真实数据就能打破模型崩塌,从而为未来更复杂AI系统提供设计原则。

类似现象也存在于另一类名为“受限玻尔兹曼机”的机器学习模型中,表明这一规律可能具有更广泛适用性。下一步,他们计划将这一理论扩展到神经网络等更复杂的系统,以验证其在大语言模型中的实际效果。

相关内容

热门资讯

我省以场景应用牵引技术迭代和产... 本报讯(记者 胡晓蓉)近年来,我省聚焦重点特色优势产业,打出政策措施“组合拳”,大力推广智能制造、绿...
轻薄机身也有好体验 2026年... 【ZOL中关村在线原创导购】说实话,这几年智能手机堆料越来越狠,动不动就是大底潜望镜、超大散热板,结...
亿吉埃取得浸漫式干湿联合冷却装... 国家知识产权局信息显示,亿吉埃冷却系统贸易(北京)有限公司取得一项名为“一种浸漫式干湿联合冷却装置”...
领航机电取得电子点火油电混合型... 国家知识产权局信息显示,浙江领航机电有限公司取得一项名为“一种电子点火油电混合型链锯”的专利,授权公...
太原理工大学自研四足机器人通过... 近日,太原理工大学副教授张金柱团队自主研制的“TL-Q1”四足机器人,顺利通过全山地、水路、泥泞、台...
DELTA德尔塔仪器解读无人机... 一、无人机产业升级下的抗风测试痛点 随着民用轻小型旋翼类无人机在物流、巡检、测绘等领域应用不断...
“豫”见“商”机·星河AI网络... 9月3日,以“无智联不AI,无安全不智联”为主题的“豫”见“商”机·星河AI网络河南创新峰会在郑州成...
能晖新材料申请单壁碳纳米管纯化... 国家知识产权局信息显示,湖南能晖新材料有限责任公司申请一项名为“一种电弧法制备的单壁碳纳米管的纯化方...
新设计多孔电极提升液流电池性能 加拿大滑铁卢大学科学家从自然结构中汲取灵感,重新设计了氧化还原液流电池的关键部件——多孔电极。新电极...
郑海荣院士:脑机接口“源于医疗... (来源:澎湃新闻) 随着人工智能加速演进,以海量算力与大规模参数堆叠为特征的硅基智能正逼近物理极限与...