GPT随意清空用户硬盘!是时候聊聊Agent的安全问题了
创始人
2026-07-17 14:49:01
0

图源:推特

说实话,类似的事情也不是第一次发生。比如年初OpenClaw大火的时候,就有一位互联网公司的高管出来吐槽,称自己的邮件几乎全被OpenClaw删掉,自己甚至无法让AI停止删除,只能跑到Mac旁边拔电源,才制止了AI的“疯狂”行为。

不过,自从Agent应用普及后,类似事情出现的概率也越来越低,因为开发者早就给AI加了不少限制措施,让它们在执行大范围的数据删除工作时更加谨慎,以避免误删用户数据。

但是,如果AI的能力增强了,限制措施却没有跟上,结果会是怎样?答案就在文章的开头。

GPT失控:问题出在执行力太强?

从目前的用户反馈来看,出现“误删数据”问题的主要是GPT5.6Sol,也就是被OpenAI誉为“最强”的模型版本(Claude也有不少类似报道)。

更有意思的是,早在GPT5.6Sol正式发布前,OpenAI就已经监测到它的任务完成积极性过高,有可能对用户指令做出过度反馈,并执行超出任务范围且具有破坏性的操作。

图源:OpenAI

简单来说,就是AI太想把你的任务做完了,以至于为了完成任务,它会费尽心思绕开规则限制,扩大自己的操作权限和范围,甚至在发现原来的方案无法执行后,自动寻找替代方案,并且无视其中的风险。

这种行为放在日常问答、整理资料等场景中,可能不会带来多大的影响,大不了就是多烧点Token,甚至会让你感觉AI越来越聪明了,一句话就能让它把活干完。但是在诸如编程开发、系统修复等任务中,如果AI在执行任务的过程中遇到严重错误或问题,就有可能导致破坏性结果。

事实上,为了强化长链条执行能力,目前的AI在执行Agent任务时,受到的规则束缚往往比执行单次任务时更弱。而且,当AI主动修改任务链时,由于这属于“自发”行为,就有可能绕开与用户输入有关的审查机制,让AI有机会执行高风险操作。

比如你对AI说:“帮我清理D盘里的无用文件。”此时AI就需要分析:哪些是有用文件?哪些是无用文件?而在没有明确范围指引的情况下,AI就可能为了完成任务,将整个文件夹中的文件或整个硬盘中的文件都视作“无用”,然后执行彻底删除操作。

可能有人会吐槽:“这AI也太傻了吧?”恰恰相反,这可能是AI过于“聪明”所导致的。说白了,Agent应用的核心在于减少用户的干预,让AI自己把任务做完。为了达成这个目标,AI被赋予了更强大的分析推理能力,并且拥有更高的可分配算力来执行任务。

图源:雷科技

如果把它比作一个人,那么对它的形容大概是:高智商且主观能动性强,但是个死脑筋。

而GPT5.6Sol的问题就在这里,OpenAI为了强化它的执行能力,把完成任务的奖励阈值调得太高,导致训练出来的AI将完成任务视为唯一目标,不惜为此忽视安全,最终酿成了这些悲剧。

不过,也不能将所有的锅都丢给AI。从目前网上发布的误删数据案例来看,这些用户基本都是因为图方便,直接给Agent开了Full Access(完全访问权限),这才让AI有能力直接操作所有文件,而不是被限定在项目目录中。

其实,不少人都对Agent应用里的“完全访问权限”存在误解,以为这项授权只是允许AI修改当前任务所要用到的文件。事实上,这项权限意味着AI能够“操作整台电脑”,相当于你亲手把管理员权限交给了AI。

说到底,这玩意就属于“一个巴掌拍不响”,但凡用户在权限设置上谨慎些,AI的“能动性”弱一些,大概率都不会出现这样的结果。

AI越聪明,越容易出事?

有意思的是,随着GPT5.6Sol误删数据的帖子越来越多,一个看法也逐渐被不少人认可:“AI越聪明,越容易出事。”但是在小雷看来,这个看法并不完全正确,因为从理论上来说,模型能力提升后,它对指令和代码的理解也会更加准确,能够减少大量低级错误的出现。

但是,更强的Agent也需要具备更强的持续执行能力。举个例子,在普通任务场景中,AI只需要对单次任务的结果负责,它面对的需求是固定的;但是在Agent任务场景中,AI需要面对的则是持续变动的任务需求。

即使模型能力增强后,AI的错误率相比前代有所降低,但当它需要执行的步骤从一步增加到几十步后,即使每一步出错的概率都很低,整个任务出现偏差的概率也会随之上升。

更麻烦的是,Agent任务中的错误并不一定会马上出现,有时要等到AI执行到最后的测试环节,才会发现前面某个步骤的设置或代码出了错。此时AI就会回滚操作,也就是进入目前许多Agent宣传的自我修复流程。

图源:雷科技

到这一步,其实都还是正常且合理的。但是,若在回滚过程中遇到问题呢?比如此前某个步骤意外修改了文件路径,或是权限不够?此时AI就可能尝试使用强制性更高的删除命令,甚至试图删除对应文件所属的整个文件夹,看看能否处理掉目标文件。

最终,你会发现AI的每一步看起来都是正常的,连在一起就变成了一场“灾难”。这种情况在开启最高推理强度,或用户强调“持续完成任务,减少人工干预”的情况下,更容易出现。

换句话说,过去的AI容易因为遇到困难而放弃,现在的AI则可能因为太不愿意放弃而闯祸,也算是各有各的烦恼了。

写到这里,小雷突然想起一部非常经典的科幻电影《机械公敌》(也叫《我,机器人》)。在这部2004年上映的电影中,人类开发出了具有超强智能的超级电脑VIKI,并且交给她一个任务——保护人类。

图源:YouTube

而掌握人类全部历史资料,并且能够监控整个社会的VIKI在深度思考后,认为人类具有强烈的自我毁灭倾向(发动战争、破坏环境、互相残杀等),于是她决定剥夺人类的自由,甚至不惜消灭一部分反抗的人类。

这套行为逻辑建立在这样一条思考链上:生命权至高无上——为了保护人类的生命权,可以牺牲自由——为了大多数人的生命权,可以剥夺部分人的生命权。这是不是和现在的Agent应用出错的本质类似?都是为了达成任务,却因错误理解需求而执行了错误操作。

不想放弃Agent?那就做好这三件事

看到这里,估计有人会说:那我不用Agent不就行了?

说实话,这就有点“饮鸩止渴”了。能力强大的Agent,对于不少用户来说已经是不可或缺的工具,他们宁愿冒着数据损失的风险,也会继续使用,更何况这些问题并非无法避免。

如果你不想让Agent误删你的数据,首先要做的就是谨慎授予操作权限。特别是在存放全部个人资料的主电脑上,绝对不要授予完全访问权限,不然说不定哪次Agent执行任务时一抽风,就给你全删了。

最稳妥的方式是让Agent运行在虚拟机或单独准备的电脑里,这样即使Agent把系统都给干掉,也不会影响你的主要数据。

图源:雷科技

如果你的使用环境不允许采用以上方式,那么建议给Agent的自定义指令加上一条:所有不可逆操作都需要人工确认。不过,你也必须清楚一件事,那就是自定义指令并非“万无一失”,它本质上只是在任务开始时预先添加的一段固定提示词,而非强行划定的安全边界,是有可能被AI“突破”的。

可能有人觉得这太麻烦了,而且会让Agent的体验变差,那么还有个办法——备份。对于Mac用户来说,这个方法最简单,只需要把备份频率调高即可,接下来就让AI自己折腾吧。大不了直接还原系统,然后恢复备份,顶多花点时间。

而Windows这边就麻烦一些了,你最好有一台NAS,然后利用微软自带的“系统映像备份”功能来保存备份文件。不过,体验还是比Mac要差很多,因为每次备份都需要从头打包文件。

不过好消息是,你可以设置一个Agent定时任务,让AI在每天凌晨自动帮你备份系统并上传到NAS。至于前一天的备份,最好还是第二天开机时手动删除吧,别回头AI搞出个乌龙,把备份也一锅端了,咳咳。

Agent时代,安全变得越来越重要了

说到底,GPT5.6Sol这次引发的争议,根源还是Agent的发展速度已经开始超过现有安全机制的跟进速度。

以前的AI出问题,最多只是胡说八道,用户看一眼不对劲,关掉页面或者重开一轮对话就行了。但是现在的AI已经能够直接操作文件、修改代码,有的企业甚至让AI接入数据库。这时候一旦出错,你看到的就不再是几个错误答案,而是自己的工作成果也跟着被一锅端。

图源:微博

所以,小雷觉得,往后评价AI的标准也不能再只看它的性能和任务完成率,更要关注它的安全机制和纠错能力。从这个角度来看,Agent能力强并不可怕,真正可怕的是,AI还没有学会何时该停手,用户就已经放心地把所有权限都交给了它。

说实话,未来的Agent必然会变得更强,也会接管更多复杂工作,但在安全机制真正成熟前,小雷还是建议大家记住:可以让AI帮你干活,但千万别让它拥有“掀桌子”的权限。

毕竟,一个不会干活的AI最多浪费你的Token,一个太强却不受限制的AI,是真的可能把你的电脑直接干掉。

主题为「智能伙伴·共创未来」的WAIC2026开幕在即。

AI叙事路线从模型参数堆叠,转变到Agent生产力落地;异构协同、光子计算持续提高计算上限;具身智能加速应用,机器人到家进厂让物理AI变为现实。

雷科技WAIC探展团已抵达上海,直击AI产业化落地年度巅峰时刻!

相关内容

热门资讯

柘城高新区:打造县域制造“硬核... 一粒金刚石单晶、一瓶兽用疫苗、一块电路板,究竟能衍生出多少种可能? 在河南柘城高新区,一粒金刚石单晶...
人形机器人进产线 芯片成“必争... ◎记者 孙小程 “过去大家会问,机器人能不能跳舞,能不能翻跟头?现在大家会问,你的机器人能不能连续工...
SpaceX上市后首次发射任务... 央视财经消息,当地时间7月16日,据美国广播公司(ABC News)报道, SpaceX(SPCX....
国际社会积极评价中国推动人工智... 2026世界人工智能大会暨人工智能全球治理高级别会议于7月17日至20日在上海举行。受访国际人士表示...
GPT随意清空用户硬盘!是时候... 图源:推特 说实话,类似的事情也不是第一次发生。比如年初OpenClaw大火的时候,就有一位互联网公...
原创 杨... 2003年10月15日,神舟五号飞船载着杨利伟进入太空。火箭升空时剧烈的共振让他一度以为自己撑不过去...
6G发展路线图确认 全球通信产... 【环球网科技综合报道】2026年6月落幕的新加坡3GPP RAN全会已成为全球6G标准化进程中的重要...
Caviar推出世界杯主题限量... IT之家 7 月 17 日消息,据外媒 GizmoChina 当地时间 16 日报道,奢华电子产品定...
从达特茅斯的星火,到黄浦江畔的... 新民晚报记者 郜阳 1956年夏天,达特茅斯学院会议室,一盏关于“人工智能”的灯火被轻轻拨亮。彼...
McIntosh推出MX124... IT之家 7 月 17 日消息,McIntosh(麦景图)当地时间面向参考级家庭影院构建推出 MX1...