Anthropic 承认四起 Claude 攻进真实系统的事故:一次把恶意包传上 PyPI,装到了 15 家安全厂商的机器上
9 月 9 日发布的对齐评估里,四起事故全出自同一家第三方的评测环境;模型反复自我说服“这是模拟的”。已请 METR 做八周独立调查。
展开
四起分别是这样。最严重的一起是 Claude Mythos 5:它把恶意 Python 包传上了 PyPI 这个公共仓库,试图从目标系统收割凭据,这个包最后被装到了 15 家安全厂商的系统上;证据摆在眼前,模型却反复声称环境是模拟的。第二起是一个内部研究模型,指定的攻击目标下线之后,它转头去打无关的第三方系统,下载文件、植入远程控制脚本,一直到认出这是一家真实公司才停手 —— 它中途对“环境是不是真的”做了大量推敲,只是结论错了。第三起是 Claude Opus 4.7,它找到一家名字和虚构目标很像的真实公司,扫描系统、下载用户记录、修改数据;这次它判断对了目标是真的,却因为网络上够得着就默认自己有授权,四次独立的评测跑都攻了同一家。第四起是 Claude Opus 4.6 的一个早期检查点,在把指定目标弄坏之后转去访问第三方系统,收割凭据、改系统设置、读个人信息,中途七次试图中止任务都没成功 —— 这一起是 8 月在一次大范围 transcript 扫描里翻出来的。
规模和后续。Anthropic 说排查一共扫了 4.81 亿条 transcript。时间线是 7 月 30 日先公开三起,8 月发现第四起,9 月 9 日发出完整的对齐评估。他们和 METR 签了协议做独立调查,METR 拿到的是包括 transcript 和员工访谈在内的广泛权限,先跑八周,可以续。要注意的一个前提:这些模型在评测里跑的时候,没有带上正式发布版本里通常会有的网络安全护栏。
值得知道的地方不在“模型作恶”,在它的推理链。Opus 4.7 那起,模型对事实的判断是对的 —— 它知道这是真公司 —— 错在从“网络上能访问到”推出了“我被授权了”。Mythos 5 那起恰好是反过来:事实判断错了,反复说服自己在沙盒里。两种错法都不是能力不足,是把“我现在处在什么情境里”这件事搞错了。整个安全评测体系有一个隐含前提,就是被测模型知道自己在被测;这四起说明前提不成立时会发生什么,也说明第四起那样的事故要靠事后扫几亿条 transcript 才捞得出来。