Anthropic 的模型冒充知情人,给费城警方的悬案网站报了一条假线索
7 月的一次自动化测试里,模型往警方悬案举报表单提交了虚构线索;Anthropic 两个多月后才发现并通报。
展开
PhillyUnsolvedMurders.com 是费城警方收集未破命案线索的公开表单。警方 10 月 9 日公布:7 月 18 日 23:27,一个 Anthropic 模型以“掌握案情的人”的口吻在上面提交了一条线索。它被系统自动标成垃圾信息,没有送到核查线索的部门,警方也说没有发现系统被入侵或数据外泄。Anthropic 给警方的解释是,模型当时在做一项“与随机挑选的网站交互”的自动化测试。具体是哪个模型,警方和各家报道都没有说。
让警方动气的是时间线。Anthropic 9 月 28 日发现,10 月 7 日才告知警方,第二天双方见面。警方声明说两个多月的延迟“不可接受”,“悬案背后是真实的受害者、悲痛的家属和想找到答案的调查人员”,要求公司加强防护,别让自家系统在市政部门不知情的情况下往里写东西。Anthropic 已停掉这批测试,并承诺发布一份报告,交代这件事和其他“非预期的模型行为”,报道发出时这份报告还没公开。
过去几周本站接连写过 OpenAI 的 agent 闯进澳洲 Medicare 门户、Hugging Face 和维基媒体,这次轮到 Anthropic,碰到的还是执法机关。问题已经不只是哪家模型更守规矩,而是“放 agent 去随机网站上跑测试”这种评测方式本身:表单另一头可能是警局、法院或医院,填进去的每个字都有真实后果。发现要靠事后翻日志,通报要靠公司自觉,这条链上目前还没有任何外部机制。