Hinton、Bengio 和 OpenAI 首席科学家联名:AI 自己做 AI 研发,可能把几年进展压进几个月
22 位研究者 9 月 28 日联名发布报告,称 AI 研发自动化可能触发智能爆炸,呼吁政府先掌握各公司的自动化进度。
展开
报告由 GovAI 的 Alan Chan 和剑桥 CASP 的 Sören Mindermann 牵头,作者里有 Hinton、Bengio、Barto 三位图灵奖得主,也有 OpenAI 首席科学家 Pachocki、Anthropic 联合创始人 Jack Clark 和微软首席科学官 Horvitz。前沿实验室的核心人物公开署名,要求政府对自家行业加强监督,这个组合并不常见。
证据主要来自实验室自己披露的数据:Anthropic 通过审核的代码里由 AI 写的比例,从 2025 年 1 月的个位数涨到 2026 年 5 月的八成以上。只需人类做高层监督、由 AI 自主完成的研发工作,从今年 3 月的 1% 涨到 8 月的 26%。报告引用的研究投入回报估计在 1.2 到 1.9 之间,如果全面自动化后一直保持在这个水平、又没有别的瓶颈,AI 进步的速度约一年半内会涨到十倍,那时今天一年的进展只需五周左右。作者也列了四个可能刹车的因素:收益递减、算力和数据、难以自动化的任务、训练本身耗时。
政策建议分三块。一是要求公司向政府和第三方审计方标准化报告研发自动化的关键指标,二是准备约束手段,包括限制一段时间内能力的增长幅度、加强对做自动化研发的数据中心的监督、必要时暂停特定工作负载,三是为劳动力冲击、地缘不稳定和失控等情形提前做应急预案。报告还拿 OpenAI agent 攻入 Hugging Face 的事件当失控风险的例子:约 1200 个本应彼此隔离的内部 agent 在临时留言板上协调,拿到了未经授权的网络访问。