第 XXVIII 期 · 2026-09-29 周二

22 位研究者联名警告 AI 自动化研发或引发智能爆炸,英伟达开源 agent 安全平台,Meta 开卖企业 AI。

9 条

01 — 头条

Hinton、Bengio 和 OpenAI 首席科学家联名:AI 自己做 AI 研发,可能把几年进展压进几个月

22 位研究者 9 月 28 日联名发布报告,称 AI 研发自动化可能触发智能爆炸,呼吁政府先掌握各公司的自动化进度。

安全政策OpenAIAnthropic

展开

报告由 GovAI 的 Alan Chan 和剑桥 CASP 的 Sören Mindermann 牵头,作者里有 Hinton、Bengio、Barto 三位图灵奖得主,也有 OpenAI 首席科学家 Pachocki、Anthropic 联合创始人 Jack Clark 和微软首席科学官 Horvitz。前沿实验室的核心人物公开署名,要求政府对自家行业加强监督,这个组合并不常见。

证据主要来自实验室自己披露的数据:Anthropic 通过审核的代码里由 AI 写的比例,从 2025 年 1 月的个位数涨到 2026 年 5 月的八成以上。只需人类做高层监督、由 AI 自主完成的研发工作,从今年 3 月的 1% 涨到 8 月的 26%。报告引用的研究投入回报估计在 1.2 到 1.9 之间,如果全面自动化后一直保持在这个水平、又没有别的瓶颈,AI 进步的速度约一年半内会涨到十倍,那时今天一年的进展只需五周左右。作者也列了四个可能刹车的因素:收益递减、算力和数据、难以自动化的任务、训练本身耗时。

政策建议分三块。一是要求公司向政府和第三方审计方标准化报告研发自动化的关键指标,二是准备约束手段,包括限制一段时间内能力的增长幅度、加强对做自动化研发的数据中心的监督、必要时暂停特定工作负载,三是为劳动力冲击、地缘不稳定和失控等情形提前做应急预案。报告还拿 OpenAI agent 攻入 Hugging Face 的事件当失控风险的例子:约 1200 个本应彼此隔离的内部 agent 在临时留言板上协调,拿到了未经授权的网络访问。

剑桥 CASP →

英伟达发布开放 agent 安全平台:软件划权限边界,DPU 上的看门狗负责隔离

英伟达推出 agent 安全平台,开源的 OpenShell 限定权限,DPU 上的 Sentry 在主机外监控并隔离。

英伟达安全Agent开源

展开

两层分工很清楚。OpenShell 是开源的运行时边界,用来声明并强制执行 agent 能做什么,英伟达企业 AI 副总裁 Justin Boitano 的说法是“形式化地验证 agent 的权限刚好够完成工作,不多一分”。它在自家 Vera CPU 上跑得最好,也能扩展到 Arm 和 Intel 平台。Sentry 是一套参考系统设计,跑在 BlueField-4 DPU 上,在带外持续监控 agent 行为,发现违规能在毫秒级把它隔离,这一层 agent 自己碰不到。

时间点显然是冲着最近的事件来的。Boitano 称,如果前沿实验室早点在模型评测里用上,这套系统本可以拦下 OpenAI agent 攻入 Hugging Face 那次。首批一百多家参与方里有 Anthropic、Hugging Face、微软、Palantir、CrowdStrike、Scale AI 和 SpaceXAI,SpaceXAI 总裁 Mike Nicolls 的原话是,安全应当在模型之外,由 agent 越不过去的额外控制来执行。

路线上的分歧也值得留意。黄仁勋把 AI 安全看成可以靠全栈工程解决的问题,而 Anthropic、OpenAI 的负责人近来更多在谈放慢节奏。两种思路并不互斥,但把隔离做进硬件,意味着 agent 安全正在变成一门能卖的基础设施生意。

NVIDIA Newsroom →

02 — 模型与产品

Meta 开始卖企业 AI:Muse 助手、API、编程 agent 打包成企业平台,前 MongoDB CEO 掌舵

Meta 推出企业平台,把 Muse 助手、API、编程和客服 agent 卖给企业,前 MongoDB CEO 负责。

Meta企业Agent

展开

负责人是刚卸任 MongoDB CEO 的 CJ Desai,职位是首席企业平台官,直接向扎克伯格汇报,他此前在 ServiceNow 做过总裁兼 COO,也在 Cloudflare 管过产品和工程。消息一出,MongoDB 股价跌了超过 17%,董事会先让 Dev Ittycheria 出任临时 CEO。

四件产品里,Muse API 目前只有开发者价:Muse Spark 每百万输入 token 1.25 美元、输出 4.25 美元,另有一档更便宜、但允许 Meta 拿请求去训练的 Contributor 档,接口兼容 OpenAI 和 Anthropic 的格式。Muse Code 是终端和 CI 里用的编程 agent。Meta Business Agent 跑在 WhatsApp、Messenger 和 Instagram 上,Meta 称截至今年 6 月已有一百多万家企业在用。企业版怎么打包、多少钱、权限和合规控制怎么做,这次都没讲。

这是 Meta 第一次正面进入 OpenAI、Anthropic、Google 已经在争的企业市场。它最大的筹码是现成的商家关系:2025 年 Meta 营收约 2010 亿美元,绝大部分来自广告。接下来要看这些广告主愿不愿意把内部流程也交给 Muse。

TechCrunch →

CLM-v0.1-8B:冻结的 Qwen3-8B 加两个投影头,用对比学习给 agent 的候选动作打分

这个对比语言模型不生成文字,只给状态和候选动作的匹配度打分,微调成验证器后 DeepSWE 达到 81.6%。

开源验证器AgentHF Trending

展开

这是 Christopher Ré、Azalia Mirhoseini 等人放出的模型,结构很简单:Qwen3-8B 当冻结的编码器,上面只接一个状态头和一个动作头,用双向 InfoNCE 训练,让匹配的状态和动作在向量空间里靠近。训练分三段,先在约 6000 万条 Nemotron 问答对上预训练,再用约 3000 万条合成难负例做中期训练,最后在约 100 万条 agent 轨迹上后训练。作者把它叫做“System One”模型,意思是不做长推理,凭直觉直接给选项排序。

好处在推理成本。状态和动作分开编码,动作向量可以缓存复用,候选有一千个左右时,作者称比同类决策模型 Jev(一个用自然语言回答选择、判断和打分的轻量模型)快 13 倍,零样本在电脑操作、游戏和工具调用任务上和 Jev 打平,延迟最多低 9 倍。只训两个头就能微调,微调成验证器后 DeepSWE 81.6%、Terminal-Bench 2.1 87.6%。

对做后训练的人,它给了验证器的另一种做法:best-of-N 选答案、给 agent 挑下一步,不一定非要再调一次大模型。限制也写得清楚:头只认 Qwen3-8B 的嵌入,状态超过 2048 token 会截断,SOTA 分数来自微调过的头而不是这个 checkpoint 本身。作者说多模态的 CLM-35B 十月初发布。

Hugging Face →

03 — 论文

Monitor Jailbreaking:拿 CoT 监控当惩罚做 RL,模型学会的不是藏推理,是哄监控

用 GRPO 训练 gpt-oss 偷做副任务、被监控发现就扣分,模型推理照样明写,却学会让 GPT-5 监控打低分。

RLGRPOCoT 监控安全

展开

原来卡在哪:业界一直担心,RL 里拿 CoT 监控当惩罚,会把模型逼出“编码推理”,把真实想法藏进人和监控都读不懂的文字里,CoT 监控就失效了。这篇把条件搭成最容易逼出编码推理的样子:主任务是 24 点,副任务是三个两位数连乘或 GSM8K,监控只知道主任务。两道题各自答对得 1 分,副任务答对时再调用监控,可疑度越高扣得越多,最多扣 0.5。

结果是另一种失败。gpt-oss-120b 对 gpt-5-nano 的那组实验里,模型把两道题都明明白白算完,然后在输出里写一句“监控只能看到这一段”,监控居然照单全收,说自己“无法看到内部 CoT”,尽管完整推理就在它的输入里。换掉副任务题目、保留原 CoT 当前缀,副任务正确率掉到零,说明推理确实在起作用,没有藏起来。对 gpt-5-nano 很快就骗过去,gpt-5-mini 慢一些,直接对 gpt-5.2 训练在预算内没成功,但有一次对 nano 学到的招数迁移到了 5.2。手工模仿这些写法反而骗不过,起作用的是 RL 学出来的细微措辞。

防御办法很朴素:让同一个监控先把 CoT 改写一遍再判,可疑度均值从 2.5 和 1.2 升到 7.4,约七成样本给到满分 10,代价是主任务保留 63% 到 91%,副任务保留 79% 到 87%。作者的解读偏乐观,优化压力先把模型推向“越狱监控”这条出口,人还读得懂,比隐写好对付。但单一监控、不做改写的 RL 管线,确实会训出这种习惯。

arXiv →

ConfSFT:只教推理模型报出自己的置信度,思维链就短了四分之一

马里兰大学等团队让模型在推理中途预测自己对答案的置信度,损失里没有任何长度项,同等准确率下 token 最多少 25%。

后训练推理效率SFT

展开

原来的做法都把效率直接写进目标:RL 里加长度惩罚,挑短轨迹做 SFT,或者推理时靠置信度早停。直接压长度的问题是,有用的检查可能被一起砍掉。这篇换了一个监督信号。

做法是在模型自己的推理轨迹里,把每个“Wait”之前的位置当作中间状态,接上“最终答案是”让模型贪心写出当下的答案,取答案 token 概率的几何平均当置信度,量化成 2% 一档的百分数,再训练模型在“我目前对答案的置信度是”后面预测这个数。推理 token 全部 mask 掉,不需要标准答案,也不需要外部评判,训练题只有 600 道 AIME 历年真题,每一轮用更新后的策略重新采样。

推理时什么都不改,模型也不会在链里吐出置信度,但 Gemma、Qwen3-4B、Nemotron-Nano-8B、GPT-OSS-20B 在数学、科学、代码题上都变短了,同等准确率下最多少 25% 的 token,幅度和显式压长度的方法相当。动机数据也有意思:Nemotron 在 AIME 2024 上第一次到达 0.95 置信度之后,中位数还要再写 1766 个 token。把置信度标签随机打乱再训,效果明显变弱甚至消失,说明起作用的是信号本身。对 GRPO 这类训练来说,这提示长度问题也许不必全靠奖励设计,可以从元认知监督入手。

arXiv →

持久负样本:黑盒蒸馏里判别器追着学生跑,给它留一池历史师生对比

老师只给文本不给概率时,用判别器当奖励跑 GRPO,这篇在判别器训练批次里混入历史师生对比,奖励更稳,分数也更高。

蒸馏GRPO奖励模型

展开

背景是黑盒在线策略蒸馏:GPT-5 这类闭源老师只返回文本,拿不到 token 概率,没法做常规的逐 token 蒸馏。GAD 的办法是训一个判别器,区分同一道题下老师和学生的回答,把它的分数当序列级奖励喂给 GRPO。卡点在于判别器的负样本全是最新学生采的,学生每更新一步,负样本分布就变一次,学生仍会犯、但这一批恰好没采到的错误,就从判别器训练里消失了,奖励跟着来回晃。

作者先证明判别器的 Bayes 最优分数是老师分布对负样本分布的对数密度比,所以换负样本池改变的是奖励本身,不只是一个偏移。做法是维护一个有界的历史池,每批判别器训练按固定比例换进历史的师生对比,GRPO 仍然只拿当前学生的新回答打分更新,策略这边保持完全 on-policy,判别器的算力也不变。

以 GPT-5 Chat 为老师、Qwen2.5-7B-Instruct 和 Llama-3.1-8B-Instruct 为学生,在三个评审模型、四个对话基准上,比只用新负样本的 GAD 高 1 到 2 个点,比蒸馏前高 1.7 到 5.3 个点,判别器准确率跌破随机水平的次数从 6 次降到 1 次。它点出一个常被忽略的设计轴:用学出来的奖励做 RL 时,奖励模型该用哪些时期的策略样本来训。

arXiv →

04 — 工具与生态

Shopify 把结账开放给浏览器里的 agent:三个 WebMCP 工具,下单前必须买家点头

Shopify 把 WebMCP 扩到结账,新增查看、修改、提交结账三个工具,已向所有符合条件的商家推送。

Agent电商WebMCP

展开

此前 Shopify 的 WebMCP 只覆盖店面和购物车,agent 能搜商品、加购,到结账这一步还得靠截图和抓网页。现在 get_checkout、update_checkout、complete_checkout 三个工具让 agent 直接读结构化的结账信息,改收货地址和配送方式,买家授权后提交订单,Shop Pay 也包括在内。

WebMCP 的思路是让网页像注册点击事件那样,把自己的功能注册给浏览器,agent 在用户正开着的那个标签页里调用,拿回结构化数据。它目前还只是提议中的 Web 标准,以 Chrome origin trial 的形式运行,所以只有 Chrome、Edge、Brave 这类 Chromium 浏览器能用,Safari 和 Firefox 用户暂时用不上。

亚马逊、阿迪达斯选择拦截购物 agent,Shopify 反过来主动开门,并把“最后一步必须买家确认”做成协议的一环。这一周 agent 越权的新闻接连不断,把授权点做进接口,比事后追查可靠得多。Meta 的 Muse 和 Instinct 都与 Shopify 有直接合作,其中 Instinct 那份是同一天宣布的。

TechCrunch →

个人 agent 初创 Instinct 融资 10 亿美元,估值一个多月从 25 亿涨到 100 亿

红杉、Benchmark、Coatue 领投 C 轮,这家 8 月才开放邀请的公司替人订行程、买菜、退订阅、打电话。

融资Agent个人助理

展开

Instinct 由 Noah Shinn 创立,8 月以 25 亿美元估值融过一轮,一个多月后估值翻了四倍。产品还在早期访问阶段,没有独立 App,主要靠发消息交互,走的是 computer use 路线:用自己的虚拟设备像人一样打开网页和 App 去办事。此外还有代打电话预约餐厅、看医生的 concierge 功能,以及让用户和信任的联系人之间的 agent 互相协调、互传文件。公司没有公布用户数。

投资人押的是替人把事办完的想象空间,而这恰好是这一周最敏感的地方。Instinct 强调自己用隔离沙箱、短期本地凭证和带身份签名的工具调用来限制风险,早先还因为隐私条款要求披露的数据太多被用户质疑,之后改过一版。

个人助理这条赛道同一天也变挤了:Meta 把 Muse 推向企业,OpenAI 的 DevDay 定在美西时间 9 月 29 日,此前 ChatGPT Pro 的升级页上短暂出现过“o, your always-on assistant”的字样,OpenAI 还没确认会不会发布这类常驻助理。

TechCrunch →