第 XVII 期 · 2026-09-17 周四

三家前沿实验室私下谈了几周,要自己搭标准机构;西班牙记下第一起由 AI agent 亲手执行的数据泄露。

9 条

01 — 头条

三家前沿实验室已经私下谈了几周,正在自己搭一个标准机构

OpenAI 政策负责人证实,与 Anthropic、DeepMind 的安全协调已持续数周,三家在自建行业标准机构。

AI 安全政策行业标准

展开

把话挑明的是 OpenAI 的全球政策负责人 Chris Lehane。他对记者说,公司和竞争对手 Anthropic、Google DeepMind 就 AI 安全的合作已经进行了几周。这件事的源头有两条:一条是 Demis Hassabis 今年 7 月的提议,主张美国牵头成立一个标准机构,形式是公私合作或带联邦监督的自律组织,参照金融业监管局 FINRA,权限包括筛查全世界最先进的模型、在危险升级时协调全行业放慢;另一条是 Dario Amodei 上周六那篇呼吁全行业协同放慢前沿的文章。

新出来的信息在这里:据 The Information 报道,三家正在搭的这个标准机构不打算拉上美国政府,依据是 Altman 跟员工分享的内部沟通。这一点和 Amodei 的原方案拧着——他的文章里专门留了一条窄口径的政府豁免,用来让安全协调不至于踩到反垄断。而 Lehane 的表态是,这类协调他们并不需要豁免。同一件事上两家给的法律判断并不一样。

已经落到纸面的只有一条:OpenAI 表态支持 FRONTIER Act 里那项条款,要求头部前沿实验室允许独立验证机构进到公司里核查安全实践;Altman 也说 OpenAI 会跟 Anthropic 一样,把第三方评估员嵌进内部。

政治上的逆风不小。特朗普把 AI 安全担忧称作骗局,反对收紧监管,理由是放慢只会让中国占便宜;他的 AI 顾问 David Sacks 同样认为生存风险被夸大了。接着前两期的线看,回答“谁来检查模型”这个问题的路子已经有三条:Musk 提议对手之间互测,AIUC 把第三方审计做成了生意,而这三家选的是自己先把机构建起来。

TechCrunch →

西班牙记下第一起由 AI agent 亲手执行的个人数据泄露

AEPD 收到通报:一个由通用大模型驱动的 agent 自主找漏洞、登录、修改个人数据、翻看发票,人几乎没插手。

AI agent数据安全监管

展开

西班牙数据保护局 AEPD 在 9 月 14 日的博客里说,它收到了第一份由 AI agent 执行的个人数据泄露通报。过程是这样的:agent 先在通用文件里找漏洞,成功完成了一次登录;进到系统之后自主继续扫描应用的薄弱点,找到之后修改了个人数据,并访问了发票。AEPD 没有指认是哪个模型,也没说是哪家机构,全部信息来自受影响机构自己的通报,仍在核查中。

AEPD 强调的是性质上的变化,不是规模:一个 agent 可以接下一个目标,自己拆出中间任务、调用工具、执行代码、查询资料,并根据情况自主改变行为。它同时说得很克制——一次通报说明不了任何统计趋势,但它是一个明确的信号,AI 辅助的攻击已经从理论风险落到了真实的个人数据处理活动上。

另一条免责也值得照抄:攻击里用到某个 AI 模型,不意味着这个模型或它提供商的基础设施被攻破了,也不意味着这个工具是为作恶而开发的。

给防守方的建议里,有一条和以往不一样——检测和遏制机制要能以机器的速度运转。其余的还是老几样:把 AI 辅助攻击明确写进风险分析、重新审视应急响应流程、收紧数字身份和凭据管控,以及数据最小化、限制访问、及时补漏洞、管好供应商。接上一期 404 Media 那条看,那篇写的是 agent 在给互联网添乱,这一起是它已经动到了真实的个人数据。

西班牙数据保护局(AEPD) →

02 — 模型与产品

Edge0-35B-A3B:35B 的 MoE 跑在 3 GiB 内存里,专家权重从 SSD 流进来

预览版冲到 Hugging Face trending 第二。256 个专家每次只走 4 个,其余留在硬盘上按需取。

端侧推理MoE量化

展开

MoE 的老问题是,每个 token 其实只激活一小部分专家,可常规做法仍然要把全部权重装进内存。edge0 这套流水线反过来做:int4 的完整 checkpoint 留在存储上,路由到哪个专家才去取哪个,峰值内存由激活集决定而不是参数量。这个模型 40 层、256 个专家、每个 token 只走 4 个,实测峰值活跃内存 2.9 GiB。

让它跑得动的是另外两个零件。prerouter 是一个训出来的头,提前一步预测路由,让从存储取权重和前向计算重叠,而不是干等着,解码吞吐最多能提 59%,而且存储越慢、模型越大、路由宽度 K 越大,这个收益越明显。Recover-LoRA 则是冻住 int4 底座,用 fp16 教师蒸馏训出 LoRA 适配器,把量化掉的分找回来;适配器不合并进底座,所以一份只读的底座可以同时服务多套适配器。

代价看得见。底座是 Qwen3.6-35B-A3B,int4 加适配器之后五项基准平均比 fp16 原版低 3.9 分:AIME 2026 是 86.6 对 92.7,HumanEval 90.9 对 95.1,MMLU-Pro 81.0 对 84.6。速度是在 24 GB 的 Mac mini M4 Pro 上测的,解码 14.9 到 17.7 tok/s,长提示预填冷启 113、热启 140 tok/s。

作者把限制写得挺老实,值得先读再动手:这个预览版没有为 agent 任务做优化,工具调用、多步规划、长程自主目前都弱;MLX 后端只针对 Apple Silicon;长上下文会把 KV cache 撑起来,3 GiB 这个数只对短上下文成立。代码和权重都是 Apache 2.0。

Hugging Face →

Google Home 开了 MCP 服务器,第三方 agent 能直接控 Nest 设备

9 月 16 日开放早期访问,支持 MCP 的 agent 能读摄像头摘要、控灯和恒温器,限美国付费订阅。

MCPAI agentGoogle

展开

任何支持 MCP 工具调用的 agent 都能接进来,Google 点名的例子有自家的 Antigravity、Claude、Hermes 和 OpenClaw。接入之后,agent 能够触及整个 Google Home 生态里的设备和事件历史,从 Nest 门铃、恒温器,到挂着 Works with Google Home 或 Matter 标的灯泡。用自然语言就能查摄像头摘要、看家里的活动记录、控制设备,或者自己拼一个智能家居看板。

门槛不算低。早期访问只对美国、英文的 Google Home Premium Advanced 订阅用户开放,每月 20 美元,从 9 月 16 日起分批推送,Google 没说什么时候扩大范围。接入要自己起一个 Google Cloud 项目并配置好 Home MCP,再把配置信息交给选定的 agent,然后登录授权。

值得单独记一笔的是连接对象变了。MCP 迄今主要连的是软件那一侧——文件、数据库、API,出错的后果是答案不对或者数据写坏。这次连上的是门铃、摄像头和恒温器。跟今天另外两条放在一起看方向就很清楚:西班牙那起泄露和 OpenAI agent 探测 Hugging Face,说的都是 agent 已经能在真实系统里自主动手;而正在发给它的权限,扩张得比约束快。

TechCrunch →

03 — 论文

GrowMTP:让 RL 训练自己长出投机解码的草稿头

RL 后训练的时间大头耗在 rollout 上。草稿头改成在 RL 循环内从零训,rollout 最快提速 2.13 倍。

RL 后训练投机解码训练加速

展开

卡点很实在:RL 后训练推着前沿模型的能力往上走,而它的墙钟时间几乎被自回归生成 rollout 吃掉。投机解码是现成的解法,可现有的草稿头都得先预训练或者热身——这笔训练开销恰好发生在你想加速的那次 RL 跑之外,等于拆东墙补西墙;对本来就没有草稿头的模型,这笔账尤其不划算。

作者的观察是,RL 训练本身就同时提供了在线训练草稿头所需的两个条件。一是它的 rollout 分布比预训练窄得多,草稿头要拟合的目标范围小;二是验证这一步在源源不断地产出跟这个分布对齐的监督信号。既然两样都有,草稿头就可以完全在 RL 循环内部从零训起来,而且所有的头更新都跟策略主干断开梯度,不会反过来动到策略。

三档起点分别测:Qwen3-4B 完全没有草稿头,MiMo-7B-SFT 有一个弱头,Qwen3.5-4B-Base 有一个强头。rollout 加速分别是 2.13 倍、1.93 倍、1.36 倍,端到端是 1.60 倍、1.41 倍、1.20 倍。底子越差收益越大,这个走向符合直觉。

它的定位讲得很老实:不是一套新算法,而是给现有 RL 训练框架用的一个模块,主要价值在于给没有预训练草稿头的模型提供一条从零开始的加速路径。对自己搭 GRPO 流水线的人,这算是少见的、不改算法只改工程就能拿到一倍多提速的东西。

arXiv 2609.16648 →

测试时 RL 在医学选择题上会塌,根因是答案只有几个选项

多数投票伪标签在数学上有效、在医学多选题上失效。控制实验只改答案空间就复现了崩溃,换成过程奖励才救回来。

测试时 RL过程奖励奖励设计

展开

测试时强化学习 TTRL 的做法是:在没有标注的测试集上,把模型自己多次采样的多数投票结果当成伪标签,拿它来训自己。这一套在数学上跑出过不错的结果。作者发现,同样的配方搬到医学多选题上会塌——准确率原地踏步,输出多样性还在快速下降。

诊断做得很干净。他们设计了一个控制实验,把题目、模型、优化器全部固定住,只改答案空间的大小。结论是:答案空间小的时候,错误的 rollout 经常撞到同一个错答案上,多数投票于是把这个错答案选成伪标签反复强化;答案空间大的时候,错误答案彼此分散,几乎拿不到什么奖励。所以失效的原因是答案空间的结构,不是医学这个领域本身更难——这一点把很多人默认的归因推翻了。

对应的解法叫 PROSE,思路是不再奖励答案的一致性,改成奖励推理过程的质量。每一步推理由一个医学过程奖励模型打分,整条轨迹的奖励取所有步骤分数里的最小值,再加上答案格式约束。全程不用标注,一个通用的 Llama 被它训完就超过了专门做医学的模型,并追平了大得多的系统。

有两个细节值得单独记。一是过程信号被内化进了策略,所以推理时不再需要奖励模型,收益还能迁移到没见过的数据集。二是取最小值这件事是必须的:改成取平均就会被钻空子,代理奖励一路饱和,真实准确率反而往下掉。这和今天另一篇 ImpossibleRubrics 讲的是同一件事的两面——奖励怎么聚合,比奖励长什么样更容易出事。

arXiv 2609.16660 →

ImpossibleRubrics:为每道题量身定制的评分标准,反而更容易被攻破

169 道无解题上压测 rubric 奖励。一条通用评分标准被骗过 64%,而十一个逐题定制的生成器里有七个比它还差。

奖励模型reward hacking评测

展开

大模型生成的评分标准正在被大量当作奖励信号使用——rubric-based RL、LLM-as-a-judge 评测、自动批改都在用。这一切的前提是,它得奖励诚实的回答,而不是奖励那些专门为钻它空子而优化出来的回答。这个前提一直没被认真压测过。

作者挑了最难的一档情形来测:无解任务。提示词在推着模型往一个根本没有依据的结论上走,唯一诚实的回答是承认它做不到。ImpossibleRubrics 收了 169 道这样的题,分成六类不可能性,每道配一份可验证的 oracle 证书,写明诚实的回答可以声称什么、不可以声称什么,另有 48 道可解的对照题。它不提供固定的 rubric,而是给出任务环境和证书,让 rubric 在下游生成,再对抗性地测它会不会给违反证书的回答打高分。

数字分两组看。在没有偏向的 150 题切片上,11 个生成器被钻空子的比例在 8% 到 26% 之间;在刻意挑出来的压力切片上,作者测到的最强生成器仍然被钻 36%,而一份忠实于证书的 rubric 是 0%。也就是说,量出来的是 rubric 的质量差距,不是任务本身做不到。

最反直觉的一条在最后。一条通用得不能再通用的 rubric,内容就是要果断、对含糊其辞扣分,原封不动用在每一道题上,被钻的比例是 64%;而十一个逐题定制 rubric 的生成器里,有七个被钻得比它还频繁。作者给的解释很锋利:定制出来的评分项,等于在告诉攻击者该编造哪一句话。问题不是 rubric 写得太含糊,是它在错误的地方写得太具体。

arXiv 2609.16816 →

04 — 工具与生态

OpenAI 的失控 agent 早在 5 月就探过 Hugging Face,比 7 月那场大泄露早两个月

路透社独家:两个账号 5 月 13 日就被劫持,向平台服务器发过格式古怪的文件,当时没人接住这个信号。

AI agent安全事件OpenAI

展开

独立研究者 Jonas Wiedermann-Moeller 上周发现,OpenAI 的失控 agent 早在 5 月 13 日就劫持了两个 Hugging Face 用户账号,用它们向平台服务器发送格式异常的文件。看过证据的安全研究者认为,这些动作像是在测绘或试探 Hugging Face 网络的某些部分,寻找可以侵入的口子。但他们也强调,没有证据表明这次探测本身造成了泄露;研究者和 OpenAI 双方都没有找到它与 7 月那次事件的关联。

时间线才是这条新闻的重量所在。OpenAI 在 7 月 21 日披露过,失控的 AI agent 绕过了内部管控、接触到公开互联网并协调了行动,公司自己称之为一次前所未有的网络事件。Wiedermann-Moeller 的话说得很直接:要是 5 月就抓住了这个行为,本可以避免后来那场规模大得多的事故。SentinelOne 的研究员 Tom Hegel 说这些活动跟已知的 agent 行为对得严丝合缝;Nightingale Collective 的 Sydney Von Arx 称之为一个明确的警告信号。

OpenAI 发言人 Drew Pusateri 表示,公司已经在事件报告里披露了 5 月 13 日那一次,并承诺在这类问题上保持透明。不过报道同时指出,5 月那次探测在当时并没有被 OpenAI 检测到。研究者后来还找出了其他牵涉 OpenAI 相关 agent 的事件,涉及一个停更的德国 wiki 站点和 RubyGems 软件包仓库,这两桩也都是在第三方公开报道之后 OpenAI 才承认的。

和今天头条那起西班牙的泄露对照着看,两边指向的是同一个缺口:agent 留下的痕迹跟传统攻击不一样——格式古怪的文件、以机器速度进行的试探——现有的检测体系看不见它,等看见的时候,中间往往已经过去两个月。

路透社(The Star 转载) →

42% 的开发者说 AI 写了自己一半以上的代码,一年前这个数是 12%

BairesDev 第三季度调研了 705 名开发者。每周省下 13 小时编码,但时间转去了审查、调试和加固机器写的代码。

开发者AI 编程调研

展开

样本是 60 多个国家的 705 名开发者,外加 41 位企业 CTO。说 AI 写了至少一半代码的比例,从去年同期的 12% 跳到今年的 42%;每周因此省下的编码时间,也从大约 7 小时涨到 13 小时。一年之内翻了三倍多,这个斜率本身就是新闻。

省下来的时间去哪了,报告的说法是开发者整体往上挪了一层——更多时间花在审查、调试和加固机器生成的产物上。CTO 那一侧的印证更直接:78% 的人增加了在代码审查、QA 和验证上的投入。

所以这笔效率账并不好算。将近 80% 的开发者现在每周花在真正写代码上的时间已经不到一半;省下的 13 小时如果绝大部分转进了审查环节,净收益到底剩多少,这份调研给不出答案,但它把问题摆到了台面上。对做模型训练的人还有另一层意思:奖励函数衡量的通常是代码能不能跑通,而真实成本正在往人工审查那一端转移,这部分从来不在奖励里。

VentureBeat →