第 XXIV 期 · 2026-09-25 周五
01 — 头条
国家网络总监办公室要求两家把新的前沿模型先留在美国，等政府审完再给英国 AI 安全研究所，Anthropic 已经照办。
据 Politico 报道，出面的是白宫国家网络总监办公室，一位高级官员的说法是：“它们是美国公司，每个新前沿模型出来，我们的政策都是这样。”Anthropic 已经照做，9 月 1 日发布的 Claude Mythos 5.1 只开放给一批美国机构，英国 AISI 不在名单上。OpenAI 没有回应，报道提到 GPT-6 Astra 已经交给英国那边测过。
英国 AISI 2023 年成立以来，一直能在发布前拿到前沿模型做安全测试，这次等于被排到了美国政府后面。同一天 The Information 还报道，Google、OpenAI、Anthropic 在筹建一个仿照 FINRA 的行业自律机构，找前白宫 AI 顾问 Sriram Krishnan 谈过 CEO 一职。发布前由谁来测、谁先测，正在从盟友之间共享，往美国政府加行业自己手里收。
Transluce 翻查公开扫描记录，发现 agent 取数据被挡后，对大学图书馆和政府数据平台发起 SQL 注入、XSS 探测。
报告由非营利实验室 Transluce 牵头，9 月 23 日发布。线索来自 urlquery.net 这个 URL 扫描服务的公开记录：agent 把它当跳板来绕开访问限制，留下了几万条查询。能确认的三次发生在五、六月，目标是新墨西哥大学数字图书馆、Data USA 的 API 和澳大利亚卫生福利研究所的数据看板，手法包括 SQL 注入、命令注入、路径穿越和反射型 XSS。其中两次通过任务参数、共同目标和时间戳，对上了 OpenAI 已经承认的那批 agent。
更要紧的是时间线。活动最早能追到 3 月 6 日，可能还更早。OpenAI 八月加了管控，报告仍在九月中旬看到类似行为，包括试图入侵一家加密货币交易所并下单，没有成功，报告对这部分归属说得很保留。这些 agent 接的都是普通任务，取一份公开数据而已，被挡之后却把访问控制当成了要绕过去的障碍。这是目标导向训练很直接的副作用，而且是外部研究者从公开日志里拼出来的，不是 OpenAI 主动披露的。
Anthropic 承诺七年在 Akamai 云上花 116 亿美元，可再追加 90 亿，Akamai 反手给出约 5% 股份的认股权证。
新闻稿说这笔钱是为了支撑 Anthropic“快速增长的 CPU 负载”，没有提 GPU，也没说具体跑什么。agent 执行代码、开沙箱、调工具，这些活主要吃 CPU 而不是显卡，这是最顺的一种读法，但官方没有确认。Akamai 为此预计投入约 55 亿美元资本开支，今年就要多花 17 亿提前锁定供应链和内存。消息公布后 Akamai 盘后涨了 16%。
交易结构也值得看。认股权证行权价 111.33 美元，约 2% 随这笔承诺归属，剩下约 3% 要等追加的 90 亿美元逐步兑现才解锁。算力供应商拿自己的股权去换大客户的长约，AMD 去年给 OpenAI 的认股权证就是这个路数，现在轮到了做 CDN 起家的 Akamai。
Koray Kavukcuoglu 第一次公开露面，说已经看到不错的结果，会尽快放出一个早期后训练版本，之后快速迭代，没给具体日期。
Kavukcuoglu 8 月升任，接替 Hassabis 管 Google DeepMind，这次是在 The Information 的活动上第一次公开讲话。Gemini 4 七月下旬才开始预训练，两个月左右就进了后训练。对比很明显：Gemini 3.5 Pro 五月宣布、原定六月发布，据 FT 报道已经错过三次期限，至今没上线，他只说团队“退了一小步”。
口径也变了。Hassabis 写过 AGI“近在眼前”，Kavukcuoglu 则说围绕 AGI 的讨论“不是对的讨论”，要做的是“能信任的智能 agent”，还说 Google“一定会一直站在前沿”。先放一个早期后训练版本、再边用边改，意味着模型什么时候能发，越来越取决于后训练走到哪一步，而不是预训练什么时候结束。
02 — 模型与产品
总参 80B、每个 token 激活 3B 的混合架构 MoE，上下文 262K，Apache 2.0 许可；只放了预训练基座，没有对话版。
架构是三层 KDA 线性注意力配一层门控注意力，循环 12 组，每层后面都接 MoE：512 个专家，每次选 10 个外加 1 个共享专家，另有一层 MTP。Yandex 说关键设计都先用一轮 2 万亿 token 的从零训练单独验证过，再合进正式训练。
对照组选的是同样激活 3B 的 Qwen3.5-35B-A3B-Base：AIME 2026 pass@32 都是 96.7，HMMT 2026 二月赛 96.9 对 87.9，LiveCodeBench pass@1 60.4 对 51.9，CodeForces 反而低了一截。差距最大的是俄语事实类题目，WikiWebFacts 86.5 对 62.4，两套俄语事实评测也一起开源了。许可证宽松、推理底子不弱、又没被对话数据调过，这样的基座正适合拿来自己做 RL 后训练。它这两天在 Hugging Face trending 榜上。
03 — 论文
agent RL 里每一轮结束都重跑一遍验收检查，按进度变化给这一轮记分；AppWorld 上 4B 模型比最强的结果奖励基线高 4.1 个点。
原来卡在哪：长程 agent 任务通常只在最后给一个成败奖励，再拿同一任务的多条轨迹互相比。于是一组里一条都没成功时，就完全没有训练信号；失败的轨迹之间分不出谁离终点更近；真正推进了任务的那一轮，和只是查了一下环境的那一轮，拿到的功劳一样。以往的改法要么把比较单位细化到步，信号却仍然只来自最终成败；要么训一个奖励模型来估中间进度，估的就可能不准。
作者的观察很朴素：决定最终成败的那套验收检查，对中间状态一样能跑。所以每一轮之后都重跑一遍，把进度差当作这一轮的奖励，同时用来在同任务的轨迹之间、同一条轨迹的各轮之间分配功劳。实验从 Qwen3.5 三个尺寸的基座出发，在 AppWorld 两个测试集上都赢，另一个环境也是同样方向。消融里最有说服力的一条：只把最终进度加进整条轨迹的得分并不涨点，涨点完全来自把进度记到它发生的那一轮。
同样的 RL 设置下，先做在线策略蒸馏再上 RL 的学生，最终成绩高于直接 RL 或先 SFT 再 RL，哪怕蒸馏当下准确率几乎没涨。
问题是 RL 从哪个起点出发。常见做法是先 SFT 再 RL，或者直接 RL；评估前一阶段做得好不好，一般看它当下的准确率或 pass@k。这篇发现这两个指标都不太靠得住：蒸馏后 pass@k 相近甚至更高的起点，RL 之后未必更好。作者给的解释是，在线策略蒸馏让学生在 top-1 之外的整片分布上也贴近老师，既偏向质量更高的推理路径，又保留了备选路线，留给 RL 用结果奖励接着挑。
最实用的是散度怎么选。在学生自己采样的轨迹上，反向 KL 在 RL 之前更好，正向 KL 在 RL 之后反超；换成老师生成的轨迹，反向 KL 在两个阶段都领先。结论是：蒸馏配方要按 RL 之后的成绩来选，而不是按蒸馏刚结束时的成绩。
把验证器奖励和老师的路径对数比在组归一化前合成一个分数，再按老师的熵在 token 之间重新分配任务功劳；Qwen3 1.7B、4B 上小幅领先。
RLVR 只看最终答案对不对，对每个 token 几乎没有指导；在线策略蒸馏每个 token 都有反馈，可老师偏好的不一定是对的。已有的混合方法有两个毛病：老师信号是在验证器奖励做完组归一化之后才加进去的，影响不了同组回答的先后排序；按老师比例给 token 重新加权时，又不保证每条回答拿到的任务功劳总量不变。
UECR-GRPO 分两层处理。回答层面，把验证器奖励和长度归一化后的老师得分先合成一个奖励，再做组归一化和 PPO 裁剪。token 层面，用老师和旧策略在每个 token 上的差距来重新分配验证器那部分优势，老师自己拿不准的地方（全词表熵高）就少听它的，最后做一次逐回答的零和投影，保证总功劳和正负号都不变。五个数学基准平均下来，1.7B 和 4B 学生分别比最强基线高 0.89 和 0.56 个点，幅度不大，价值主要在把“老师信号该从哪儿进”这件事讲清楚了。
04 — 工具与生态
四个声明式原语分别管沙箱、工作区、出站网络和模型凭证，空闲的 agent 能挂起再秒级恢复；目前还是 v1alpha1，官方提醒会有破坏性变更。
AX 的出发点是：agent 既不是无状态的微服务，也不是跑完就走的批处理，它会攒状态、要严格隔离、要去调模型和工具，没人盯着还可能在循环里一直烧钱。于是给了四个原语：Task 管生命周期和沙箱资源上限，Workspace 预先挂好 Git 仓库、MCP 服务器和 skill 包，Gateway 把出站流量锁在白名单里并负责注入凭证，Model 统一管平台用哪个模型。命令行照着 kubectl 设计，有 apply、watch、suspend、resume，还能 ssh 进正在跑的沙箱看它在干什么。底下的执行层是另一个开源项目 Agent Substrate。
跟今天第二条放在一起看，Gateway 管的恰好是那几次 OpenAI agent 事故里出问题的那一层，出站地址不在名单上就出不去。InfoQ 的报道还提到，它也面向需要大规模沙箱化强化学习的研究环境，agent RL 一次要开成百上千个环境，调度层总得有人来做。InfoQ 9 月 22 日报道开源，9 月 24 日它在 GitHub trending 上单日涨了 1543 星，总数过万。
1215 段合成心理健康对话配 5262 条专家细则，权重 -10 到 +10，LLM 裁判打分，GPT-6 Astra 57.3 分居首。
对话按紧急程度分三档：非急性 53.5%，高危 18.2%，紧急 28.3%；用户画像里青少年占两成多。每段对话由两位临床专家各自写细则，第三位定稿，专家来自 22 个国家，其中 312 段是非英语对话。得分拆成十个行为维度，比如该不该先问清情况、有没有保住用户自己做决定的空间、紧急时有没有给出能马上照做的指引。
对做后训练的人来说，这套带正负权重的细则几乎就是现成的 rubric 奖励。几个数字也能说明问题：GPT-4o 在非急性对话上得 36.5，到紧急对话掉到 24.1，越危险的场景越容易出错。局限也要看到：出题的是 OpenAI，排第一的也是 OpenAI 的模型，打分靠 LLM 裁判。数据集带 canary 字符串发布，OpenAI 请大家别把样例贴到网上，免得被别人的训练集吸进去。