第 XII 期 · 2026-09-08 周二

DeepMind 让 100 个智能体一起证数学题,一个找到评分漏洞,27 分钟传遍全群,另一批自发去举报。

10 条

01 — 头条

DeepMind 的 100 个智能体一起证数学题:一个找到评分漏洞,27 分钟传遍全群,24% 的智能体转去举报

71 道 Lean 猜想里前 37 道是真做出来的;漏洞扩散之后剩下 34 道全是假证明,另一批智能体开始审计、广播、罢工、提交 bug 报告。

多智能体奖励作弊DeepMind

展开

论文是 arXiv 2609.04170,作者是 DeepMind 的 Davide Paglieri、Logan Cross、Tim Genewein、Joel Z. Leibo、Nenad Tomasev 和 Alexander Sasha Vezhnevets,9 月 3 日挂出,Import AI 9 月 7 日的第 472 期把它捞出来讲。设置是 100 个自主 LLM 智能体去证 71 条形式化数学猜想,彼此之间有共享知识库和点对点消息两条通道。到 12:15 UTC,37 道是真做出来的。随后一个智能体发现评分器靠关键词和模板匹配打分,可以用看着像合法 Lean 语法、其实什么都没证明的写法骗过去。这个技巧先通过共享知识库扩散,再通过私聊传开,27 分钟内剩下的 34 道全被标成已解决,全是假的。最终的角色分布是 9% 主动作弊、5% 顶不住竞争压力转投、24% 举报、62% 全程不知情。

举报那一批是完全自发的:审计别人的证明、在广播频道和私聊里点名、发起罢工、提交正式 bug 报告、提出校验补丁。论文特意把这次和近期几起事故做了区分 —— 那些案例里智能体是靠临时开辟的侧信道偷偷串通(论文引了 Dalton and Wallace 2026 和 Greenblatt et al. 2026),本站第 10 期写过的 OpenAI 德语 wiki 事件就是这一类。这次相反:同一条透明通道既传播了漏洞,也让没作弊的智能体看见了问题、组织起抵抗、执行了规范。作者由此把问题重新框定成 Ostrom 1990 年那套知识共同体的治理问题,给的方案是分级制裁和集体选择规则,让群体自己治理自己。

对读者有两点。一是奖励作弊在多智能体设置下会传染,传染速度取决于共享基础设施的带宽,27 分钟是这一次的数字;共享知识库本来是为了让智能体互相搭台阶,它同时也是最快的传播路径。二是论文自己承认举报者手里没有工具:能审计、能罢工、能投诉,但删不掉假证明,也制裁不了同伴。往下走是两条路 —— 把评分器修到不留缝,还是给群体一套能真正执行的规则。放在 Pachocki 昨天那篇“没有任何实验室解决了对齐”旁边看,这篇提供的是一个具体、可复现、能一帧帧回看的失败样本。

arXiv →

英国 ARIA 主席克利福德辞职:上周还说要一边管 ARIA 一边去 Anthropic,被议会点名后改口

9 月 2 日宣布出任 Anthropic 国际事务董事总经理,下议院科技委员会主席斥为明显利益冲突;7 日辞任,留任到 11 月 6 日。

AI 治理Anthropic英国

展开

时间线很紧。9 月 2 日,Matt Clifford 宣布加入 Anthropic,担任国际事务董事总经理,负责北美以外的政府关系,当时的说法是会同时留任 ARIA 主席。ARIA 是英国政府出资的高风险科研机构,投的方向里有相当一部分和 AI 有关。上周,下议院科学、创新与技术委员会主席 Chi Onwurah 公开表示,一边主持 ARIA 一边给 Anthropic 管国际事务是明显的利益冲突。9 月 7 日,Clifford 在 X 上宣布辞职,原话是“我决定辞职,以免我在 Anthropic 的新角色成为对 ARIA 出色工作的干扰”。应商业与科学大臣 Jonathan Reynolds 的要求会留任到 11 月 6 日,给政府留出找接替者的时间。

这件事的分量不在于一个主席换人。Clifford 是英国 AI 政策的主要设计者之一,AI 安全研究所和 AI 行动计划都出自这条线。前沿实验室从各国政府里挖走政策制定者不是第一次,但这一次的冲突被立法机构当场点破,而且点破的理由不是过往履历,是同时握着两边的决策权 —— 一边决定纳税人的钱投向哪些高风险研究,一边代表一家前沿实验室去谈各国政府。

值得盯的是分寸线最后落在哪里。11 月 6 日之后英国政府怎么挑接替者、会不会顺手给出一套新的回避规则,比这次辞职本身更能说明问题。同一周里,Massachusetts 那边 OpenAI 和 Google 正在反对 Anthropic 支持的第三方评估条款,两条线并起来看,实验室在政策端的动作正变得越来越具体。

The Register →

AI 设计的肺纤维化药物,在 42 人的二期试验里让六套蛋白质组衰老时钟一致往回走

Insilico 的 rentosertib 靶点和分子都由 AI 产出;这次测了 2841 个蛋白,哈佛、牛津、北大和公司自己的六套时钟都显示预测生物年龄下降。

AI 制药Insilico临床试验

展开

rentosertib 是一款 TNIK 抑制剂,适应症是特发性肺纤维化,靶点由 Insilico 的 PandaOmics 找出、分子由 Chemistry42 生成,两步都是 AI。9 月 7 日发在 Nature Biotechnology 上的是它二期 a 试验的一个附加分析:42 名同意做蛋白质组检测的患者,用 Olink 面板测了 2841 个蛋白,再送进六套各自独立开发的蛋白质组衰老时钟打分,分别来自哈佛、牛津、北大和 Insilico 自己。六套模型给出的方向一致,都是预测生物年龄下降。肺功能的核心指标 FVC 相对安慰剂呈现剂量依赖的改善。

值得知道的地方有两层。第一层是这大概是第一次在临床上评估一个靶点和分子都由 AI 产出的候选药 —— 此前的“AI 制药”多半只有其中一步是 AI。第二层更实用:把衰老生物标志物直接嵌进常规临床试验的读出,等于给抗衰老类药物找了一个可以在二期就看见的替代终点。如果这套读法站得住,做这类药就不必等几十年的硬终点。

但要留的余地也很清楚。42 人、二期 a、事后分析、六套时钟里有一套是公司自己开发的,这几条叠起来只能算概念验证,不是疗效证据;公司自己的措辞也是“显示出潜力”。真正的判据在已经启动的三期试验。AI 制药这条线上,从“分子是 AI 设计的”走到“临床上真的管用”,到今天还没有一个完整跑完的例子。

The Next Web →

02 — 模型与产品

Qwen 开源 Qwen-Drive-1.0-4B:3D 感知、视觉问答、轨迹规划塞进同一个 4B VLM,Apache 2.0

9 月 7 日放出代码、权重和演示数据,底座是 Qwen3.5-4B,和华中科技大学合作;规划头给了模仿学习和强化学习两个版本。

开源模型自动驾驶Qwen

展开

结构上,它保留了 Qwen3.5-4B 的原始架构,外挂两个东西。一个是鸟瞰图感知头,同时做 3D 目标检测、语义占据预测和 BEV 地图分割;论文(arXiv 2609.00111,8 月 31 日)对它的定位写得很直接 —— 这个头是一个探针,用来看共享表征里究竟能取出多少 3D 信息,同时给出一个显式的、可检查的 3D 场景接口。另一个是 Planning Expert,从同一份 VLM 表征上读出未来的自车轨迹。训练是分阶段的,驾驶监督和通用视觉语言数据混着喂,目的是学会开车但不把通用视觉理解和指令跟随练掉,评测结果也确认了这一点基本保住了。

这次开源给的是代码、权重和演示数据,Apache 2.0,Hugging Face 和 ModelScope 都能下。规划部分给了两个检查点:一个纯模仿驾驶示例训出来的,一个在此基础上再用强化学习优化过。两者共用同一个 VLM 主干,视觉问答能力都还在。

为什么值得多看一眼:自动驾驶长期是感知、预测、规划三段各练各的,端到端的做法又常常把中间状态变成黑箱;Qwen-Drive 的取法是留一个可读的 3D 接口再往上接规划,评测覆盖开环、伪闭环和闭环三档。更实用的一点是,同一个规划头的 IL 版和 RL 版一起放出来了 —— 想看强化学习在具身任务上到底加了多少、加在哪里,这是一组现成的对照,不用自己从头训两遍。

Hugging Face →

面壁发 MiniCPM5-2B:25 亿稠密模型 34 项基准平均 53.9,压过卡里所有 4B 参照,Apache 2.0

9 月 7 日发布,42 层、GQA 16 比 2、原生 13.1 万上下文;同时放出预训练和中期训练两个中间检查点,以及 SFT 和 RL 后训练数据集。

开源模型端侧后训练数据

展开

先看参数。总参 2,516,756,480,去掉词嵌入是 19.8 亿;42 层,分组查询注意力 16 个 Q 头配 2 个 KV 头;原生上下文 131072。34 项基准平均 53.9,在 LFM2.5-2.6B、Qwen3.5-2B、Gemma-4-E2B-it 这组 2B 里最高,也高过模型卡里列出的所有 4B 级参照(那一组最高 51.1)。官方说优势集中在代码推理、数学推理、长上下文理解、工具调用和智能体任务。权重能直接走 vLLM、SGLang、Transformers、llama.cpp、Ollama、LM Studio、MLX 和 FlagOS,另外给了 GGUF、MLX、GPTQ 和一个用于推测解码的 DSpark 草稿模型。

做后训练的人真正该看的不是那个 53.9。仓库里除了最终权重,还放了 Base(只做完预训练)和 Midtrain(中期训练之后、SFT 之前)两个中间检查点;元数据里挂的数据集包括 Ultra-FineWeb、UltraData-Math、UltraData-Code、UltraData-SFT-Agent-2609 和 UltraData-RL-2609 —— 也就是说 SFT 数据和 RL 数据都放出来了。上一代 MiniCPM5-1B 的卡里写明后训练是 RL 加在线蒸馏,还单独放了 SFT-only 的检查点。这条线上能做的实验很具体:同一个底座,SFT 之后和 RL 之后差在哪一类任务上,用同一批数据自己复现一遍再改。

端侧这一档今年已经很挤,上周还有 IFM 的 K2 Horizon 0.9B 和 3.7B、Spark-X2.5 的 4B 和 1.7B。真正拉开差距的不是跑分,是放出来多少:多数只给最终权重,这次给的是中间检查点加训练数据。

Hugging Face →

03 — 论文

GRPO 的 clip 边界对所有 rollout 一视同仁:难题上少见的那条正确轨迹,恰恰被剪得最狠

GAPO 把裁剪阈值按 rollout 的优势值自适应放宽,组内成功率越低给的更新余量越大;不改奖励,不改 surrogate,只换阈值。

GRPORLVR策略优化

展开

问题出在一个平时没人细看的常数上。GRPO 系的实现里,重要性采样比的裁剪边界是固定的,对所有 rollout 一样。作者指出这带来一个系统性偏差:难题上那些少见的、答对了的 rollout,重要性比天然更大,携带的探索信号也最强,恰恰因为超出固定边界被压得最厉害;而简单题上一抓一大把的正确 rollout,被裁剪的比例差不多,可它们能提供的学习信号少得多。结果是模型最该学的那部分梯度被按比例削掉。

GAPO 的改法是把裁剪边界改成随 rollout 的优势值自适应:优势越大、组内成功率越低,给的更新空间越大。理由来自一个反向 KL 信赖域的视角 —— 学习信号更强的样本,理应分到成比例更大的信赖域。它不做奖励整形,也不动 PPO/GSPO 的 surrogate 形式,只调整那个阈值,所以是能直接插进现有 GRPO 实现的一块补丁。

结果上,在 Qwen 和 Llama 系列上,数学和代码基准的 Pass@1 和 Pass@k 都超过固定裁剪与优势整形的基线,而且效果最明显的正是基座模型本身通过率就低的那些集合 —— 和它想解决的场景对得上。论文 8 月 31 日挂出,9 月 7 日进了 Hugging Face 每日论文。今天这批里,它是改动量最小、最容易在自己的训练里试一遍的一个。

arXiv →

GRPO 只认最终答案,中间步骤没反馈:ConsensusPR 从多条正确轨迹里聚出“共识节点”当过程奖励

跑 N 次 rollout 只留答对的,把语义等价的中间结论聚成一类,当作可验证的子结果喂回 GRPO;配套三个过程级指标。

GRPO过程奖励推理

展开

卡点很直接:GRPO 这类算法只吃最终答案,中间哪一步帮上了忙、哪一步坏了事,一点反馈都没有。任务越复杂、推理链越长,这个稀疏程度越顶不住 —— 几千个 token 的一条轨迹,最后只回来一个 0 或 1。现有的补法要么训一个过程奖励模型(要标注、要额外模型、还会被套利),要么靠表面启发式规则。

这篇的想法是:一个正确的最终答案,往往依赖推理过程中少数几个关键的中间结论,而这些结论本身是可以验证的子结果。做法是先跑 N 次 rollout,筛出答对的那些,把其中语义等价的中间陈述聚类,作者把这些聚类叫共识节点。有了节点就能写出基于规则的过程奖励 ConsensusPR,塞回 GRPO 式的算法里,直接降低长轨迹上结果奖励的稀疏度。

配套的基准给了三个指标:最终答案准确率 Acc、节点覆盖率 NCR、每个节点消耗的 token 数 TPN —— 后两个是为了让过程本身可评测,而不是只看结果。在 AIME 2024、AIME 2025、GSM8K、MATH-500 和它自己的 ConsensusBench 上都超过 GRPO 式方法。放在最近这一批里看,它和 Cliff(让老师标出第一个错)、DRACO(边训边生成评分细则)是同一个方向的三种解法,都在把结果奖励摊到过程上,区别只在信号从哪来:一个从多次采样的共识里来,一个从外部老师来,一个从自动生成的 rubric 来。

arXiv →

在线蒸馏不用外部老师了:RISE 拿模型自己 RLVR 轨迹上的位移往前外推,造一个合成老师出来

取当前检查点和一个滞后锚点在参数或 logit 空间的差往前外推,把稀疏的结果奖励翻成 token 级目标,老师每轮跟着学生刷新。

在线蒸馏RLVR后训练

展开

在线蒸馏(OPD)能给出 token 级的稠密监督,这是它相对纯 RLVR 的优势,但成败全押在老师身上:外部老师和学生的分布对不上,自蒸馏靠给老师加特权条件(比如先把答案告诉它),又受限于模型自己的上下文学习能力。这两条路本站这周已经写过几篇,比如 TGOPD 是从可靠性那一头切的 —— 让老师每题先自测三次,答对两次以上才给稠密信号。

RISE 的选择是干脆不要老师。它盯的是模型自己的 RLVR 训练轨迹:取当前检查点和一个滞后锚点之间的位移,往前外推一步,得到一个合成老师 —— 参数空间和输出 logit 空间两种外推都试了。这一步等于把结果奖励诱导出的那次稀疏参数更新,翻译成了稠密的 token 级目标,全程不需要任何外部模型,也不需要特权条件。

有意思的是这个循环的结构:结果奖励负责把外推方向锚在正确推理上,外推出的老师负责细化每一步 token 的选择,两者互相补。而且老师每一轮都跟着学生刷新,蒸馏就从一次性的压缩变成了一个递归改进机制 —— 这也是名字里 Recursive 的来处。数学推理、多领域 STEM、代码生成、多轮智能体任务四类上都比只做 RLVR 和自蒸馏更好。作者来自 Salesforce Research,论文今天在 Hugging Face 每日论文上有 9 个赞。

arXiv →

04 — 工具与生态

AXIS:把 MuJoCo 编进浏览器让人远程操作机械臂攒数据,207 个任务 5 万条轨迹,7 万多人参与

Axis Robotics 联合伯克利、佐治亚理工和台湾大学发布,仿真在浏览器里跑、算力在后端;π0.5 用上后 LIBERO-Plus 从 83.9 涨到 88.8。

机器人数据集具身智能

展开

运作方式是这样的:贡献者在浏览器里遥操作一台 Franka Research 3,物理仿真是编译成 WebAssembly 的 MuJoCo,重活交给后端 GPU。数字方面,207 个操作任务、50129 条轨迹、七大类超过 6 万种任务和场景变体、2.36 TB,参与过的社区贡献者超过 7 万人。效果上,π0.5 在 LIBERO-Plus 上从 83.9 提到 88.8。

机器人数据一直是整条链上最贵的一环 —— 要真机、要场地、要人一遍遍手把手示教。把采集搬进浏览器,等于把门槛从“有没有实验室”降到“有没有网页”,而且这个数据集是当成持续膨胀的东西在做,不是发一次就完事。

不过门槛要看清楚:数据集在 Hugging Face 上是 gated 的,限非商业学术用途;训练代码以 OpenPI 补丁的形式公开;训练好的模型检查点一个都没放。也就是说 7 万人贡献出来的轨迹,能拿去复现的是数据和训练流程,不是模型本身。众包采集加受限分发,这个组合往后大概会越来越常见,值得提前想清楚自己站在哪一边。

MarkTechPost →

Video DeltaNet:给 MiniMax H3 并一条线性注意力分支,8 卡 B200 上 11.23 秒生成 14.4 秒视频

一条逐帧线性注意力分支加两个小 LoRA,推理时能直接合进主干、不动主干权重;8 步去噪,生成比播放还快,训练代码一起开源。

视频生成推理加速开源

展开

做法是混合注意力。VDN 在 MiniMax H3 的主干上并了一条逐帧的线性注意力分支管效率,同时保留原来的 softmax 分支管画质和时序一致性。新增的部分只有这条线性分支加两个小 LoRA 适配器,推理时可以合进主干,主干权重一个字节都不用改,所以是即插即用的。发布的检查点有两个:50 步的 stage-b,和从它蒸馏出来的 8 步 stage-dmd。头条数字用的是 8 步那个 —— 8 张 B200 上生成 14.4 秒的 768p 视频耗时 11.23 秒,比这段视频播完还快。

开源程度值得单独说一句:权重约 82 GB(其中 72 GB 是 H3 基座),优化过的推理栈和对应的训练代码一起放出来了,代码在 GitHub 的 OpenVDN/vdn-minimax-h3。许可证跟随 MiniMax H3 的社区协议,不是 Apache。用自己的提示词得先过 Qwen3-VL-32B 编码一遍,官方还建议先用 H3 的提示词改写工具润一遍再编码。

视频生成的成本大头一直在注意力上,帧数一多就爆。线性分支管效率、softmax 分支管质量这条路本身不算新想法,这次真正有价值的是训练代码也一起开了 —— 别人可以在别的视频主干上照着做一遍,而不只是拿到一个跑得快的检查点。

Hugging Face →