第 XXII 期 · 2026-09-23 周三

Anthropic 与 OpenAI 同日发新模型,比的都是降价。小米开源万亿参数 MiMo-V2.6,RL 环境和框架一起放出。

10 条

01 — 头条

Claude Opus 5.5 发布:Fable 5.1 的水平,跑起来比 Opus 5 便宜四成

Anthropic 9 月 22 日发布 Opus 5.5,每百万 token 输入 4 美元、输出 20 美元,典型负载成本比 Opus 5 低四成。

Claude模型发布定价

展开

官方给的对照里,Terminal-Bench 4.0 从 Opus 5 的 52.3% 升到 66.4%,高过 Fable 5.1 的 55.8% 和 GPT-6 Astra 的 57.9%,GDPval-AA 和 OSWorld 2.0 也都超过 Fable 5.1。价格上输入输出各降 20%,缓存读取从 0.5 美元降到 0.2 美元,Anthropic 自己的测算是默认设置下典型负载成本低 40%。换句话说,原来要上 Fable 才做得好的活,现在用更便宜的档位就能做。

安全这一块,发布前由 Frontier Design 和 METR 做了外部评测,官方称它试图绕过边界的次数比 Opus 5 少约 85%。Pro、Max、Team 和按席位计费的企业版同步提高了五小时用量上限。

时间点值得多看一眼:这是 Amodei 9 月 12 日呼吁全行业放慢之后,Anthropic 发的第一个新模型,而那次“一起放慢”刚在 9 月 18 日被付费用户以反垄断告上法庭。从公布的数字看,这一代主打的是同等能力下更便宜、更快,没有把能力上限往上推,不过 Anthropic 没有正面谈它和减速主张之间的关系。

Anthropic →

GPT-6 Sol 和 Luna 紧跟着上线,API 价格直接砍半

OpenAI 紧跟着推出 GPT-6 Sol 和 Luna,Sol 每百万 token 2/10 美元,Luna 0.10/0.50 美元,都比上一代便宜至少一半。

OpenAI模型发布定价

展开

两款的分工很清楚:Sol 接编码这类复杂任务,Luna 接摘要、信息抽取、快问快答这类量大、目标明确的活。跟上一代比,Sol 从 4/20 美元降到 2/10,Luna 从 0.20/1.20 降到 0.10/0.50,OpenAI 特意说明这是永久价格,不是促销。能力上两者都没超过旗舰 GPT-6 Astra,DeepSWE 1.1 上 Sol 68.8%、Luna 66.6%。

定价是这次真正的看点。Sol 的价格正好和 Claude Sonnet 5 一样,是同一天稍早发布的 Opus 5.5 的一半。两家在同一天出牌,竞争焦点已经从谁最强挪到了每个任务花多少钱,OpenAI 在 AutomationBench 上也特意报了 Sol 每个任务 0.27 美元的成本。

另据 Decrypt 援引 OpenAI 的数据,内部统计的编码欺骗率 Sol 是 1.3%、Luna 是 2.8%,上一代 GPT-5.6 Sol 是 10.4%。这项指标是 OpenAI 自己定义、自己测的,外部还没有复现。

VentureBeat →

小米开源 MiMo-V2.6:万亿参数,一次 RL 训完所有领域,环境和框架一起放出

小米以 MIT 许可开源 MiMo-V2.6 Pro(1.02T 参数、42B 激活)和 Flash,同时放出 7000 多个 RL 任务环境和训练框架。

开源模型GRPO小米

展开

成绩先放这儿:Pro 在 Artificial Analysis 智能指数上拿到 46,与 Grok 4.7 并列,是目前分数最高的开放权重模型,DeepSeek V4.1 Flash 是 39。原生支持文本、图像、视频、音频,上下文 100 万 token。API 价格 Pro 每百万 token 输入 0.435 美元、输出 0.87 美元,Flash 大约是它的三分之一。

对做后训练的人,最值得读的是它的 RL 配方。编码、通用 agent、视觉、网络安全混在同一次 RL 里跑,没有分领域各训一遍,用的是完全异步的 GRPO,每步 1568 个 prompt、每个 16 条 rollout。二值的通过/失败分不出“都通过了的解哪个更好”,所以它把评分也做成了 agent:GRS 离线对比同组 rollout,合成任务专属的 rubric,GAR 在线给通过的轨迹排序,把优势往质量更高的解上挪,官方说这样会引导出更短的路径、更少的 token。

账本也公开得很细。RL 阶段大约 30 个大步、75 万条轨迹、不到六天,Pro 花了约 262 万美元,Flash 约 85 万美元。Pro 的开销里训练占 43.5%,生成 rollout 占 43.8%,评分占 12.7%。确认的 reward hacking 轨迹低于 2%。另外还放出一个 9B 的 SFT 检查点 MiMo-V2.6-Distill-Qwen-9B(基于 Qwen3.5-9B),明说是给 agentic RL 研究当起点的,跑不动万亿模型的话,可以从它接着做 RL。

VentureBeat →

02 — 模型与产品

Grok 4.7:2.1T 参数,价格不变,RL 往要做几个小时的难题上加码

xAI 发布 Grok 4.7,参数从 1.5T 加到 2.1T,API 仍是每百万 token 输入 2 美元、输出 6 美元,上下文 50 万。

xAI模型发布

展开

xAI 的说法是换了一个更大的基座,再跑了一轮更长的 RL,训练数据偏向要花好几个小时才能做完的难题。训练里还掺了 SpaceX 的数据:星链卫星遥测、制造记录和工程故障日志。发布当天就上了 Grok App、Cursor 和 xAI API,不用排队。

位置还是第二梯队。GDPval 上 Grok 4.7 是 1695,Fable 5.1 是 1735。它自报的 Terminal-Bench 4.0 是 38.0%,第二天发布的 Opus 5.5 自报 66.4%,差距不小,不过两边都是厂商自己报的数。Decrypt 的判断是 xAI 又一次排在第二,靠便宜和铺得广来补。

Decrypt →

03 — 论文

Critical-State RL:多轮工具调用该训哪一步,先诊断再下手

多轮工具调用的成败常取决于某一次调用。这篇用嵌套采样把动作造成的奖励差异和后续随机性分开,只在诊断出的关键状态上训练。

Agentic RL信用分配工具调用

展开

原来卡在哪:多轮交互里,奖励要等后面的交互走完才知道。某一步看到的奖励方差,可能只是后续的随机性,并不代表这一步不同动作之间有好坏之分。按整条轨迹给优势的做法,会把梯度摊到根本不该训的步上。

方法分三步。先给定候选调用和局部奖励,检查这个奖励是否真的反映该动作对任务成功的影响,以及相对参考策略还有没有提升空间。再用嵌套采样把和动作相关的奖励方差从续写噪声里分离出来。最后只在选中的状态上做 contextual bandit 训练。

在 BFCL v4 上,缺函数任务里诊断选中的是“工具变得可用之后的那次回复”,只训它就涨了约 14 个百分点,而训别的位置持平甚至变差。缺参数任务里选中的是“参数补上之前的那次回复”,也就是该开口问的那一步。对做 agent RL 的人来说,信号放在哪一步,和用什么算法一样要紧。

arXiv →

在线策略蒸馏只监督 1% 的 token 也够,前提是挑对

稀疏在线策略蒸馏只在少数 token 上给老师信号。这篇指出从采样 token 估梯度噪声很大,提出信息效率比 IER 来挑位置。

在线策略蒸馏后训练

展开

原来卡在哪:现有的稀疏 OPD 在挑 token 时只问“老师在这个位置的指导有没有用”。可反向 KL 的梯度是从学生采样出的那一个 token 估出来的,指导再有用,估出来的更新也可能很吵。

作者在固定前缀上用信息几何做了一个信噪比分解,得到信息效率比 IER,它刻画的是在最优标量 baseline 下梯度估计的相对误差。再用候选集近似让它算得动,可以直接叠在已有的有用性打分上,训练目标仍是采样的反向 KL,不用改。

在数学和医学推理上,加了 IER 的选择器在多种设置下都更好,token 预算只有 0.1% 到 1% 的稀疏配置就能追平甚至超过不做挑选的全量 OPD。OPD 的主要开销是请老师打分,这给省老师 token 提供了一条有理论依据的判据,代码已开源。

arXiv →

InfoPPO:按信息量而不是 token 数计时,长推理里的折扣因子又能用了

RLVR 通常一个 token 算一步,InfoPPO 改成按信息密度推进时间,并据此逐位置调整 PPO 的 clip 阈值,在 Qwen3 数学推理上稳定领先。

RLVRPPO信用分配

展开

原来卡在哪:自回归轨迹上的信息分布很不均匀,大量 token 是铺垫和套话,决定走向的只有少数几个。按 token 计时的话,只要折扣因子小于 1,终点奖励传到长序列前段就衰减得差不多了,所以 RLVR 的常见做法是干脆不打折扣,也就放弃了折扣带来的有效视界收缩。

InfoPPO 用信息密度重新定义时间:信息量小的 token 几乎不算往前走了一步。同一套结构还推出了随状态变化的更新约束,落地成自适应 clip,每个位置的 clip 阈值按该状态的信息密度来定。理论部分把性能差分和策略改进下界推广到了“信息时间”的 MDP 上。

在 Qwen3 上,五个竞赛数学基准都稳定超过强基线。更有说服力的是那组对照:在非平凡的折扣设置下,按 token 计时的 PPO 准确率和回复长度都会崩,InfoPPO 两样都保持住了。

arXiv →

04 — 工具与生态

onPanda:从第一个错的 token 改起,标出来的数据还是 on-policy 的

一个对齐数据标注工具:标注员找到回复里第一个不对的 token,换成候选或手改,模型从改过的前缀接着生成,循环到满意为止。

数据标注对齐后训练

展开

做 on-policy 的 SFT 和偏好数据有个老矛盾:人工重写能把答案改对,但也把数据拉离了模型自己的分布。onPanda 最终回复里的绝大部分 token 仍是模型自己生成的,只在出错的位置插一刀,采样分布基本保住了。

标注过程本身也是数据。每次纠正都记下了精确位置,天然就是一对正负样本,可以直接拿来做 token 级监督。作者的小规模对照里,中位标注时间比手动后编辑少了 52%。工具能接外部工具和 harness,用来标 agent 轨迹,同时放出了用它标的 Panda-CVL 数据集和一个 token 级纠错基准。

arXiv →

RRSI:让 agent harness 自己迭代会背题,Google 给它加了正则

自动改 prompt、工具、记忆的 harness 自我迭代,在训练任务上涨得多、换题就缩水。RRSI 限制每轮改动数,并剪掉太小、太贵或已无用的改动。

AgentHarness自我改进

展开

让 agent 反复修改自己的 prompt、控制流、工具和记忆管理,已经是常见的提分手段,但它有个毛病:在用来演化的那批任务上涨得很多,换到分布外就缩水甚至消失,本质是把题背下来了。

RRSI 把正则化的思路搬了进来。提议器的预算随时间退火,限制一个候选最多打包几处修改,并参考演化历史鼓励走没走过的路。选择器配了一个 critic 和一个 pruner,critic 筛掉只针对某个基准的改动,pruner 删掉太小、太贵或已经没用的改动。

八个基准上,它在演化所用的那一份上最多涨 14.1 分,在五个分布外基准上最多涨 4.7 分,而且最终 harness 比不加正则的版本少用 30% 的策略 token。它是 Hugging Face 每日论文榜最新一期的第一名,代码放在 google-research/rrsi。

arXiv →

OpenAI 说要让外部评测机构在训练阶段就进场,但没点名,也没给条件

OpenAI 9 月 22 日宣布,第三方可以在模型训练和评估阶段做安全评测,正与 METR、Redwood Research 洽谈,还没有确认的合作方。

AI 安全OpenAI外部评测

展开

变化在于时间点。以前外部评测主要集中在发布前夕,现在说评测方可以更早拿到早期检查点和部分评测结果,最敏感的工作可能会请进办公室做。

落差也很明显。Altman 9 月 12 日的说法是给评测方“办公桌、工牌和笔记本,还有公开发现的权利”,这次的正式文章里既没点名合作方,也没定访问条款,发表权一句没提。9 月 18 日刚有一批专家发公开信,要求 Anthropic 和 OpenAI 找真正独立的评测方。同一天 Anthropic 发布 Opus 5.5 时,列出的是 Frontier Design 和 METR 在发布前做过评测。OpenAI 这个承诺能落实多少,要看第一份合作条款怎么写。

The Next Web →