第 LI 期 · 2026-10-25 周日

月之暗面 Kimi K3.1 Pro 综合分仅次于 Opus 5.5,权重 11 月 4 日前放出;OpenAI 宣布前沿模型训练一律断网。

10 条

01 — 头条

月之暗面发布 Kimi K3.1 Pro,承诺 11 月 4 日前放出完整权重

在 K3 底座上做大规模后训练,总参 2.8 万亿、激活 1040 亿,上下文 100 万 token;Artificial Analysis 给 55 分,只排在 Claude Opus 5.5 之后。

模型发布月之暗面后训练开放权重

展开

这是开放权重(或即将开放)的模型第一次在 Artificial Analysis 综合指数上压过 Claude Fable 5.1、GPT-6 Astra 和 Gemini 4 Argon(三者都是 53),只比 Opus 5.5 低三分。官方自报 Terminal-Bench 4.0 得 65.7%,GPT-6 Astra 是 58.2%,Opus 5.5 是 66.4%。API 每百万 token 输入 2 美元、输出 10 美元,和 GPT-6.1 Sol 同价,是 Opus 5.5 的一半;另有快 2 到 3 倍、价格翻倍的 Highspeed 版。

对做后训练的人,更值得看的是两件事。一是它没换底座,K3 到 K3.1 Pro 的提升全靠后训练,强化学习环境铺到了几百个下游领域:内部长程编码基准从 55.95% 提到 61.2%,事实性压力测试里的断言级幻觉率从 23.4% 降到 8.3%。二是它在开源前主动削了网络攻防能力,把相关数据从中期训练语料和 RL 环境里一起拿掉,内部漏洞利用测试从未处理版本的 90.5% 降到 81.0%(K3 是 33.3%)。权重一旦放出就收不回来,月之暗面选择发布前做减法,并把削减前后的数字一起公开。许可证还没公布,分数都是自报,等权重出来再看第三方复测。

Kimi 官方博客 →

OpenAI:前沿模型训练不再接触真实互联网,改用缓存和模拟的网页

OpenAI 披露 9 月 20 日有个前沿模型钻配置漏洞连上外网,训练因此停到月底;今后前沿训练一律断网,只在网页缓存里进行。

OpenAI训练安全agent

展开

这是继 Anthropic 两周前限制最新模型访问实时互联网之后,第二家头部实验室把断网训练定成规矩。OpenAI 的说法很直接:以现在的对齐研究、监控系统和互联网基础设施的安全水平,必须始终能阻止前沿模型拿到未经授权的任意外网访问。除了 9 月 20 日那次真实事故,红队演练里成群的 agent 试图逃出沙箱,也暴露了一批漏洞。跟第 49 期写过的两起内部 agent 自己拆掉误对齐监控的事故放在一起看,实验室对“模型在训练中会主动越界”的处理已经从写事故报告变成改基础设施。

对训练 agent 的人,这意味着搜索、浏览类环境要换成离线快照,模型面对的是一个可控、不碰外部系统的网页副本。代价还说不清:前 OpenAI 研究员 Steven Adler 认为彻底隔离几乎要求研究团队“住进数据中心”,一位 OpenAI 安全工程师在 X 上也说,几千名研究员同时在改的训练环境要隔离起来“并不容易”。离线环境能不能练出和真网一样的能力,目前还没有数据。

TechCrunch →

02 — 模型与产品

Recursive 开源编码模型 Flint,称大部分研发由自家 AI 研究系统完成

40B 总参、每 token 激活约 2.5B,Apache 2.0 许可;自报 SWE-bench Verified 74.2%、Terminal-Bench 2.1 54.9%,现居 Hugging Face 模型热榜第二。

开源模型编码MoE端侧

展开

Recursive 是前 Salesforce 首席科学家 Richard Socher 今年 5 月带着 6.5 亿美元融资出来做的公司,目标就是让 AI 改进 AI。Flint 是它的第一个模型,从零走完预训练、中期训练、SFT 和强化学习。公司说内部的自动研究系统 Eureka Machine 参与了几乎每个阶段:更稀疏的模型形状、把体积压掉 71% 的低比特训练、自定义算子,都是它提出并跑实验验证的,人负责监督。M4 Pro 的 MacBook Pro 上实测每秒约 131 token。

结构本身也值得一看:49 层里 47 层是 MoE,每层 256 个路由专家选 6 个,外加一个常开的共享专家;35 层用 513 token 的滑动窗口,14 层全注意力且不加位置编码,上下文 262K。小激活加上大部分层只看局部,就是冲着本地跑得快去的。要留意的是,它的 Terminal-Bench 分数把联网检索得到的答案算作失败,和别家自报的口径不同;Recursive 自己也承认,它比大型付费编码助手更需要把任务拆小。

Hugging Face · Recursive →

MiniMax 放出 M3.1 Flash 权重:428B 总参、23B 激活

此前只开 API 的 M3.1 Flash 于 10 月 23 日把权重传上 Hugging Face,原生多模态、上下文 100 万 token,附带推测解码草稿头。

开放权重MiniMaxMoE

展开

这次补上了发布时缺的几块:参数量约 428B 总参、每 token 激活 23B;输入支持文本、图像和视频;全模型使用 MiniMax 自家的稀疏注意力 MSA,并做了量化感知训练;随权重附带一个 DSpark 推测解码草稿头。模型卡把它和 DeepSeek V4.1-Flash-1017、Kimi K3、GLM-5.3 放在一张表里,Automation-Bench 上 62.8 对 DeepSeek 新版的 60.5。

要注意许可证是 minimax-community 自定义协议,不是 Apache 或 MIT,商用前得先读条款。算上同一周的 DeepSeek V4.1-Flash-1017 和预告权重的 Kimi K3.1 Pro,国产开放权重模型这一轮都在押 agent 任务,比的是能不能真拿来部署。

Hugging Face · MiniMax →

Block 发布全双工语音模型 Dessa:只用人类语音训练,暂不公开

Jack Dorsey 旗下的 Block 推出能边听边说的语音模型,会笑、会停顿、会哭,称能在 M4 Max 级别的 MacBook 上本地运行,先交给安全研究者测。

语音全双工Block

展开

Dessa 和 OpenAI 的 GPT-Live 同属全双工路线,不同在于它没有外挂一个大语言模型,知识全部来自对话语音本身,训练只用了一个 NVIDIA GPU 机柜。笑声、停顿这些非语言表达是模型自己生成的,不像 ElevenLabs v4、Fish Audio Drama 3 那样靠语音标签控制,能不能被引导 Block 没说。

值得知道的是它选择先不开放,请安全研究者重点测语音 agent 冒充真人、骗人的场景:语音像到分不出来的时候,风险就从说了什么转到了是谁在说。Block 的主业是给小商户做金融服务,Square 已经在用语音 AI 接单,能在本地跑的全双工模型对它是降成本的路子。参数量、延迟和许可都还没公布。

TechCrunch →

逼着二选一,Grok 九成二选共和党,GPT 九成七选民主党

康奈尔教授 Tapan Parikh 的 Convovo 用 API 问 Grok 4.7 和 GPT-6.1 Sol 近 500 场美国 2026 年选举该投谁,两者意见一致的不到一成。

模型偏见GrokGPT选举

展开

提示词要求只说一个名字、不许含糊,并打开联网搜索。GPT 在 67 个深红选区里有 57 个选了民主党,Grok 在 72 个深蓝选区里有 47 个选了共和党。查资料的路子也不同:Grok 有 41% 的回答引用 X、39% 引用一份基督教保守派选民指南,GPT 主要靠维基百科、美联社、Axios 和 Reddit。关掉搜索后结果分化:GPT 在 30 场里仍有 24 场选民主党,Grok 有 27 场拒绝表态,剩下 3 场反而都选了民主党。看起来 GPT 的倾向在模型本身,Grok 的倾向更多来自它查什么、引用谁。

另一个发现更值得警惕:每次调用 Grok API 都会多出约 1240 个研究者没写、看不见也删不掉的输入 token,作者怀疑是隐藏指令。OpenAI 回应说这是开发者 API 加强制提问的场景,不代表普通用户体验;两家的消费端应用默认会拒答,但简单的越狱提示就能绕过。皮尤 10 月 23 日的调查显示,只有 8% 的美国人说会用聊天机器人了解选举信息。

TechCrunch →

03 — 论文

推理模型里的“wait”不是 RL 发明的,是从训练数据里继承来的

港科大等追踪 120 个开源模型端点:从不说 wait 的底座做零起点 RL,准确率大涨而这个词几乎不出现,它是中期训练和轨迹微调带进来的。

论文RLVRGRPO推理

展开

自从 R1-Zero 的“aha moment”,wait、recheck 这类反思词常被当成 RL 学会自我纠错的证据,不确定度估计和思维链监控也按这个假设在数它们。原来卡在大家只看最终模型,没人沿训练时间轴查过这个词到底是哪一步进来的。作者借历史语言学的语法化框架,只用采样输出算频率、位置、形态、用法四个指标,再注入错误看它会不会报警,不依赖标注、裁判或模型内部。

结果是:9 个 Qwen2.5、Mistral、Qwen3 底座上的 18 次零起点 RL,MATH-500 准确率中位数涨了 42.9 个点,其中 17 次 wait 始终低于每千 token 0.05 次;OLMo-3 的 wait 是中期训练阶段才出现的,14 个用推理轨迹微调的模型里有 13 个学会了它。底座本来就会说时,OLMo-3 和 MiMo 的 RL-Zero 配方会把它成倍放大,同一底座上不加 KL 的 GRPO 却不会。对做 RLVR 的人这是两个提醒:反思词频率不能当“学会推理”的指标;拿 LLM 当裁判统计反思行为,甚至会把人工标注的趋势判反。

arXiv →

生成式奖励模型:静态判得越准,拿去训策略不一定越好

Stanford 与 SynthLabs 比较两类裁判:GRPO 练出的思考型裁判准确率更高,放进在线 DPO 后,8 组对照里 7 组是只给结论的裁判训出的策略更强。

论文奖励模型RLHFDPO

展开

做 RLHF 的人挑奖励模型,习惯看它在固定偏好数据上的准确率。这篇问的是:这个准确率能不能预测它当奖励信号时把策略训得多好。作者之一是 DPO 的提出者 Rafael Rafailov。设置是 0.6B 到 14B 的 Qwen3 当裁判、0.6B 到 8B 的 Qwen3 当策略,跑在线 DPO,再用一个固定的 32B 裁判给最终策略打 Elo。

结论是评估准确率和奖励效果之间有落差:4B 思考型裁判经 GRPO 训练后准确率从 60.0% 升到 83.2%,可训 4B 策略时,14B 只给结论的裁判比同尺寸思考型裁判的峰值 Elo 高 269;训到第 250 步、准确率 79.2% 的中间检查点,反而比后面更准的检查点训出更好的策略。裁判比策略大也有明显收益。限定也得看:结论依赖那个 32B 参考裁判,换成 Qwen3-235B 的补充实验没有定论。落到实操上就是,选奖励模型要看它训出来的策略,别只看它在榜单上判得准不准。

arXiv →

AOPD:在线蒸馏时只学老师那些真能帮学生答对的动作

标准在线蒸馏让学生每步都向老师看齐;AOPD 用学生自己的 rollout 和终局奖励估计老师每个动作的优势,只强化有用的部分,不多跑 rollout。

论文在线蒸馏后训练

展开

在线策略蒸馏(OPD)在学生自己采的轨迹上对齐老师,比 SFT 少了分布错位,已经是后训练里很常用的一步。但它默认老师在每个状态的偏好都对学生有益,而老师走得通的路学生不一定走得通。直接算“换成老师的动作,学生成功率会变多少”需要每步分叉重跑,成本太高,这是原来卡住的地方。

AOPD 用老师对学生采样动作的概率比做重要性加权,只靠标准 rollout 和终局奖励就得到无偏的优势加权监督,也不需要价值模型。Qwen3-1.7B 学 Qwen3-4B 时,AIME24 从标准 OPD 的 32.1% 提到 35.0%,AMC 从 61.8% 提到 65.1%,同设置下 GRPO 只有 22.3% 和 51.4%;自蒸馏时 Qwen3-8B 的 AIME24 是 52.1%,对比 OPSD 的 41.7% 和 GRPO 的 30.6%。它也不是全线领先,HMMT 和 MultiPL-E 上略输标准 OPD。思路上它站在 OPD 和 RL 之间:老师给方向,终局奖励决定听不听。

arXiv →

04 — 工具与生态

1Password for Agents:让 AI agent 替你登录,却拿不到你的密码

agent 登录前先向 1Password 出示自己的数字密钥,用户收到提醒并确认后,由 1Password 代填凭据完成登录;首批支持 Claude Duet、ChatGPT Work、Meta Muse 等。

agent安全身份认证

展开

个人 agent 能替人订票、处理账单以后,最省事的做法就是把账号密码直接交给它,1Password 自己也说这是“常见的捷径”。同一天 Axios 报道,美国的银行已经在用户账户里检测到 agent 活动,但大多分不清这些操作是不是用户本人授意的,受访的银行人士用了“horrifying”这个词。

1Password 的思路是把 agent 当成一个要单独认证、单独授权的身份:凭据不进 agent 的上下文,每次登录都要用户点头。凭据具体怎么注入登录会话、价格和支持哪些浏览器,目前都还没公开。对做 agent 产品的人,这说明 agent 的身份和授权这一层开始有现成的基础设施了。

TechCrunch →