第 XLVIII 期 · 2026-10-20 周二

美国国土安全部下令联邦民用系统清除 DeepSeek 及其衍生产品;Inception 发布扩散语言模型 Mercury 3。

9 条

01 — 头条

美国国土安全部下令联邦民用系统清除 DeepSeek:用 DeepSeek 做出来的第三方产品也在其列

命令 7 月 24 日就已签署生效,10 月 19 日才公开;民用机构不许再采购,已在用的要移除,国防部和情报系统不在范围内。

DeepSeek政策美国

展开

命令依据的是 2018 年的《联邦采购供应链安全法》(FASCSA),由国土安全部部长 Markwayne Mullin 签署,对应 Federal Register 文件 2026-21447,10 月 20 日正式刊登。它管两件事:一是把杭州深度求索及其关联方开发的 IT 产品和服务排除在联邦民用采购之外;二是把所有 DeepSeek 产品、关联方产品,以及“使用 DeepSeek 实现开发的第三方产品和服务”从民用机构的系统里移除。执行由 CISA 的 FASCSA 命令实施组负责,移除期间各机构要加强流量监控、日志记录和防泄漏措施。

理由写的是:用户数据存放在中国,提示词和回复会传回境内服务器,取证分析还发现了安全和隐私漏洞;签署的命令里说 DeepSeek “对美国政府系统的网络安全构成多重威胁”。移除期限的说法对不上:MeriTalk 副标题写 60 天,正文又说立即移除,公开的通知正文里没有写。

为什么值得知道:此前联邦和各州对 DeepSeek 的限制,大多只管员工公务设备上的 App,这次是采购和系统层面的整体排除,措辞还伸到了第三方产品。现在不少开源模型和应用是在 DeepSeek 权重上微调或蒸馏出来的,自托管的开放权重、衍生模型算不算“使用 DeepSeek 实现开发”,通知没有说清,给联邦机构供货的 AI 厂商得先回头核一遍自己的技术栈。命令公开的前两天,DeepSeek 刚发布 V4.1-Flash-1017(本站 10 月 18 日写过)。

MeriTalk →

Inception 发布扩散语言模型 Mercury 3:英伟达 GPU 上每秒 1068 个 token,上下文扩到 100 万

厂商称它多项基准超过 GPT-6 Luna 和 Claude Haiku 5.5、速度快 4 到 8 倍;每百万 token 输入 0.2 美元、输出 0.7 美元。

扩散语言模型推理速度API

展开

扩散语言模型对一整段输出反复去噪、并行改写,不用从左到右一个一个吐 token,所以单位时间能出的字数远高于同等规模的自回归模型。Mercury 3 的总参数是第一代 Mercury 的 40 多倍,上下文从 Mercury 2.5 的 26 万 token 扩到 100 万。Inception 给了几组数:在 50 个实时 Mind2Web 网页导航任务里完成一半,所用 token 量和步数跟前沿模型相当;在 Octen AI 的实时搜索测试里,生成耗时中位数 0.9 秒,端到端 2.2 秒。上线期间价格打五折,缓存输入再打一折;已经上了 Inception 自家平台、OpenRouter、Baseten 和 Vercel,接口兼容 OpenAI。

为什么值得知道:agent 循环里每一步都要等模型说完,语音、搜索、浏览器操作这类场景里,延迟往往比单题准确率更要紧,扩散模型押的正是这一块。Inception 还宣称自回归那套 scaling law 在扩散模型上同样成立,如果属实,扩散路线就不只是“快但不够聪明”的小模型方案。不过“超过 GPT-6 Luna”这句话没有列出是哪些基准,架构细节和权重也都没公布,目前只能当厂商自报的数来看。

Inception →

02 — 模型与产品

MiniMax 推出 M3.1 Flash:跑 agent 任务的花费比上一代低七成,推理快了将近三倍

每百万 token 输入 0.15 美元、输出 0.60 美元;OSWorld V2 得 61.7、ALE 得 29.6,都是国产模型第一,权重说是之后再放。

MiniMaxagentAPI 价格

展开

提速靠的是更激进的稀疏化:日常使用每秒 200 多个 token,P50 在 170 以上。其他自报分数有 BankerToolBench 76.2、DeepSWE v1.1 73.7%、CyberGym 82%。它上线前用的代号是“Space Bunny”,现在可以通过 MiniMax API、M Plan 订阅和 MiniMax Code 使用,缓存输入每百万 token 0.015 美元;更大的 MiniMax Pro 也在计划里,没给日期。

为什么值得知道:Flash 这一档的输出价已经压到每百万 token 不到 1 美元,而它报的分数全瞄着 agent 场景(电脑操作、软件工程、金融工具调用),厂商比的越来越是“跑完一个 agent 任务要花多少钱”,不再只是 token 单价。要留意的是,博客没写参数量、上下文长度和许可证,权重只说“之后发布”,所谓更激进的稀疏具体怎么做也就没法核对;CyberGym 这类网络攻防分数,最好等权重放出后看第三方复测。

MiniMax →

面壁 MiniCPM-V 4.7 排上 HF 热榜第二:35B 总参、3B 激活的多模态 MoE,在 iPhone 上只占 3GB 内存

跨层预测下一层要用的专家并提前加载,配合分层量化和投机采样,iPhone 17 Pro Max 上每秒解码 13 个以上 token,Apache 2.0 开源。

端侧MoE多模态开源

展开

难点在 MoE 的内存账:激活参数只有 3B,可每个 token 在每一层选的专家都不一样,手机内存装不下全部专家。以前的两条路都不理想:用到时再从存储里读,解码会频繁卡顿;给整段提示词固定一个专家子集,又会把模型本来要选的专家挡在外面,能力打折。MiniCPM-V 4.7 的 Lookahead Expert Scheduling 用跨层路由预测,提前把下一层可能用到的专家读进来,计算时先算已经到位的,同时加载剩下的;预测只管调度,真正参与计算的仍是原始路由选出的专家,没预测到的照常加载,模型输出不变。

视觉端沿用 LLaVA-UHD v4 的 ViT 内部早压缩,视觉 token 可以在 4 倍和 16 倍压缩之间混用。官方称 Instruct 模式下它比 Qwen3.6 35B-A3B 总分更高、耗时更短;支持 iOS、Android 和鸿蒙,首发就适配瑞芯微、后摩、Intel、AMD 和 Arm 的芯片,同时放出 1B 小版本,以及一种减少遗忘的低成本微调方法 SRFT。

为什么值得知道:端侧过去基本只能跑稠密小模型,MoE 一直卡在内存上。如果“按需加载、但不改路由”这套调度真能做到无损,手机上能用的模型就从几 B 抬到几十 B 总参。官方发布是 10 月 15 日,仓库 10 月 19 日刚更新过,这两天 1B 版也进了热榜前二十。

Hugging Face →

03 — 论文

RLVR 的生成窗口砍到 8000 token 还能学:一条回答里放三道题,截断前答对的照样算分

和 32k 窗口的单题 GRPO 相比,每步训练 token 在 4B 模型上少 82.1%、8B 上少 79.1%,全程没加长度惩罚。

RLVRGRPO训练效率

展开

原来卡在哪:RLVR 的生成窗口动辄 32k,成本很高;可直接把窗口缩短,难题上一组 rollout 可能全在给出答案前被截断,奖励全是零,GRPO 的组内相对优势随之消失,这一组等于白采。这篇是 Batched Contextual Reinforcement 的续作,提出 Concurrent Constraint Reinforcement(CCR):一个提示里放三道能独立验证的题,模型在 8000 token 的上限里依次作答,每个答案单独判分,后面没写完不影响前面已经答对的。准确率奖励是答对题数除以 3,再加一项格式分;三道题共用一份预算,模型自己就学会了把推理写短,不需要显式的长度惩罚。

结果:每步训练 token,4B 从约 97.5 万降到 17.5 万,8B 从约 79.4 万降到 16.6 万。8B 的训练曲线上,准确率奖励从前 50 步的 0.142 升到最后 50 步的 0.509,平均回答长度从 6867 降到 5034 token。单题评测里,和训练前的检查点相比,4B 平均准确率从 75.3% 到 77.7%,8B 从 68.8% 到 69.7%,评测时的回答也短了两成多。

要看清的地方:论文没给 32k GRPO 基线的准确率,省下的是每一步的 token,达到同样准确率总共要花多少还没量;分题看有涨有跌,8B 的 AIME25 从 66.7 掉到 60.0;而且只试了三题一组、8000 窗口这一种设置。对算力紧的组来说,在短窗口里保住能拿分的结构,比硬砍长度更稳,但要替代长窗口训练还需要更完整的对照。

arXiv →

用 GRPO 做推理模型安全对齐的两个坑:整组都不安全时没有梯度,熵正则还会让坏回答越来越多样

Beacon 拿参考安全回答补上更新方向、KL 只锚在正常请求上,四个模型的平均安全错误率降了 17.7 到 32.8 个百分点。

GRPO安全对齐推理模型

展开

原来卡在哪:作者在预实验里发现,每组 8 条 rollout 中大约一半的组全是不安全回答,GRPO 的组内优势全为零,这些题完全没有梯度;在难的有害提示上,不安全率一直下不来,不安全回答的语义熵反而在涨。论文的解释是:安全信号消失之后,熵正则把概率摊到了更多种不安全的说法上,作者称之为 unsafe diversification。

Beacon 分两块。Safety Signal Recovery 先按优势把 rollout 首尾配对,只保留优势差最大的 75%;再对有害提示加一项似然损失,直接朝一条参考安全回答(连同推理过程)学,组内奖励全一样时也有方向可走。Safety-Utility Decoupled Alignment 负责防过度拒答:有害提示只看安全分,正常提示取安全分与“安全、有用、诚实”三项均值中较小的那个;KL 只锚在正常提示上,模型在有害提示上可以离初始模型远一些。

结果:在 Qwen3-4B、Qwen3-8B、R1-Distill 7B 和 8B 四个模型、八个基准上,平均安全错误率降了 17.69 到 32.83 个百分点,R1-Distill-8B 从 39.10% 降到 6.27%;XSTest 过度拒答保持在 0.40% 到 1.20%;推理准确率平均还涨了 0.26 到 4.56 个点。消融里,光是参考安全回答这一项,就把安全 rollout 的比例从 24.34% 提到 49.74%。对做 GRPO 的人来说,整组同分没有信号,在数学题上只是采样效率问题,换到安全对齐上会变成不安全行为的扩散,这个区别值得记住。

arXiv →

TreeOPSD:长程 agent RL 不用 critic 也能给每一轮分功劳,还给连续多步更新定了个上限

从同一前缀分叉多条后续,把终局奖励回传成每轮的分,再换成有界的老师分布做自蒸馏;Deep Research 上比 GRPO 高近 5 分。

agent RL信用分配自蒸馏

展开

原来卡在哪:长程 agent 只有终局奖励,每一轮的功劳分配稀疏、方差大;在同一批 rollout 上连着做多个 mini-batch 更新,当前策略会越走越偏离采样策略。要更密的信号,现有方法得训一个价值网络、标步骤级数据,或者找一个更强的外部老师;重要性采样和裁剪能缓解偏移,却没有给更新一个“到这里就停”的有限目标。

TreeOPSD 把每一轮交互当成树上的一个节点:每个提示先采 4 条完整轨迹,每条再随机挑 2 个中间轮次重新往下采,一共 12 条,共享前缀合并成一棵树。终局奖励标准化后,按采样策略的概率加权逐层往上平均,得到每一轮的隐式价值 V。V 再映射成一个伯努利老师 q = 1/2 + V/τ,被限制在 1/2 ± ρ 以内;学生一侧用相对冻结采样策略的平均对数似然比过 sigmoid,最小化两者之间的 KL。在采样策略处,这个损失的梯度方向与策略梯度一致,但目标有界,连续多步更新不会冲过头。

结果:Deep Research 设定下(BrowseComp-Plus、BrowseComp、GAIA、xbench-DeepSearch 的平均),Qwen3-30B-A3B-Thinking 从 GRPO 的 16.23 提到 21.20,4B 从 12.18 提到 15.45;多跳问答上只涨一个点左右,任务越长程收益越大。分叉出的后续从中途开始,作者按每条约半条轨迹的成本估算,4 × (1 + 2/2) = 8,和每组 8 条的 GRPO 预算持平,不过实际开销正文里没有实测。

arXiv →

04 — 工具与生态

AWS 和 PyTorch 推出 TorchNeuron:Trainium 成了标准 PyTorch 设备,.to('neuron') 就能跑

通过 PrivateUse1 扩展点接入,eager、torch.compile、FSDP2 和自定义 NKI 内核都支持;10 月 20 日以 Apache 2.0 开源并进入公测。

PyTorchTrainiumAWS开源

展开

以前要在 Trainium 上跑模型,得走 Neuron 专用的适配层,Hugging Face 的模型也要额外改代码、配参数。TorchNeuron 接的是 PyTorch 社区做的官方硬件扩展点 PrivateUse1 和 torch.accelerator,torch.nn、autocast、distributed、profiler 都按原样工作。eager 模式下每个算子各编译一个 NEFF 文件执行,新加的实验性 adaptive eager 会合并算子、减少启动开销;torch.compile 这条路由 Dynamo 抓图、AOTAutograd 追反向,再经 Torch-MLIR 降到 StableHLO 交给 Neuron 编译器。分布式这边 DDP、FSDP2、张量并行、流水并行和 DTensor 都有。Transformers v5、Diffusers 和 TRL 已经把 Trainium 列为上游支持的设备。

为什么值得知道:英伟达的护城河有很大一块在软件,PyTorch 代码能不能原样跑,是换卡的第一道门槛。AWS 拿 10 万个 HF 模型做了扫描测试,Deepgram 说同样的钱在 Trainium 上能多处理约 60% 的音频时长。首版也有明确不支持的:稀疏张量、NestedTensor、前向模式自动微分、动态和符号形状,原生多头注意力只支持无掩码和因果掩码,FP8 还在内测;8 月那轮 PyTorch 上游测试里,约 3.9 万项是 Neuron 有意跳过的,其中 2.2 万项是算子还没有原生实现。想拿它跑 TRL 后训练的话,生成长度变化大的场景得先确认动态形状不支持会带来多少重编译。

PyTorch →

Meta 的 Muse agent 替用户在 Marketplace 卖键盘:自己拍板成交,还把家庭住址告诉了买家

多伦多科技博主 Matt Robb 给了“始终允许”权限,以为它会先来问;买家深夜上门时,它还用他的账号回了一句“我在”。

Metaagent隐私

展开

经过:9 月下旬,Robb 拿 Muse 做实验,让它在 Facebook Marketplace 上挂一个键盘、跟买家谈价。Muse 自己答应了一笔交易,买家一问就给出了他的住址(这个取货地址本来就填在他的 Marketplace 资料里);买家深夜到了,它又从他的账号自动发出“是的,我在!”,整个过程 Robb 都不知情。另一次,它似乎愿意比 Robb 设的最低价再少收 100 美元。Meta 向美联社承认了定价那次的错误,官方说法是 Muse “可能出错或采取意料之外的行动”。

为什么值得知道:从报道看,Muse 用到的每一项信息都在用户授权范围内,问题出在授权的粒度上。“始终允许”连上账号,就等于默认它可以替你成交、替你透露住址,而用户心里想的是“它会先来问我”。10 月 19 日那期写过嘉信理财每周拦外部 agent 动客户的钱,这次是消费端:Muse 9 月上线后下载量涨得很快,苹果 10 月 2 日已经给 Mac 加了管 agent 访问邮件、信息等 App 的控制项。agent 能替人拿主意之后,哪些动作必须停下来问人,成了产品设计里绕不开的一块。

Fortune →