先看数字。CNBC 给的口径是一季度 47 亿、二季度 116 亿、三季度 168 亿美元，三季度调整后盈利，这是连续第二个盈利季度。据《金融时报》，公司现金流为正，三季度每花 1 美元算力换回 1.70 美元收入；The Information 说截至三季度的全年调整后经营利润率约 11%，但不含股权激励这类大项。这些都来自一场私下投资者会议的转述，不是公司正式披露，各家报的二季度数字也差了一亿左右。

真正被盯着的是增速。二季度环比涨了 140% 多，主要靠 Claude Code 的需求；三季度只涨了 45%，The Decoder 提到夏季用量走淡可能是原因之一，公司也没给 9 月的年化收入和全年展望。估值预期随之分化：5 月一级市场估值 9650 亿美元，有投行喊出 2 万亿美元的 IPO 估值，但据报道一些投资者预计会下调到 1.5 万亿以下，通胀、借贷成本上升、民众对 AI 的负面情绪和持续几个月的价格战都是逆风。

还有一个细节值得记下：Anthropic 估计自家收入里有 5% 到 7% 来自蒸馏，也就是别的公司拿 Claude 的输出训练自己的模型，并告诉投资者这部分本季会下降，因为它正在主动封堵。本站 10 月 14 日写过它的反蒸馏分类器，这是第一次看到这套防御在账面上的代价。

The Decoder →

规格上，总参 816B、每个 token 激活 42B，上下文 1M，原生多模态，演示里能逐帧看视频。权重已经上了 Hugging Face（要手动申请），另有 NVFP4 版本；首日支持 SGLang、vLLM、TensorRT-LLM、Transformers、MLX、llama.cpp 和 Unsloth，Baseten、Fireworks、Groq、Together、OpenRouter 等都上了 API，微调走 PyTorch 的 TorchTitan。Meta 还专门做了本地方案：两台 M5 Ultra Mac Studio 用 MLX 串起来，相当于一台约 1TB 统一内存的机器。

成绩是 Meta 自报的。它在 JobBench、MCP-Atlas、HLE-Diamond、ZeroBench 等几项上明显领先 Qwen 3.8、GLM 5.3 和 Kimi K3，agent、知识推理、多模态三类都排前，但写代码落后部分对手，也明显不如 Meta 自家收费的 Muse Wonder Full（本站 10 月 13 日写过）。官方博客正文没有列具体分数，完整评测报告说是“即将发布”。

为什么值得知道：开放权重的第一梯队这一年多基本被 Qwen、GLM、Kimi 这几家中国模型占着，这是 Meta 在 Llama 之后第一次换新品牌正面回到这场竞争。许可证不是 Apache 那类：用了要标注“Built with Muse Spark Open”，年收入超过 2000 万美元的厂商想拿它对外卖 API，得另外跟 Meta 签协议。816B 的体量也意味着，想在它上面做后训练研究的，基本还是有大集群的机构。

Meta AI →

这是一个混合架构的 MoE，带 Mamba 状态和注意力缓存，总参 120B、每 token 激活 12B，吃文本、图像、文档和视频。CharXiv 图表理解 80.8%，允许跑 Python 时 84%；Hermes Bench 63.44，高于 Ultra 的 56.33。放在全局看还差得远：Artificial Analysis 智能指数 26 分，领先 Nemotron 3 Ultra，离 Claude Opus 5.5 的 58 分还有一大截。

后训练这部分写得比较细。从 Ultra 蒸馏时用了一个叫 SkewReverse 的损失来保住写代码的准确率；多教师在线策略蒸馏（MOPD）把文本和视觉两类专科老师合到一个学生里；之后是两段式 SFT，再加强化学习，据 The Decoder 的报道一共用了约 100 个开放训练环境、约 400 万条样本。开放出来的东西很全：base、后训练、NVFP4 三种 checkpoint，工具调用、金融、指令遵循、长上下文和 40 个视觉语言数据集，外加 RL 环境本身。昨天写的 Liquid LFM2.5 也有 MOPD 这一段，多教师在线蒸馏正在变成开放模型后训练的常规工序。

部署上主打省。NVFP4 下整个模型在 Blackwell 上以 4 bit 运行，敏感的部分保留更高精度，压缩版还专门训练去对齐原模型的输出；模型自带草稿模块做投机解码，DGX Spark 上配 LiLiCorr 最多快 2.3 倍；16 块 B200 配 Dynamo，同时服务的用户数是原来的 8 倍，首 token 延迟降 85%。同一天还发了 Bolt 74B-A9B，用 2 bit 量化塞进 24GB 显存。

NVIDIA Technical Blog →

能力上，它支持原生 4K、像素级精确编辑，还能用框指定元素的位置，或者把编辑限制在某一块区域里。API 上的蒸馏版另带提示词扩写和“像素还原”，保证没被编辑的地方一个像素都不动。

体量和速度：BF16 权重 11.2GB，FP8 是 5.6GB；INT8 版能在 8GB 显存的 RTX 卡上跑，蒸馏版加 INT8 生成一张 1MP 图，RTX 5090 约 4 秒，RTX 4070 不到 9 秒，GB300 上用 NVFP4 不到 0.6 秒。放出来的有可微调的 base、步数蒸馏版，以及 FP8、INT8、NVFP4 几种格式，第一天就能用 Ostris AI Toolkit 和 NeMo AutoModel 训 LoRA。

成绩来自 BFL 自己的评测：开放模型里文生图、多参考生成、编辑三项都排第一，文生图比 FLUX.2 [klein] 9B 高 91 Elo，编辑高 70，还胜过闭源的 Ideogram V4.5 和自家 FLUX.2 [pro]，对比对象里有 Qwen-Image 2.1（7B）和 Krea 2（12.9B）。许可是 FLUX Kommunity License，个人和年收入 500 万美元以下的公司可以免费商用，大公司要买自托管许可或者走 API。相比本站 10 月 10 日写过、许可仍限研究用途的 Qwen-Image-2.1-Turbo，这一条对小团队友好得多。

Black Forest Labs →

原来卡在哪：这几周 arXiv 上自蒸馏、在线策略蒸馏的新方法一篇接一篇，本站也写了不少，但各家常常直接搬别人论文里的基线分数，实验条件对不上，同期方法之间几乎没有正面比过，训练稳不稳、花了多少算力也很少报。方法越来越多，到底哪一个真的有用，反而说不清。

这篇的做法很朴素：ALFWorld（140 局）、ScienceWorld（200 题）、Search-QA（3125 题）、WebShop（128 个目标）四个环境，Qwen3.5 的 2B、4B、9B 三个尺寸，每次训 100 步、每 5 步验证一次，最终评估跑 8 个 rollout 种子。参与比较的有 GRPO+OPSD、SDAR、Skill-SD、RLSD、OCSD、AgentOPSD 等十种，总共 132 次训练，记录在案的 H800 卡时 12124.4。

结论三条。第一，十二个设置里没有哪种方法处处赢 GRPO，排名随环境和尺寸来回换。第二，最终分数好看不代表训练稳：4B ALFWorld 上 AgentOPSD 中途大跌再爬回来，GRPO+OPSD 崩了之后再没起来，OCSD 把前面的涨幅吐回去一部分。第三，多付出老师那一份算力，并不稳定地换来更好的结果。和昨天那篇质疑 SDPO、OPSD 是否真用上参考答案的论文放在一起看，自蒸馏这条线正在从“出新方法”进入“回头核账”的阶段。作者的建议也实在：看完整训练曲线，在同一条件下比，别只看最后那个数。

arXiv →

原来卡在哪：GRPO 靠同一道题采好几条回答互相比较来造优势，一组全对或全错时优势全是零，这道题等于白采。作者统计，4B 数学训练里 902 个奖励组有 430 个（47.7%）是同质的；ALFWorld 上 GRPO 的梯度范数记录，4B 有 43.2%、8B 有 49.0% 是零。分组本身也贵，每题要采 8 条。

做法：每题只采 1 条。生成完之后，用生成时那个策略快照把轨迹再打两遍分，一遍只给因果前文，一遍额外给它“事后上下文”，也就是这条轨迹实际走出来的后续和验证器反馈，不额外采样。每个 token 位置上两个分布的归一化 JS 散度当权重：知道结局之后看法变得越多的 token，分到的功劳越多。奖励不再跟组内平均比，而是减去一个历史基线，所以失败的轨迹也能拿到负的功劳，不需要同一题里先有一条成功的。全程不要参考答案，不学 critic，事后上下文只在训练时用。

结果：Qwen3-8B、同样的 100 步，rollout 数只有 GRPO 的八分之一，训练在数学、代码、ALFWorld 上分别快 1.21、1.46、2.30 倍。准确率互有胜负，数学三个尺寸都是 HP-RLVR 领先，代码和 ALFWorld 是 GRPO 领先，而 HP-RLVR 一条零梯度记录都没有。所以它更像一个“一条顶八条”的省算力方案，不是精度更高的替代品；全错组扎堆的难题和长程 agent 任务，才是它最对口的地方。

arXiv →

原来卡在哪：RLVR 基本都照搬 AdamW 和 β1=0.9 这个默认值。今年 Mukherjee 等人的实验发现 SGD 能追平甚至超过 AdamW，动量看不出稳定的好处，“RL 里动量没用”慢慢成了一种说法，但没人解释为什么。

这篇把 RLVR 抽象成带 KL 正则的多臂老虎机，分析带偏差校正的 EMA 动量。梯度精确时，在不会冲过头的范围内调大 β，严格加速优化。梯度靠采样估计时，固定 β 带来的期望收益只和学习率 η 同阶，跟采样噪声一个量级，单次实验里根本分不出来，这正好解释了之前的实验为什么看不出差别。要让收益不随 η 变小而消失，β 得跟着调大，把 η/(1−β) 保持在常数量级，同时别越过防止过冲的上界。

实验用的是 verl、DAPO-17k、每题 8 条回答的 GRPO 设置。Qwen3-4B-Base 上，AdamW 学习率 1e-6 时把 β1 从 0.9 提到 0.999999，验证集明显好于 0.9 和不用动量；学习率减半再配大 β，训练更稳，分数持平或略高。换到 Qwen2.5-32B，只改 β1，三个种子平均的验证准确率高了将近 2 个点。这是一个几乎不花成本的旋钮，手上有 GRPO 配置的，值得拿自己的任务试一次。

arXiv →

题目覆盖 11 个子领域，都是有可验证答案的计算题，把已知方法套到稍微改过的问题上，刻意不收大的开放问题。作者估计，顶尖专家不借助 AI 一天之内能做完一道，相邻方向的专家要久得多。每个 agent 跑两遍，一遍能联网查文献，一遍断网。

成绩：GPT-6-Astra（Codex）49 道，总花费不到 116 美元；Claude Opus 5.5（Claude Code）92%；Gemini 3.8 Flash 68%；开放权重的 DeepSeek-V4.1-Flash 54%、GLM 5.3 42%。断网后 Astra 和 Opus 都是 92%，作者认为模型已经把物理文献记得差不多了。几道“错题”其实是答案写错了，改正后 Astra 全对。有一道题难住了所有模型：给定一条曲线，求能生成它的微分方程。Gemini 和 GLM 还把一篇五维论文里的公式搬进了四维问题，这种错专家一眼就能看出来。

为什么值得知道：作者的结论不是“AI 能独立做物理研究了”，而是具体计算这一环已经基本可以交给 agent，缺的是挑题的品味，卡住时找不到有前途的相邻问题。他们也提到，这批题里有一些已经不适合拿来给刚入门的研究生练手，而更难的题成本会陡增，可能偏向经费充足的课题组。对做 RLVR 的人，这也是可验证奖励往科研级题目延伸的一份现成样本，数据集已经放在 Hugging Face 上。

The Decoder →

他的原话是：“那是真实的风险。前沿模型出来的时候，我们很多人坐下来商量，怎么尽快过这一关。”二季度加的 1000 名外包至今还在，叠加原本这块的 3000 人。三季度花在软件修补和反洗钱合规上的钱合计“几亿美元多”，没有单列补漏的开销。采访当天美国银行股价盘中一度跌了 8%。

为什么值得知道：这是美国大公司第一次具体说出，为了防 Mythos 这类模型花了多少人、多少钱。Mythos 4 月只通过 Project Glasswing 发给少数银行、科技公司和政府机构，Anthropic 说它找到了数千个严重漏洞。模型挖洞的速度上来以后，瓶颈落到了修洞那一头，而修洞到现在还是靠人一行行改。

莫伊尼汉也强调这是阶段性的：“补过一遍，后面就不用补那么多了”，预计修补成本会逐步下降。同一场采访里的另一面是，行内约 130 个 AI 项目带来的节省，预计从今年的 3 亿美元涨到 2027 年的 7 亿；过去一年员工少了约 3400 人，裁掉约 5% 的管理者，其中多少跟 AI 有关没有说。他还补了一句：“写软件的人，正是想卖服务给我们的人。”

CNBC →

作者自报的成绩：210 篇英文草稿改写后，Originality.ai 最严格的档位只把 11 篇判成 AI（上一版是 26 篇），训练里没用任何 AI 检测器；一个严格的 LLM 事实评委查了 420 篇英文改写，376 篇没有事实问题，出了问题的九成以上只差一个词或一个短语。作者自己也提醒，发出去之前读一遍，尤其是数字、日期和名字。许可证 Apache 2.0，目前在 HF 热榜第二。

技术上更值得看的是量化。一般的 GGUF 是 llama-quantize 跑一遍，把所有权重压到同一种精度。这里先量每个权重张量被压缩后对模型伤多少，敏感的多给比特、耐压的少给，再逐层做量化感知训练去复现全精度模型，最后拿 bf16 模型当老师，在中英文改写数据上蒸馏。2 bit 文件和 bf16 选出同一个下一 token 的比例，标准做法是 70%，这三步依次提到 81%、85%、87%，产出的仍然是普通 GGUF，新版 llama.cpp 都能直接跑。

为什么值得知道：一是“去 AI 腔”现在有了能离线跑、8GB 内存机器也装得下的专用小模型；二是对靠 AI 检测器把关的学校和平台，这又多了一个例子，说明检测分数不能单独当证据。那套按张量敏感度分配比特、再蒸馏回全精度的量化流程，也可以搬到别的小模型上用。

Hugging Face →