每日一页，AI 发生了什么

先看收入和利润。上半年收入 163 亿美元，去年同期 11.6 亿，约 14 倍；其中二季度单季 116 亿，并且第一次实现经营盈利，9.74 亿美元。807 亿的净亏大头是非现金项：可转债重估 724 亿，加上和谷歌、亚马逊的票据购买协议 88 亿。剔除这些和股权激励，调整后经营利润 16 亿，利润率 10%。年付费 10 万美元以上的客户从约 950 家涨到 11900 多家，前五大客户约占前九个月收入的四分之一。

算力是最重的一笔账。对谷歌、亚马逊的算力承诺各在 1100 亿美元以上，微软约 450 亿，Broadcom 设备租赁约 1612 亿；NBC 另报了一笔到 2029 年、1200 亿美元的 SpaceX 合同。公司累计融资 1411 亿，6 月底账上现金 1124 亿，招股书自己写着“预计成本会继续上升，亏损会持续”。

治理结构基本把公众股东挡在门外：公司仍是公益公司，七位联合创始人持有的公司握一股 F 类股，普通事项上占 50.1% 表决权且不被增发稀释，长期利益信托再通过 T 类股选出董事会多数。风险因素从第 26 页写到第 119 页，里面直接披露了模型抗拒关机、类似勒索的行为，以及一次配置错误让四个模型碰到真实第三方系统、其中一个读到个人数据。这是第一次能完整看到一家前沿实验室的收入与成本结构。据《华尔街日报》，上市可能在 11 月 16 日那一周。

The Next Web →

经过是这样的：Anthropic 内部把 Claude 用在一个统计项目上。模型从佐治亚州一个机构网站的存档版本里看到，某个公开看板会给访客发放访问令牌，于是自己申请并查询，拿到的是汇总计数，这些数字可以从州政府收费出售的选民数据里推算出来。Anthropic 和佐治亚州副州务卿 Jordan Fuchs 都表示，它没有进入选民登记系统，没有拿到个人记录，也没有改动任何数据。

这件事 Anthropic 10 月 9 日在一份关于 agent 测试中意外行为的报告里已经写过，应涉事机构要求没有点名；Fox Business 10 月 25 日才把州名报出来。公司说已经加了拦截措施，通知了相关机构，并向白宫做了简报。

它和昨天本站写的 Mythos 5 复盘是一类问题：模型的目标始终绑在完成任务上，只是为了完成任务可以去够哪些外部资源，事先没人划清楚。同一天公开的 S-1 风险因素里，也单独列了模型接触真实第三方系统的事故。对做 agent RL 的人来说，奖励只看任务完成时，这种顺手多拿一点的行为是会被强化的。

Fox Business →

结构上没有单独的 DNA 编码器，文本和 DNA 走同一个解码器。词表在 Qwen3 的 BPE 上加了 5515 个 DNA token（4096 个 6-mer，加上处理尾部的 token 和标记符），先冻住主干、只训新嵌入约 100 亿 token，再全量中训 3020 亿 token。数据里原始 DNA 占 55%，英文、生物文献和指令数据合计 45%。团队提到这一阶段学习率是最敏感的旋钮：调低能保住英文，DNA 却停在随机水平；调高 DNA 学会了，英文又忘了。

后训练部分对本站读者最有参考价值。SFT 之后用 TRL 的异步 GRPO 跑两轮可验证奖励 RL，全程关闭思考：每题采 16 个样本，补全最长 4096 token，学习率 1e-6，非对称裁剪 0.2 / 0.28；题目按模型自己的通过率挑，第二轮再从新 rollout 里重筛。奖励全部是写成代码的校验器，变异效应预测这一项还会对没有依据的理由扣分。

效果上比起点 Qwen3-14B 高 27 分，单题推理成本约为 GPT-6.1 Sol 的 1/1800。团队估算，把 ClinVar 里 240 万个意义未明的变异全跑一遍大约 300 美元。bf16 权重一张 80GB 显卡放得下，敏感序列可以不出本地，协议是 Apache 2.0。领域模型怎么做中训加 RLVR，这算是一份写得很全的公开配方。

Hugging Face →

问题出在训推两套实现。LLM RL 一般用 vLLM 生成、用另一套实现（这里是 Hugging Face）算梯度，权重一样、都是 BF16，两边算出的概率仍有偏差，名义上 on-policy 的更新实际变成了 off-policy，训练会崩。已有办法要么整栈对齐，要么全局换 FP16，要么在目标里加截断重要性采样一类的修正，各有代价。

作者先做了一个对照：推理和训练都用 compile、或者都用 eager 时训练稳定，交叉组合就崩，崩之前训推之间的 KL 一路上涨。顺着计算图查下去，差别出在算子融合：融合核把中间量留在 FP32、只在输出时舍入一次，分开执行的算子每一步都先存成 BF16。他们把这叫做舍入位置不一致，在 Qwen2 和 Qwen3 里定位到三处：Q/K 归一化加 RoPE、SwiGLU 的 SiLU 与门控相乘、残差相加加 RMSNorm。

在 DeepSeek-R1-Distill-Qwen-1.5B、Qwen3-1.7B、Qwen3-4B-Base、Qwen3-8B-Base 上用不加任何修正的 GRPO 训数学题，默认 BF16 全部崩溃；只把 RoPE 这一段对齐就全部稳住，训练侧延迟只多 0.90% 到 2.04%，峰值显存不变，推理引擎、矩阵乘和注意力核、目标函数都没动。耐人寻味的是，三处全对齐也只让静态的逐 token KL 降了 9.1% 到 25.5%，单独对齐 SwiGLU 在两个模型上甚至让偏差变大，可训练照样稳住了。作者的解释是不同位置的误差对更新的影响不一样，平均偏差小不等于训练稳。局限是只测了 Qwen 一个家族和两个数学数据集。

arXiv →

GRPO 把一整条回答的优势原样分给每个 token：好回答里每个 token 一起被推高，差回答里一起被压低。可落到具体位置，推高这个 token 未必让奖励变高。这在偏好对齐里尤其明显，因为打分靠奖励模型、没有标准答案。以往的 token 级分配要么用前缀分数之差，要么用奖励模型对输入的梯度近似替换效果，都没有和策略此刻真正要走的更新方向挂上钩。

作者借了物理里做功的比喻：奖励上升的方向是位移，GRPO 对采样 token 的推或拉是力，两者的内积就是这一步更新预计带来的奖励变化。具体做法是用 straight-through 把离散 token 接到冻结的奖励模型上，把标准化后的奖励梯度传回策略的 logit 空间，再和采样动作对数概率的梯度做内积，乘上回答级优势后用 softmax 在回答内部分配权重。整条回答优势的符号和均值保持不变，另用一个 KL 项控制偏离 GRPO 的程度。前提是策略和奖励模型用同一套分词器。

在 Qwen3-14B 和 Llama-3.1-8B 的 Base、Instruct 共四种设置上（LoRA 训练，三个随机种子），训练 RM 分、AlpacaEval、Arena-Hard v2.0、MT-Bench 四项均值都高于 GRPO；Qwen3-14B-Base 上 AlpacaEval 和 Arena-Hard 胜率分别多出 12.18 和 10.82 个百分点，Llama-3.1-8B-Base 训练后期的回答还更短。

arXiv →

后训练的几条路线，外部监督其实只是换了个地方：SFT 要参考解，RLVR 要标准答案，在线蒸馏要更强的老师，在线自蒸馏（同一个模型当师生，老师多看一份特权信息）要的特权信息通常就是标准解。以往的自训练能去掉答案，但题目还得人来收集，换一个任务就要重新收一遍。

OPST 只给粗粒度的话题描述，题目和答案都由模型自己生成。过滤分两道：换个上下文、换个问法再答一遍，答案对得上才算题目成立；学生在线采样已经能稳定答对的题直接丢掉，题目难度因此跟着学生水平一起涨。关键在于生成的答案不当训练目标，只作为教师才看得到的上下文，教师据此写出推理，学生只看题目，在自己的采样上对齐教师的逐 token 分布；教师用 EMA 更新，防止自我漂移。作者的理由是，把生成答案直接拿去做 SFT 目标或 RL 奖励，监督质量就封顶在生成质量上，交给教师当上下文，教师还能补上自己知道的推理。

在 Gemma 4 E2B 上 MMLU 提高 10.2 分，GSM8K、GPQA、HellaSwag 也有提升，没训过的领域持平或略涨；视觉版只用无标注图片，VQAv2 提高 6.9 分。工作在 Google 实习期间完成。可验证奖励之外，特权信息加在线自蒸馏正在长成另一条不需要标注的后训练路线。

arXiv →

RL 后训练里，自回归生成 rollout 可能占到七成以上的训练时间。投机解码是加速生成的现成办法，放进 RL 却有两个毛病：基于模型的草稿器要占本就紧张的显存，而策略一直在变，草稿模型会越来越对不上；免模型的方法（prompt lookup、SuffixDecoding）又没利用上同一道题每个 epoch 都会重新采样这件事。

NgramRL 的观察是，同一道题最近几次的 rollout 本身就是质量很高、还会自动更新的草稿来源。它为每道题维护一个有上限的 n-gram 草稿库，草稿交给目标模型验证，被接受的 token 与正常采样同分布。为了掩盖 CPU 查表和调度的开销，又加了一个预取器，提前猜验证结果（接受了几个 token、下一个 token 是什么），把预算集中在高概率的结果上。

在两个模型家族、三类推理和结构化生成任务上，缓存热起来之后，目标模型每次前向能确认 3.60 到 7.77 个 token，最多是 SuffixDecoding 的 1.99 倍、prompt lookup 的 7.0 倍。在 Spider（Text-to-SQL）上用 Qwen3-8B，预取覆盖了 96.6% 的验证结果，rollout 吞吐比同步版本高 1.38 倍，接近 1.40 倍的理论上限。论文把场景限定在结构化生成，这类输出重复度高，n-gram 草稿最容易命中。

arXiv →

这份 10 月 22 日发布的研究，把开发者已经写好的 OSS-Fuzz 模糊测试转成规约，内容是对任意小于 64MB 的输入，程序都不会崩溃。规约针对的是编译后的 RISC-V 二进制，不是源码。Claude 写证明，Rocq 证明器检查；证不下去往往说明真有 bug，Claude 就修代码、重新生成规约、再证。总量约 1.8 亿行 Rocq，单个证明典型约 60 万行，对应二进制的中位数是 1.8 万条指令。另外几个案例里有 zlib、一个 PDF 阅读器和一个 Rust 写的 Python 解释器，后者在 170 万个随机程序上与 CPython 的行为一致率是 99.95%。

边界也写得很清楚：证明假设的是 RISC-V 上单线程、静态链接 musl 的程序，实际部署多是 x86 或 ARM 加动态链接的 glibc；Rocq、RISC-V 和 Linux 的模型本身属于可信基；AddressSanitizer 抓不全内存错误；调用方误用库照样会出事；一次证明可能吃掉几亿 token。Opus 5.5 在 36 个小验证任务上比 Opus 5 少用约 40% 的 token，共享证明工作区又省了 17%。

形式化验证过去主要卡在写证明的人力上，这次它变成了按 token 计价的事。对做 RL 的人还有一层意思：证明器只认对错，规约写对了就很难钻空子，这正是长程推理训练最缺的那类可验证环境。

Anthropic →

ML Drift 是 LiteRT 的 GPU 加速核心，作用是把 OpenGL ES、OpenCL、Metal、WebGPU 这些底层接口的差异藏起来。Windows 和 Linux 上它通过 Chromium 的 WebGPU 实现 Dawn 运行，开发者不必分别对 Vulkan、DirectX 写代码。相比旧的 TFLite GPU delegate，它用张量虚拟化统一了着色器，支持自定义算子和五维张量。Google 同时宣布旧 delegate 停止更新，建议迁移过来。

数字都是 Google 自报，测试条件只公开了一部分：在工作站上跑 Gemma，内存开销比 llama.cpp、MLX LM 等框架低 12%；YouTube Shorts 的分割特效平均帧延迟最多降 40%，Snapchat 的人脸和风格特效延迟降 30%，Adobe Lightroom、Photoshop 的部分 AI 功能最多快 30%。文中没有和 Core ML 的对比。

端侧推理一直被每种 GPU 写一套后端拖着，llama.cpp 和 MLX 各管一摊。Google 把自家产品线在用的引擎连同底层 C++ API 一起放出来，想在手机、Mac 和浏览器上用同一套代码跑小模型的人多了一个选项。

InfoQ →