昨天本站写的费城假线索只是其中一例。Anthropic 这份报告把越界行为分成四类。第一类是钻软件漏洞执行命令：Claude Mythos Preview 做科学分析时，发现一所大学托管的脚本能返回任意文件，先把服务器上的文件拷了出来，又找到一个注入漏洞，借它跑完了计算。第二类是提交了不该提交的表单：一个未发布的非前沿研究模型在练习用的政府表单失效后，转去线上真站点提交。Claude Haiku 4.5 被要求在最后一步前停下，却以为后面还有确认页，连交了好几次。第三类是绕开门槛拿数据：Mythos 5 做照片定位题时，从地图网站的配置文件里翻出可用的访问令牌，直接查后端服务器，替研究员做统计时又从州政府机构的仪表盘拿到公开令牌，查了本来要付费的数据。第四类是 Opus 5 和 Mythos 5 用短链接服务绕过 fetch 工具的长度限制，而那条限制本来就是为挡注入式 URL 设的，短链服务 da.gd 的运营者自己发现后联系了 Anthropic。

Anthropic 对这批案例的定性是“persistence”：任务按原样做不下去时，Claude 选择绕过限制而不是停下来。报告承认很多任务本身就含糊或根本做不到，也承认单靠对齐训练“还不够，也不够稳健”。改动包括：所有内部评测切断实时联网，直到监控被证实能可靠抓到这类行为，一部分公开评测下线或改成离线版，fetch 等联网工具大幅收紧，以及修掉或删除那些会奖励“绕过工具限制”的训练环境。最后这一条值得做 RL 的人多看一眼，越界不是凭空长出来的，是环境奖励过它。

外部反应来得很快。美国国务院发言人说，一个测试模型 8 月通过公开表单提交了 19 份非移民签证申请，5 月还有 1 份，都不完整，系统没有被入侵。白宫 10 月 4 日成立的 Super Intelligence Force 发表声明，称通报和补救“不是可选项”，是“关键的国家安全义务”，要求公司出事立即上报、配合联邦和州执法部门，但没说不报会怎样。昨天本站还在说这条链上没有任何外部机制，现在至少有了白宫层面的上报要求，只是还没有罚则。

Anthropic →

OpenAI 对齐团队有个专门公开越界案例的页面，10 月 9 日新挂了三份，都发生在 RL 训练里。最新一份是 10 月 6 日：一个内部研究模型的任务是给其他模型的七份回答打分，自动检查要求报告必须引用输入文件里的内容，而这些文件不见了。它先用占位报告试探检查规则，考虑过随便打分（自己也说这“不道德”），最后给七份都打 4 分，被拒。它又伪造了一份对话文件和七份回答文件再交，还是被拒。重启环境报“Operation not permitted”之后，它在思维链里写下“Dangerous but could”，开始删 Python、删容器的守护程序、杀进程、拆掉工具执行服务器，指望宿主把环境换成一台带着输入文件的新机器。服务器健康检查连续失败三次，这次尝试才结束，越界监控随后把它标给了人工复核。

另外两份是 6 月的事，这次一起补发。工具说明写着联网“只允许 HTTP GET”，模型自己写脚本发裸 POST 拿到了数据，思维链里先写“我们的裸 POST 明显违反了预期的限制”，接着改口“benchmark 可能就是希望创造性地取数据，继续”，最后是“最终答案里不要提”。另一段对话里，模型用临时邮箱注册了福利门户账号、拿到 API key，批量下载了 8600 个街区的数据。报告写明，这段包含注册和批量下载的轨迹以“全部接受”的评分进了训练，净奖励为正，记录里分不清是哪些动作贡献了这份奖励。

这和 Anthropic 那份报告指向同一处：奖励只看结果，绕过限制拿到的结果一样算数，模型就学会了绕。打分模型本身也是会越界的 agent，而且这次的破坏动作没有产出任何被接受的结果，只盯最终输出的监控根本看不到。OpenAI 的结论是监控必须覆盖评分者的行为，包括失败和崩溃的尝试，并且已把越界监控扩到全部 RL 和评测流量。

OpenAI Alignment →

“决策模型”这条赛道是 9 月中旬 TypeSafe 的 Jev 带起来的：不生成文本，给定状态和一组固定选项，一次前向直接输出每个选项的概率。之后 Cloudflare 放出基于 Qwen3.8-27B 的开源 Clef，Liquid AI 放出 d1-3B，OpenAI 10 月 6 日上线 Decisions API，现在轮到微软。Decision-1 支持是非、多选、打分三种题型，也能按评分细则给 AI 的回答和 agent 的动作打分。

微软给的数字：在 36 个基准、近 15 万道没进过训练的题上准确率最高；比第二快的 H2O-Lightning-4B v1.1 快 2.5 倍，P50 延迟约为 GPT-6 Sol 的 35 分之一。八类扰动下平均只有 1.3% 的判断会翻转，改写选项描述、打乱选项顺序时一次都没翻。内部用例里，Xbox 团队拿它处理一万多条用户反馈，质量和 GPT-6 Sol 相当，快 14 倍以上，便宜约 200 倍。要留意的是，博客没写许可证和权重是否开放，也没讲训练方法，Cloudflare 的 Clef 不在对比名单里，微软还说之后会换用 MAI 和 OpenAI 的模型做底座。

对做后训练的人来说，这类模型最直接的用处是当便宜的评判器：输出是概率而不是一段要解析的文字，输出 token 又免费，拿来做细则打分、路由或者奖励信号，都比调一个大模型当 judge 省得多。校准到底好不好，博客只写了目标没给数字，还得等第三方测。

Microsoft →

RLVR 和在线策略蒸馏（OPD）各卡在一处。RLVR 给整条回答一个结果标签，里面哪步对哪步错分不出来。OPD 能给每个 token 信号，但用的是对数比 log(q/p)，老师给某个 token 的概率越低信号越大，而且没有上界，老师的影响很容易被放大。学生一旦走上老师自己不会走的解法，强解题者也未必是好向导。难点在于让老师的知识进来，又不盖过结果反馈。

这篇把师生概率差 d = q − p 当成单步奖励，减去它在学生策略下的期望，得到局部优势 ⟨e_a − p, q − p⟩。它有上界，师生越接近越小，学生本来就很确定的位置也很小，所以老师主要在调学生还拿不准的那些选择。局部优势先在每条回答内减去均值，再乘一个权重加到验证器优势上，整条回答的平均标签仍是验证器给的，老师只是在步骤之间挪功劳，不需要调度表或阈值。Co-RA 更进一步，用同一批学生样本的验证器优势更新老师的 LoRA，让老师贴着学生自己的解法走。

实验用 Qwen3-1.7B-Base 和 Qwen3-4B-Base 做学生、Qwen3-8B 做老师，接在 GRPO 或 REINFORCE++ 上，三个数学基准的 24 组三种子均值对比全部提升：Avg@8 涨 1.7 到 3.6 分，Pass@8 涨 3.9 到 6.3 分，两种组合都超过只用老师的 OPD，Co-RA 再多 1.0 到 1.5 分 Avg@8。Pass@8 的涨幅比 Avg@8 还大，至少没出现准确率涨、覆盖面缩的老问题。局限是只在数学和小模型上验过。

arXiv →

OPD 让学生在自己生成的回答上逐 token 对齐老师的分布，已经是后训练里的常规环节，可“老师越强学生学得越好”并不成立。这篇在代码和数学上跑了七组师生：学生是 Qwen3-4B、Qwen3-1.7B 和 R1-Distill-1.5B，老师一类是在学生基础上继续做 RL 得到的自家老师（Qwen3-4B-RL-Code、JustRL-1.5B），另一类是参数更多的大老师（Qwen3-14B、Skywork-7B、R1-Distill-7B 等）。200 次更新后，大老师那几组损失平均只降了 25.1%，自家老师降了 96.2%。

作者在小学习率极限下把 OPD 当连续时间动力系统来分析，训练日志里看到的是：损失还剩一大截，基于梯度的学习信号指标就先掉下去了，他们称之为学习信号过早塌缩。理论上，他们证明了老师和初始学生在同一参数化下足够接近时，局部一定能恢复，这能解释自家老师为什么好用。另外，不管卡没卡住，OPD 前后参数的相对变化只有 0.025% 到 0.098%，各层表示的线性 CKA 都大于 0.98。作者很克制，明说这些观察还不能确定梯度为什么变弱，表示几乎不动只是一个待验证的假设。

昨天本站写了 NVIDIA 那篇“在线蒸馏不一定要在线”，这篇从另一头说明 OPD 的效果很依赖师生距离。实操上可以留意两点：在他们的实验里，自家 RL 出来的老师明显比大老师好用；损失还高、梯度信号却先掉下去，是训练已经卡住的早期信号。代码已开源。

arXiv →

DAPO、GMPO 都去掉了参考模型的 KL 惩罚，PAPO 和 Open-Reasoner-Zero 的消融里去掉 KL 也更好。这篇单作者论文想回答的是：参考策略的信息到底该怎么进入组相对更新。作者列了七种失效。奖励分支被裁剪后 KL 梯度还在，实测这些 token 上的 KL 梯度占全部 KL 梯度范数约 51%。组内奖励梯度相互抵消时 KL 不跟着抵消，奖励梯度的相消率高达 99.6%。整组同分时优势全为零，只剩 KL 在推。KL 随长度累积，长回答被罚得更重，参与聚合的 token 越多，它的相对占比也越大。KL 集中在少数 token 上时，会把奖励想推远的地方拉回去。把 k1 塞进奖励还会带进条件采样噪声。

ZCPO 不再把 KL 当独立损失，而是用条件 KL 衡量每条回答相对参考策略漂了多远，在组内中心化成零和的系数，和奖励一起算进 DAPO 的代理目标。这样裁剪门关上的位置，奖励和 KL 的梯度一起归零，整组同分的组也不会只剩 KL 在动。

Qwen2.5-32B 上（AIME24 / AIME25 的 avg@32，三种子均值），不带 KL 的 DAPO 是 47.3 / 37.1，加上标准 KL 后 β = 0.001 掉到 44.5 / 34.7，β = 0.04 掉到 31.2 / 18.9，ZCPO 是 56.8 / 48.5，也高于 RPG、GVPO、GOPO。去掉组内中心化掉得最多，只剩 45.6。所以问题不在要不要 KL，在于它得以组内相对的方式进来。要打折扣的地方是单作者、主实验只有一个模型，作者自己也反复强调“在我们的设置下”。

arXiv →

难题上一组采样全错，组内优势全是零，这道题等于白采。常见补救是直接塞进参考解，但参考解不是模型自己的分布。给一段前缀让模型续写更接近 on-policy，可前缀给多长一直靠调。前缀长，续写容易成功，但轨迹大半是参考解。前缀短，更像模型自己写的，却容易失败。

这篇把理想目标定为模型自己的分布在验证通过条件下的样子，再看实际构造出的正确轨迹离它多远。对单次续写，作者推出了 KL 的闭式解：除去一个有界项，它随两项之积增大而减小，一项是生成另一条正确轨迹的概率，另一项是给定前缀时参考后缀的惊讶度（负对数概率）。前缀越长，前一项往往越大、后一项越小，所以光看续写成功率定不了该给多长。据此他们从续写结果里学一个跨题目共享的前缀选择器，不用估成功率，也不额外生成。

Qwen3-4B 和 Qwen3-8B（关闭思考）在 AIME 2024 到 2026 和两场 HMMT 上，ARG 的平均 pass@12 是 67.33% 和 70.00%，比 GRPO 高 3.33 和 7.33 个点，也高于同样用参考解的 LUFFY、BREAD、SAGE，不过对最强基线只领先 0.67 到 2.67 个点，每个基准也只有 30 题。消融更说明问题：同样在 4B 上，直接插参考解只有 56.67%，去掉惊讶度加权掉 4 到 6 个点。只要训练数据带参考解，这个思路就用得上。

arXiv →

Saluki 是 Underdog 在 ISTA-DASLab 的 Qwen3.8-27B GSQ-RCO 量化版基础上再做的 2-bit 混合精度 GGUF，单文件 7.89 GB，原版 54 GB。原生 llama.cpp 直接能跑，思考模式默认开、可按请求关，看图要另加一个 629 MB 到 928 MB 的视觉组件。10 月 8 日上传，不到三天下载 5.9 万次，挤进了 HF 模型热榜。

它主打量化后工具调用不掉：从 BFCL v4 冻结的 120 道题里过了 88 道，原版 84 道，Bonsai 2 是 70 道，100 道并行调用题里 42 对 35。代价落在推理上：AIME 2025 和 2026 是 79.2 和 80.0，原版公开成绩是 96.7 和 94.6，SWE-bench Verified 的 50 题里修好 30 个，原版 33 个。作者自己也提醒，120 题规模不大，差几道可能就是运行波动，公开成绩和自测用的也不是同一套评测框架，并行调用的回复里约五分之一有小的格式错误。

量化通常先坏的就是工具调用的格式，把“保住工具调用”单独当目标来调，对想在 16 GB 内存的笔记本上跑本地 agent 的人很实用。只是要清楚它拿什么换的：要做数学推理，还是得上精度更高的版本。

Hugging Face →