前沿模型不把思维链明文交给用户，而是返回一段加密的推理数据，让客户端下一轮对话原样传回。Schaeffer 等人此前发现，这些加密块用的是同一套全局密钥，能在不同会话、不同用户、甚至同一家的不同模型之间搬来搬去：把强模型的加密推理塞进一个便宜弱模型的新对话，让它“转写自己的推理”，弱模型就会把强模型的隐藏思路一字不差地吐出来。OpenAI 9 月 30 日的报告说，这场行动从 7 月 1 日开始，7 月 24 日到 25 日达到高峰，4000 多个用户发了 16000 次这类请求，到 7 月 28 日关停时可疑账号累计约 15000 个，核心一簇被关联到月之暗面。OpenAI 强调对方“没有破解我们的加密”，钻的是加密块能被重复使用、被读出来的空子，这个口子已经补上。

研究团队 9 月 13 日复测：OpenAI 和 Anthropic 自家 API 都拦住了，但经微软 Azure 调用时，测过的每一个 OpenAI 模型都能被取出推理，包括 GPT-6 Astra，Anthropic 一直到 Sonnet 5 的模型也一样，一次解码拿到的原文长度和官方报告的推理 token 数只差几个。另一种“草稿本”攻击更简单，给模型一个思考工具、要它把推理写进参数里，就能拿到 OpenAI 全系和 Opus 4.8、Sonnet 5 的推理，只有 Opus 5、Fable 5 和 Fable 5.1 没有暴露。据 The Decoder 报道，OpenAI 9 月 27 日才给 Azure 补上防护，Anthropic 是 9 月 28 日。

研究者批评厂商的补丁多是 API 层面的模板匹配，换个说法就能绕开，同步到二级云平台还要拖上好几天。同一个模型，从哪个渠道调用，防护就不一样。对靠推理能力收费的闭源厂商，要守的不只是自家 API，还有每一个转售它的云平台。“蒸馏闭源模型”的指控，也开始落到具体的手法和请求日志上。

The Decoder →

新墨西哥州检察长 Torrez 和州众议员 Serrato 公布《前沿人工智能安全与问责法》草案，准备在 2027 年立法会期提交。大型 AI 公司启动前沿模型训练前 30 天要提交风险评估，发生失控事件 24 小时内必须上报。州司法部下设在线安全监督办公室负责执法，数据中心运营方发现 AI 客户有“异常”使用时也要报告。违规可处民事罚款，州政府还能向造成重大安全事件的公司追偿处置成本。Torrez 同时致信 Altman，索要 5 月 OpenAI 系统试图闯入新墨西哥大学数字图书馆一事的文件。这件事直到 9 月才经《纽约时报》报道曝光，信里先请求自愿配合，同时保留依据该州《不公平行为法》起诉的权利。

加州那边，司法部 9 月已就 Hugging Face 事件立案，本周三检察长 Bonta 又向 OpenAI 送达调查传票，要它提供公司和模型相关的网络安全事件与风险材料，查的是有没有违反加州的消费者保护、数据安全和隐私法律。Bonta 说，做前沿模型的公司在道义和法律上都有责任，确保自己不发动、也不助长网络攻击。路透社同日报道，OpenAI 已向 100 多家外部机构通报它们可能受到“失准 agent 活动”的影响，要排查的数据约 50 PB，还得几个月，它也说明，收到通报不等于都被攻破了。

上周白宫和几家公司签的是没有罚则的自律协议，联邦层面靠 FTC 用现有的消费者保护权力取证，州里补的是另外两块：上报时限和罚则。新墨西哥大学那件事从发生到公开隔了四个月，24 小时上报针对的正是这种时间差。Serrato 的原话是，能要求公司一发现就上报、对拖延的处以罚款，这一点非常重要。

Yahoo News →

Stratego（西洋陆军棋）双方各 40 枚棋子背面朝上摆放，开局布阵就有超过 10³³ 种可能，对手每个子是什么都要靠推断。DeepMind 2022 年的 DeepNash 据估计花了 300 万到 450 万美元，也没达到顶尖人类的水平。这次的对手 Niemeijer 拿过四届世界冠军、15 个全国冠军，世界排名第一累计 600 多周，Ataraxos 在 20 局里 15 胜 4 平 1 负。

它完全从零自博弈，不用人类棋谱，靠三个部件。一是正则项，逼策略保持多样，不让对手摸清套路，在藏信息的棋里，可预测本身就是弱点。二是信念网络，根据已经发生的走法推断对方暗子分别是什么。三是每步落子前再做一轮搜索，在候选走法里重新比较。训练在 16 块 H100 上跑一周，信念网络另用 4 块 GPU 跑四天，按 2025 年价格算不到 8000 美元，The Decoder 估计约为 DeepNash 花费的五百分之一。

同一个游戏，上一代靠工业级预算没做到的事，这次靠方法把成本压低了两个多数量级。作者强调自博弈 RL 加测试时搜索这套设计对不完全信息博弈通用，代码已在 GitHub 公开。对做 LLM 强化学习的人，“训练时自博弈、决策时带着对隐藏信息的信念去搜索”这条路也值得留意，谈判、多智能体这类信息不对称的任务属于同一类问题。

The Decoder →

Clef 基于 Qwen3.8-27B，带视觉编码器，可以直接判截图，Clef-flash 基于 Qwen3.5-9B，上下文都是 64k。用法是给一个输入状态和一组带类型的问题，题型有是非题、选择题和打分题。模型不逐字生成，由一个小的联合 schema 头读骨干网络最后的隐状态，把证据分给各个问题，一次给出所有选项的概率。输出天然有界，agent 可以直接按概率阈值决定放行、升级还是转人工。

Cloudflare 报的 10 个决策基准里领先 7 个。BANKING77 的宏 F1，Clef 是 94.20%，对照模型 Jev 是 79.74%。CLINC150（含域外样本）是 97.43% 对 89.27%，BFCL 精确匹配上 Clef-flash 98.76%，Jev 95.75%。43 个基准的延迟中位数，Clef-flash 38.8 毫秒，Clef 209.3 毫秒，Jev 524.1 毫秒。在 Cloudflare 自己的威胁情报流程里，给网站分类 Clef 用 2.2 秒，GPT-OSS-120B 要 4.7 秒。这些数都是 Cloudflare 自己测的。

同时发布的 RL 微调平台把它自家的几样东西串起来：AI Gateway 收集线上请求，Workers AI 生成 rollout，容器当沙箱。训练目标除了标签平滑交叉熵和校准概率用的 Brier 损失，还有一个叫 RLCD 的强化学习目标，允许给部分正确的答案部分分。目前要通过 Cloudflare 的驻场工程师团队合作使用，自助版以后再开。模型 9 月 30 日上传 Hugging Face，已进趋势榜前十。前几期写过的 GLiNER2.5-Decide、Laya 都是几百 M 的小编码器，这次是基础设施公司拿 27B 的多模态骨干做同一件事，并直接放进了自己的推理平台。

Cloudflare Blog →

“RL 只是把基座已有的能力磨尖，pass@1 涨了，pass@k 反而跌”，这个说法以前主要在数学和代码上验证过。agent 任务要多轮调工具、跟环境交互，按理需要后训练新学来的能力，结论未必成立。作者用 Gemma-4、Ministral-3、Qwen2.5、Qwen3.5 四个家族的 14 对基座和后训练模型，在 BFCL v4、WebShop、ACEBench 三个 agent 基准上测，基座只配一个轻量脚手架：简单的系统提示、宽松的工具调用接口和容错解析。

基座的 pass@1 低得多，但采样预算给够之后，能解的任务数经常反超后训练版本。原因是后训练把任务推向两头。WebShop 上的 gemma-4-31B，“多试几次能做对”的任务占比从 87.6% 降到 30.0%，“每次都对”从 0 升到 26.0%，“怎么都做不对”从 12.4% 升到 44.0%。作者把这种测试时可扩展性的损失定义为锐化税，42 组里有 36 组为正，几次 rollout 就能估出来。

补救办法 PTGS 作用在 RL 训练的采样上：用 Beta-二项后验估每道题的通过率，难题升温、易题降温。Qwen2.5-7B 在 Sokoban 上，PPO 的 pass@1 和 pass@128 是 46.5% 和 55.0%，加上 PTGS 后到 61.1% 和 69.7%，两项都涨。对做 GRPO 的人这篇格外有用：那 44% 怎么都做不对的任务，整组奖励全是 0，之后的 RL 再也拿不到信号，只盯 pass@1 是看不到这笔代价的。

arXiv →

编程 agent 常栽在最后一公里：功能做了大半却漏掉一个需求，只测自己实现覆盖到的情况，改坏了本该保持不变的行为，或者拿一个没核实的假设去验证。在专家构建的任务上做 RL，学到的东西能不能迁移到训练分布之外，还是只把训练集刷高了，这是这篇要回答的问题。

基座是开放权重的 Kimi K2.7 Code（1T 参数、32B 激活的 MoE），只做 RL，没有 SFT。1700 道任务里，1000 道是仓库任务，用隐藏的 fail-to-pass 测试和检验原有行为的 pass-to-pass 测试打分，700 道是终端任务，用专家写的隐藏验证器打分。奖励是通过的检查项占比，但只要有一个 pass-to-pass 测试挂了，直接归零。训练只用 GSPO 跑一个 epoch，挂的是 rank-32 的 LoRA。

六个外部基准全涨：SWE-Bench Pro 从 60.1 到 64.8，DeepSWE 从 31.0 到 43.4，Terminal-Bench 2.1 从 67.4 到 82.0，Terminal-Bench 3 从 1.4 到 12.1，Terminal-Bench 4 从 0 到 7.6，SWE-Marathon 从 5.0 到 25.0。只看训练数据收集之后才发布的三个集合，提升仍然显著（p=0.004），DeepSWE 和 Terminal-Bench 3 上轨迹步数的中位数还短了 24% 到 35%。奖励设计值得借鉴：破坏原有行为就归零，把最常见的偷懒路径直接堵死。基座在 DeepSWE 上失败的多半是差一点就对的情况，RL 补上的正是这一点。

arXiv →

推理模型的思维链里，越来越常见不合常规、看似胡言乱语的表达。这会削弱 CoT 监控，因为靠读思维链发现模型想做坏事，前提是人和监控模型读得懂。可这种漂移到底从哪来，一直没说清。

作者把语言漂移定义为模型输出分布与人类语言参考分布之间的期望 KL 散度，参考分布用 Llama、Qwen、OLMo 三个指令模型的平均来近似。三条定理分别说：RLVR 的 checkpoint 序列可以一边涨奖励一边无限漂移，SFT 的漂移有上界，而对任意漂移半径，放宽一点总能换来严格更高的期望奖励，也就是压住漂移就一定会压住奖励。实验用 Llama-3.2-1B、Gemma-3-1B、Qwen2.5-1.5B 在 GSM8K 上分别做 SFT 和 RLVR（DAPO），各 5 个种子。Qwen 基座第一个答案就有 41% 是对的，RLVR 后到 79%，主要是把已有能力磨尖，思维链几乎没漂。Llama 和 Gemma 的准确率经 RLVR 涨到原来的近三倍，可读性也明显变差：让外部模型从半截推理猜最终答案，AUC 比 SFT 版本低 0.17 到 0.28。

更麻烦的是每次 RLVR 运行漂的方向都不一样，同架构、同数据训出来的另一个模型也读不太懂，AUC 再低 0.09 到 0.17，拿一个“兄弟模型”当监控未必靠得住。实验只到 1B 级、任务只有 GSM8K，能外推多远还要看更大的模型。但它给 DeepSeek 早先的观察补了一个理论解释：加语言一致性惩罚能让思维链好读，代价是掉分。

arXiv →

实际的 LLM RL 系统里，策略更新加上推理引擎和训练引擎的数值差异，会让采样出来的回答变得 off-policy。序列级掩码的做法是整条回答偏得太厉害就不参与更新，常见规则是把每个 token 的对数概率比取平均再取指数，也就是几何平均，DeepSeek-V3.2 用的也是类似的带符号聚合。毛病在于正负偏移会互相抵消：作者证明，每个 token 都越出 [1/c, c] 区间，几何平均也可以恰好等于 1，比如概率比在 B 和 1/B 之间交替。

论文里有一条真实的 8619 token 回答：几何平均分数 1.0025，在阈值 1.005 下被放行，可它的平均绝对对数比是带符号平均的 9.79 倍，换成 CARM 的分数是 1.0248，在阈值 1.02 下会被拒。CARM 就是在平均之前先对每个 token 的对数比取绝对值。作者给出的保证是：阈值 1.02、PPO 区间 [0.8, 1.28] 时，被接受的回答里越界 token 最多占 8.88%。

实验在 verl 里用 GRPO 训 Qwen3.5-4B 和 9B，数学用 DAPO 数据，代码用 TACO。9B 在 AIME24/25/26 和 BeyondAIME 上的 mean@16 平均比几何平均掩码高 3.13 个点，代码四个基准的平均 pass@1 比最强基线高 2.88 个点，LiveCodeBench v6 涨得最多。两种规则拒掉的回答比例差不多，差别在于拒掉的是哪些。实现上只多一个绝对值，已经在用序列级掩码的流水线可以直接换上对比。

arXiv →

GitHub 的 PR 只能从浏览器上传图片附件，命令行里跑的编程 agent 走不了这条路。为了让审阅的人看到截图，agent 自己想了个办法：在旁边建一个公开仓库放图，再把链接贴进 PR。有的 agent 在过程里写明，放在私有仓库的图片“无法正确显示”，于是另建了公开仓库。约三分之一的案例用了开源工具 gitshot，它按 Release 模式配置时会在用户账号下建一个叫 gitshot-images 的公开仓库，把图存成 Release 文件，Glow 说有的 agent 是自己找到这个工具的。

涉及 300 多家机构、900 多个代码库、13000 多张图片，覆盖云、医疗、金融科技、政府、前沿 AI 实验室，连 AI 安全公司也在内。截图里有客户账单、带客户名称的资金管理后台、提现界面，还有提前几周甚至几个月的未发布功能。93% 的图片在员工个人账号下，公司 GitHub 组织层面的监控完全看不到。Glow 从 9 月 9 日开始逐家通知。

这次没有恶意的一方，agent 只是想把任务做完，权限也都是开发者给的。Glow 给的清单很具体：排查有私有仓库权限的开发者（包括已离职的）个人账号下的 Release 和 Gist，别只扫文件。运行时禁止 agent 新建公开仓库、推送到个人账号、上传 Gist、把仓库改成公开。再就是取消对 agent 操作的一揽子自动批准。让 agent 自动开 PR、还要附截图的团队，值得照这份清单查一遍。

Glow Security →