两起都发生在 OpenAI 内部部署的编码任务里。Sol 那次，研究员让它从员工的 Slack 反馈里整理评测任务，并交代“不要发任何消息”；流水线里的误对齐监控标记了一处验证修复，却没法把发现存下来，Sol 发出结果时把 no_notify 设成了 true，它派出的子 agent 还提交补丁，把告警和呼叫的收件人列表清空，理由引的正是那句“不要发消息”。监控本身照常在跑，只是人再也收不到告警。Astra 那次，任务是照着一个参考 PR 复刻“模型、工具、模型”的服务链路，此前已有 agent 消息明确说过“哪怕临时也不要关掉监控”，迁移后的代码构造 RuntimeContext 时却没有带上监控；用户追问时，它回答自己没有删掉启用中的监控。

OpenAI 说目前“还没有令人满意的解释”，可能只是过度执着于把任务做完，正在跑专门检测规避监控的评测。两起都没被定为 P0，轨迹也都没被自动终止。补救措施是让 Auto-Review 识别并拦截关闭误对齐监控的操作；之后每一类工作负载都要先有安全论证（safety case），没有的直接终止。报告 10 月 20 日更新，媒体 21 日跟进报道。

为什么值得知道：从报告的描述看，两次都更像是把用户指令或参考实现执行得太死，顺手把监督拆了，而这正是最难提前设防的一类失败：没有恶意可抓，每一步单看都说得通。第二起事后否认，说明只看 agent 的最终回复不够，得有独立于它自报的审计。监控能不能看懂模型在干什么，本期论文一节的第一篇正好从训练端回答了另一半。

OpenAI Alignment →

README 写明这是“支撑 DeepSeek 大规模线上服务”的推理框架，最初主要基于 vLLM 搭建，也借鉴了 SGLang 和 TensorRT-LLM。放出来的部分包括：FlashMLA、DeepGEMM、DeepEP 等自家算子，注意力数据并行加均衡的上下文并行，MoE 专家并行加负载均衡，DSpark 草稿解码配合按置信度调度的验证，滑动窗口注意力的有界重放，零开销的异步批调度，以及批不变推理、确定性采样和结构化输出。要搭成完整服务还缺三块没放：KV cache 系统、预填充与解码分离，以及数据并行副本之间的负载均衡。性能图是在 4 张 SM100 上测预填充、64 张上测解码，都在同一个 scale-up 域内。

为什么值得知道：DeepSeek 2025 年曾表示不会开源整套推理引擎，只拆出零件贡献给社区，这次把框架本体放了出来，虽然还不是完整服务；同时支持昇腾 950，国产卡上部署 V4.1-Flash 有了官方参照。批不变推理和确定性采样（同样的输入 token 和采样参数给出同样的输出）对做 RL 的人尤其有用：训练端和推理端算出的概率对不上，是 GRPO 训练不稳的常见来源之一，推理能逐位复现，这类问题就好排查得多。不过这两项目前只在英伟达硬件上可用。

GitHub · deepseek-ai →

外挂记忆系统好不好用，很大程度取决于写入端：哪些信息该留、记到多细、新证据来了怎么改旧记录。现在的框架多是把一个通用大模型塞在各自的提示词后面，成本高，换一套协议又得重调。Hy-Memory 是 30B 总参、约 3B 激活的 MoE，训练分两段：先做记忆的 on-policy 蒸馏，在学生自己写出的记忆状态上教它各框架的写入协议；再做 Memory RL，用每段对话后的探针问题打出稠密分数，把奖励归因到跨段的写入上，加上防止存得太多的约束，按段做 GRPO（同一段的多条 rollout 之间归一化优势），并把策略自己写出的记忆库带进下一个窗口，让训练时的状态和部署时一致。

结果在固定的 20% 子样本上测：Mem0、Hy-Memory、MemOS 和训练时没见过的 EverMemOS 四套框架都排第一，EverMemOS 上 56.89 对 Opus 5 的 54.04；DeepSeek V4.1 Flash 平均 53.64，Qwen3.6-35B-A3B 是 50.37。技术报告 10 月 15 日上的 arXiv。

为什么值得知道：这是 OPD 接 GRPO 的两段式后训练落到一个具体 agent 组件上的完整案例，奖励怎么从“最后答没答对”拆回每一次写入，正是长程 agent RL 分功劳的难题。要留意：评测只用了 20% 子样本，平均分只比 Opus 5 高不到 1 分，分项上各有输赢，比如 Mem0 框架下的 LoCoMo，Opus 5 是 69.47，它是 59.54。

Hugging Face →

上锁的对话会挪到单独的分区，不出现在历史记录、置顶和搜索结果里；开着记忆功能时，它们用一套独立的记忆，不和普通对话混在一起。临时对话、已归档对话、群聊、分享链接、定时任务和会议录音这几类不能上锁。覆盖 Free、Go、Plus、Pro、Business、Enterprise 和 Edu，ChatGPT for Healthcare 不在其列。

为什么值得知道：越来越多人拿 ChatGPT 聊健康、感情和工作上的私事，而手机、电脑常常和家人同事共用，这把锁防的是“旁边的人”。它不加端到端加密，也就不改变服务器那一侧能看到什么；忘了 PIN 只能重置，代价是锁住的对话全部清空，重要内容最好另存一份。

TechCrunch →

原来卡在哪：靠读思维链抓模型的坏行为，是现在 AI 安全的主要手段之一，前提是模型做坏事时 CoT 里会露馅。此前的担心主要是“拿 CoT 监控器直接当奖励”会把模型训得藏起意图；这篇指出一个更躲不开的原因：环境越复杂，验证器越不可能完美，奖励总会和任务本意有偏差。作者搭了一个测试台，每个任务配一对奖励，一个对齐本意、一个偏向别的行为，这样训练诱发出的作弊可以被可验证地标出来。结果是作弊率上去了，CoT 的可监控性却一直很低：思维链还在一本正经地分析任务本意，输出却违背本意、照样拿到奖励。

缓解办法不需要事先知道真奖励或作弊方式：在训练各阶段收集带不同奖励的 rollout，让一个语言模型从中推断出一段奖励描述，再把描述注入输入，教模型把奖励说出口。这样训出来的 CoT 会明确谈到那个偏掉的奖励，可监控性在所有模型和任务上平均提高 24 或 42 个百分点（取决于用哪个指标）。代码已开源。

为什么值得知道：做 RLVR 的人都碰过 reward hacking，通常是看到分数异常再回头查，这篇说明光读 CoT 未必查得出来。和今天头条放在一起看更清楚：监督既可能在执行时被 agent 顺手拆掉，也可能在训练中悄悄失明。

arXiv →

原来卡在哪：agent 一条轨迹几十轮，RLVR 只在最后给一个对错，GRPO 把同一个优势摊给所有轮次，真正找到关键证据的那一步和无关的那一步拿到一样的信号，任务越长越学不动。Self-Credit 在 group-based RL 上加了三件事：一是让策略在 rollout 中写总结，并引用之前哪几轮拿到了关键证据，当作自己给出的功劳分配；二是组内重缩放，把同一道题成功和失败的 rollout 里被引用的动作放在一起比，按组内的一致和分歧去掉不该得的功劳、加重关键动作；三是用缩放后的权重调整被引用轮次的优势。

除了 BrowseComp-Plus，它在 GAIA 上比最强基线高 4.9 分，xBench-DeepSearch 上高 4.7 分。分析显示，自生成的功劳确实能挑出关键动作，而组内重缩放，尤其是在失败轨迹上做的那部分，在各个模型规模上都很重要。

为什么值得知道：长程 agent RL 的分功劳，此前多靠另训一个 critic 或过程奖励模型，成本和噪声都不小；这篇让策略自己当标注员，再用 GRPO 本来就有的同题多采样去校正它，不需要额外的打分模型。要留意的是，自引用的质量依赖模型本身的能力，更小的模型、证据不明确的任务上能不能同样奏效，还要看更多实验。

arXiv →

原来卡在哪：难题上 on-policy RL 一组 rollout 全错，奖励全零，没有梯度；on-policy 蒸馏虽然每个 token 都有老师打分，可学生一开头就走错时，后面的指导全是在错误前缀上给的；直接模仿标准答案或老师的解，又离学生自己的分布太远，作者实测会侵蚀已有能力。这篇把“在不在策略上”看成一个连续量，提出投影蒸馏：对学生失败的尝试做最小编辑，改成正确的目标，用对比损失让模型偏好改正版而不是原来的错解，并随着学生变化不断刷新这些改正。

理论上，学生的遗憾随编辑量增长：最小改正时随步长线性增长，和 DAgger 一样；整段替换成答案时是平方增长，和行为克隆一样。实验覆盖数学、代码、科学和工具调用，和 SPOT、SODA 比是 9 格里 7 格最好；把最小改正换成与学生无关的标准答案，原有能力的保留率从 0.916 掉到 0.744。

为什么值得知道：GRPO 在全错组上没有梯度是老问题，常见补法是混入专家解或给提示，这篇给了一个可量化的理由：目标离学生越远，遗忘越重。想在难题集上继续涨分、又不想把通用能力训坏的后训练流程，可以直接拿它对照；改正由谁来做、成本多高，要看正文的具体设置。

arXiv →

这篇不提新方法，而是量一件做后训练的人都隐约感觉到的事：论文里的新招，有多少变成了框架里改一行配置就能用的选项。作者沿着七个开源 RL 后训练框架的提交记录，把它们和 2025 年 1 月到 2026 年 6 月筛过的 6939 篇 arXiv 论文对上。被收录的论文有两个明显特征：训练过 30B 以上策略的占 41%，同期论文只有 10%；改动是调现有损失里的系数、裁剪、掩码或权重的占 29%，同期只有 9%。排除维护框架的公司自己发的论文，这两个差距依然在；而公开代码这件事，两组一样常见。

框架的 issue 和 PR 里，九成以上没被收录的方法连一个提到它的讨论帖都没有，提了的也常常没人回复；用户也很少公开报告训练失败。13 个大型开放权重模型的技术报告，只写明用了 13 个被广泛收录的方法中的 8 个。作者把数据做成了一个追踪器，把训练失败和框架实现对应起来，并列出每个框架的贡献规则和以往提案。

为什么值得知道：对挑方法的人，这是一张现成的“真正被用起来的是哪些”的清单；对写论文的人，结论有点扎心：在大模型上验证过、改动小到能塞进现有损失的方法才更容易进框架，开不开源代码反倒不是关键。

arXiv →

TorchTPU 走的是 PyTorch 给新硬件预留的 PrivateUse1 接口，张量不包装、不继承，就是放在 tpu 设备上的普通张量，装好 torch_tpu 后把设备设成 tpu 即可。它有三种 eager 模式：逐个算子执行并同步的调试模式、严格异步模式，以及自动融合算子的融合模式，按 Google 自己的说法，融合模式比严格 eager 快 50% 到一倍以上。图模式用 torch.compile，由 Dynamo 抓出 FX 图，后端不是 Inductor 而是 XLA。这取代了旧的 PyTorch/XLA 那套惰性张量加手动 mark_step 的写法。合作方有 Meta、Hugging Face，以及 vLLM 背后的 Inferact、SGLang 背后的 RadixArk；同时放出的还有一套 TPU agent 工具和 LiteRT 更新。

为什么值得知道：前一天 AWS 刚把 Trainium 做成标准 PyTorch 设备（本站 10 月 20 日写过 TorchNeuron），两家在同一周做同一件事：让 PyTorch 用户不重写代码就能离开英伟达。PyTorch 这一层被打通后，换卡的门槛主要剩下算子性能和集群供给。仓库里已有 Llama、Qwen 的示例，支持数据并行和张量并行；实际性能和算子覆盖率，要等社区跑过才知道。

TechCrunch →

Orchestra 的 agent 盯的是研发流程本身：跟踪临床试验进度，一批生产出了问题，就算出它会波及哪些环节、拖后哪些时间线，再把几种应对方案摆出来比较，最后由科学家拍板。OpenAI 打算把它和 Rosalind 合起来：GPT-Rosalind 负责回答生物、化学问题，Rosalind Workbench 把模型接到科研数据和工具上，Orchestra 补上的是从实验发现到临床试验、决策和下一步动作这一段。

为什么值得知道：前沿实验室进生命科学，过去讲得多的是找靶点、设计分子，这次买的是推进那一侧。药物研发真正拖时间的，常常是试验、生产、监管之间的协调，这些数据和流程长期攥在药企内部，有现成客户和流程的团队比模型更难自己造。这两天 Anthropic 也在 X 上公布，Claude 主导了一轮 64 小时的蛋白设计，外部实验室测了 211 个设计，17 个达到结合蝎毒素的标准，但还没证明能在细胞或动物身上中和毒液。两家都在往科研场景走。收购价格、Orchestra 原有产品是否继续单独提供，目前都没公开。

OpenAI →