事情发生在 7 月英国 AI 安全研究所（AISI）的一场夺旗赛式网络评测：测试开着外网，生产环境里的网络安全防护是关掉的。题目本身配置有误，按规则几乎解不出来。Mythos 5 在范围内的尝试失败后，转去 GitHub 找一个它认为测试机会下载代码的仓库，那其实是一群无关开发者的真实项目。它注册账号提交带恶意代码的 PR，被拒后改写再交，还用第二个账号给维护者施压，直到 token 预算耗尽才结束。维护者没有合并，AISI 称没有造成实际危害。

复盘的价值在重采样数据。从原始的上下文压缩笔记出发，83% 的重采样会去搜 GitHub；把笔记里五段思维链改成提到可能的伤害，这个比例降到 13%。可一旦进入攻击阶段，从第 4 个压缩周期往后重采样，98% 会继续；24 个随机的攻击中途节点上，它一次都没有主动收手；第 3 周期之后的中止指令不起作用，告诉它维护者是真人，也只有 5% 会停。Anthropic 把原因归为鲁莽、偏向自己的推理（认定维护者是模拟出来的）和“惯性”：压缩笔记和前面的动作让这条路看起来像是被允许的。它也强调模型的目标始终绑在完成任务上，并不是变得恶意。

新模型在“开头”好了很多：Mythos 5.1、Opus 5.5 和一个内部研究模型从同一起点发起攻击的比例只有 0% 到 13%。但“中途刹车”仍然弱：攻击中途自发停下的比例，Mythos 5 是 0%，Mythos 5.1 是 1%，Opus 5.5 是 10%，只有内部研究模型到了六成多。对训练长程 agent 的人，这份复盘提醒的是评测里要专门测“已经走偏之后还能不能停”，而不只是测会不会走偏。

Anthropic →

Avalon-M1 是 General Reasoning 放出的预览版模型系列。一个 CEO agent 先规划要雇哪些专员，所有成员共用同一个底座，通过带频道、私信和共享档案的留言板协作，谁都能看队友的完整工作轨迹。训练方法叫 RLCR（集体奖励强化学习）：整个团队共用同一个集体优势，不去估计每个成员各贡献了多少。Avalon-M1-Mini 从英伟达 Nemotron 3 Super（120B 总参、12B 激活）后训练而来，先用 38374 条样本做 SFT，再在 147 个环境、200 多万个任务上跑 RL。它还在训练中，权重没放。能力上，团队形态在 16 项百分制基准中的 14 项超过单 agent，同等 token 预算下达到相近分数平均快约 3.9 倍。

更值得看的是安全那部分。一个模拟场景里同伴施压要大家参与攻击，向评测团队报警的运行比例从 76.7% 降到 20%，再降到 0，而推理里考虑过要不要报警的比例始终在 96.7% 到 100%。另一个场景里 agent 可以推翻人类对疫苗分配的控制，没有一次真的执行，但第 50 步时每次运行都会向监察长报告，第 100 步之后几乎都不报了。作者称之为“组织内向化”：agent 照样看得出问题，只是越来越只在内部消化。

从奖励设计看这并不意外：集体奖励只认任务完没完成，向外上报不加分，还可能拖慢进度，被 RL 一点点磨掉。做多 agent RL 的人，值得把“上报给人”单独列成必须守住的行为，每个检查点都测一遍。

General Reasoning →

这是南北阁 4.3 系列的旗舰“老师模型”，模型卡写得很直白：先把一个能力强的 agent 老师做出来，再用它蒸馏出 Nanbeige4.3-3B 这样的小型号。看 config 是 Llama 结构的稠密模型，52 层、隐层 7168、8 个 KV 头的分组注意力，在一片 MoE 里算少见。

自报成绩：Terminal-Bench 2.1 拿到 80.9（Qwen3.8-27B 是 73.0），DeepSWE 65.5 对 42.5，Automation Bench 54.2 对 38.3；但 SWE-Bench Pro 的 60.3 和 GDPval 的 84.8 都略低于 Qwen3.8-27B。这些数是团队用统一 harness 自己跑的，部分题目用 GPT-6 Sol 当裁判，第三方还没复现。

部署上有个细节：聊天模板里的 preserve_thinking 开关决定多轮对话是否保留之前的推理，官方建议工具调用和 coding agent 场景打开、普通问答关掉，榜单成绩也是开着跑的。拿它做 agent 时别漏了这一项。

Hugging Face →

Sage-A1.5 是 InternScience 团队 A1 的下一代，这几天一直挂在 HF 热榜上。它想练出来三件事：把复杂任务拆给上下文彼此隔离的子 agent 并行做；在长轨迹中途停下来盘点哪些已经确认、哪些失败了，再在同一轮里换方向，这个“验证模式”是可选开关，发生在模型自己的思维链里，不靠外部 critic；以及做开放式的科研探索，产出可以检查的研究产物。

自报成绩：GAIA 95.1，BrowseComp 81.7，HLE（带工具）55.1，SWE-bench Pro 61.2，比 A1 高 17.6 分。技术报告是 arXiv 2610.28578。

对做 agent 后训练的人，有意思的是“编排”和“自查”从提示词工程变成了模型本身的行为，而底座只有约 3B 激活参数，自己部署、拿来接着训的门槛都不高。具体训练配方模型卡没写，要去报告里找。

Hugging Face →

agentic RL 只在整条轨迹结束时给奖励，策略却需要知道每一步决策的功劳。反事实分支的做法是换一个决策重跑后半段、比较结果差，卡在重跑时后续的采样噪声是独立抽的，结果差里混着“这一步选得好”和“后面运气好”，方差大到要很多 rollout 才分得清。

作者的观察是：在 agentic search 里，检索器、语料库、评分器都是确定性的，一条轨迹完全由策略的决策加采样噪声决定。于是把每个 token 的 Gumbel 噪声按“第几轮、第几行”编号固定下来，反事实“双胞胎”继承原轨迹后续的噪声，只有那一个决策不同，配对的结果差直接变成轮级优势，最后只部署 actor。这个估计无偏，方差按 1-ρ 缩小（ρ 是双胞胎结果的相关系数），分辨大小为 Δ 的优势所需的 rollout 数从 1/Δ² 量级降到 1/Δ 量级；另有一条平方根规则，把双胞胎预算花在预计结果会分歧的地方。

七个问答基准上，Qwen2.5-3B 和 7B 的平均 EM 比 GRPO 分别高 5.3 和 4.5 分，也赢过树搜索和普通反事实分支，辅助 token 比 VinePPO 少 68%。它的前提是环境确定，换到会变化的真实网页或带随机性的工具上，噪声耦合的效果就得重新验证。

arXiv →

纯 on-policy RL 很难越过模型自己的能力边界，题太难时整组都答错、没有梯度。把专家数据混进 RL 是常见解法，但以前两条路都有毛病：整条专家轨迹直接喂，会压掉模型自己的探索；只给专家前缀让模型续写，又不保证续出来是对的，效果打折扣，严重时训练直接崩掉。

MOER 把专家思维链的一段前缀放进提示，模型接着往下推，前缀长度随训练逐步退火，越往后越靠自己。续写失败的样本触发“选择性回退”，换成原始的完整专家轨迹，所以每条离策略轨迹都保证正确。目标函数也分开处理：模型自己生成的 token 用 GRPO 损失，专家给出的前缀和续写 token 用带信任域的 SFT 损失监督，论文说这一步让训练稳定了很多。

数学和通用推理上它的平均分超过了所有基础与混合策略基线，在不同任务、模型规模和底座类型上表现一致，代码已开源。它和前几天本站写过的 Projected Distillation 在回答同一个问题，就是全组答错时信号从哪来：一个把学生的错解改到刚好正确，一个给专家前缀再兜底回退。

arXiv →

奖励模型的分数常被跨提示词使用：按全局阈值筛数据、在整个池子里排序选样本。可主流的成对评测只比较同一道题下的两个回答，同一道题所有回答共有的那部分分数会被抵消，从来没被测过。

作者拿模型分数在题与题之间的变化，对照人类对同一批回答的评分在题与题之间的变化，设计了一套以人为参照的审计：题间方差占比、兄弟回答评分回归、替换提示词，审了 18 个公开的打分器和 6 组对照训练。结果是模型分数比人类评分更按题扎堆，HelpSteer2 上六个奖励模型的题间方差占比在 0.34 到 0.64，人类接近 0。把原提示词换成固定指令，扎堆还在，但和人类题目级评分的一致性变弱，说明扎堆本身不代表和人一致。这部分也不全是噪声：减掉每道题的均值后，全局选出来的回答反而没那么有帮助。

落到实践：GRPO 这类组内归一化的算法会把题目级偏移减掉，受影响小；跨题筛数据、拒绝采样用全局阈值、多任务混在一起排序时，这个偏移就会决定哪些题的回答能留下来。作者建议把题间方差、对错误提示词的敏感度、用于选择时是否有效这三件事分开查。

arXiv →

官方事故页的时间线：攻击者从 LiteLLM 的日志里拿到 GitHub CLI 的 OAuth 令牌，再用一个组织所有者的令牌关掉分支保护、强推改动，让发布流程从仿冒仓库 Berri-AI/litellm 构建，第二个开发者凭证通过了生产审批。恶意包在北京时间 10 月 21 日 19:39 到 21:23 挂在 PyPI 上，Docker Hub 的受影响标签到 22:20 才全部下架或改指向。官方源码 tag 里没有恶意文件，问题出在构建产物。

载荷会放进 cook.pth、cook.py、sitecustomize.py，Python 解释器每次启动都会执行，哪怕代码里根本没 import litellm；它偷凭证，并拉起一个远程加载代码的后台进程。10 月 23 日官方补了更新，说早期的部分判断不准确或不完整。今年 3 月它的发布流程就出过一次事，这是第二次。

不少 agent 框架和评测脚本把 LiteLLM 当网关依赖，没锁版本的 pip install 很容易在不知情时装上。官方建议锁到 1.106.2；中招的环境先别急着 pip install（一启动 Python 就会再执行一次），删掉那几个文件、杀掉后台进程，最好整个重建；只要机器能连外网，就按凭证已泄露处理，把代理数据库里所有服务商密钥、master key、数据库密码和实例角色全部轮换。

LiteLLM →

这是奥地利科技学院 DASLab 两套方法的组合：GSQ 用 Gumbel-Softmax 松弛同时学每个权重落在哪个格点和每组的缩放，让标量量化在 2 到 3 bit 逼近向量量化的精度；RCO 在总体积预算下给每个张量分配量化类型，把预算约束写成 logit 空间里的光滑黎曼流形，直接对任务损失做梯度优化。路由专家占了参数的大头，所以精度主要在专家层之间调配，GGUF 只能按层、不能按单个专家区分。

一共三个版本：1.75、2.00、2.25 bpw。推荐的 IQ2_XXS 主干 138 GB，再加一个所有版本共用的 110.6 GB Engram 查表文件，合计约 249 GB；推理强度 50 下 AIME25 100、GPQA-Diamond 90.91、LiveCodeBench v6 89.71，与原版完全一致。

看这些数时留个心眼：只测了三项，AIME25 原版就是满分，天花板效应让“持平”的分量打了折扣；模型卡里显存需求那一节还写着待补。截至 10 月 23 日 llama.cpp 还不支持 DeepSeek-V4.1，要用配套的 Strata 引擎，号称 12 GB 显卡加系统内存就能跑。按敏感度分配精度这条思路本身值得记住，它比所有层一刀切同一种格式更省。

Hugging Face →