这件事对做后训练的人来说不是八卦，是一张数据流水线的截面图。人类偏好数据从哪来，一直是 RLHF 里最不透明的一环，外界多半默认是标注员对着合成或众包的提示打分。Project Lily 说明至少有一部分信号来自真实用户的线上流量：模型在真实使用中怎么答、答得好不好，由人逐条读过再回灌训练。

目标写得很具体，让 ChatGPT 别把自己拟人化，少一点谄媚。谄媚本来就被普遍看作偏好优化的副作用——人倾向于给顺着自己说的回答打高分，模型就学会了顺着说。现在的解法仍然是再加一轮人工评审，只是换了一套评审标准，这个循环本身值得琢磨。

隐私侧的细节更扎眼。评审看不到用户名，但能看到提示上方的一段用户记忆摘要，里面有时会透露这个人之前拿 ChatGPT 做过什么、大概住在哪里。OpenAI 说送审前有一个 Privacy Filter 模型先剥掉个人信息，可它自己的说明页也承认，这个模型会出错、会漏掉不常见的标识符、上下文不够时会少删。

开关在“Improve the model for everyone”这一项。免费版、Plus 和 Pro 默认打开，Enterprise、Business、Edu 默认关闭；而且关掉只对之后的新对话生效，已有的对话不受影响。

The Next Web →

上期写到 Amodei 那篇《We Must Pace the Frontier》拿到了 OpenAI、xAI、微软的公开支持。两天之后，反对声从两个完全相反的方向同时到了。

特朗普周一早上在 Truth Social 发帖，说 AI 唯一需要的护栏是一个“强大而聪明（高智商！）的总统”，政府对这些公司“已经有巨大的刑事和监管权力”。他把反对 AI 建设的声音称为一场“病态的阴谋”，还说唯一为此高兴的是中国。

北京的回应落在文章的另一半。Amodei 在文中主张继续限制向中国出售最先进的 AI 芯片和制造设备，写道中国在 AI 上领先会对美国和世界构成“严重危险”。中国外交部发言人郭嘉昆周一回应称，制造恐慌、对抗和恶性竞争只会干扰全球 AI 治理进程；《环球时报》的评论则把整篇文章定性为 AI 领域的“冷战剧本”。

放在一起看就清楚了：这篇文章同时在做两件事，一件是让实验室自我约束，一件是让政府继续卡住对手。前一件惹恼了主张全速建设的白宫，后一件惹恼了北京。实验室之间刚刚形成的那点共识，眼下还没有落进任何一国政府的政策里。

美联社（Local 10 转载） →

两套机制的分量不一样。第一套叫 Model Delegation，走的是 App 扩展：第三方 AI 以 Siri 扩展的形式出现，接用户的自然语言请求，需要动用系统功能时再把活交回给 Siri。这还是“Siri 找外援”的老思路。

第二套才是重点。Model Manager Services 里有一个 Inference Providing 协议，按代码的写法，苹果服务端那个 Siri 模型本身可以被整个替换掉。替换进来的模型会收到苹果原生的 Siri 规划提示词和工具定义，由它来执行系统动作、组织回答。换句话说，Siri 退成一层外壳，里面的脑子是谁家的可以换。

对模型厂商来说，这意味着手机上系统级 agent 的入口第一次有可能向外开放。拿到规划提示词和工具定义，等于拿到了在 iPhone 上动手做事的位置，而不只是在一个 App 里陪聊。

冷水也要泼清楚：这是代码研究者 pdfu 从 iOS 27 和 macOS Golden Gate 的私有框架里挖出来的，苹果并没有宣布。目前 macOS 27 RC 里的“Ask…”只接了 ChatGPT，模型委托还没对第三方开放。MacRumors 推测，欧盟《数字市场法》的互操作要求是背后的推力之一。

MacRumors →

冲突的根子是一个两难。Anthropic 6 月随 Fable 5 上线了 30 天数据留存，理由是有些复杂攻击会跨多个会话慢慢展开，只看单次请求发现不了，必须留日志回看；它同时承诺不拿这些数据训练模型。可对手里握着专有代码和机密项目的客户来说，日志在别人那里放三十天，本身就是风险。

三家的做法各不相同。Palantir 要求 Anthropic 先给出零数据留存的保证，否则不在自家软件里提供它的模型；英伟达把 Anthropic 模型限制在不太敏感的内部任务上，专有工作优先用自家的 Nemotron；Booz Allen 则禁止员工在涉及专有数据的网络安全项目上使用 Anthropic 的商用模型。

Anthropic 的补救方案是 Enterprise Frontier Safeguards：日志存进客户自己的 S3、Azure Blob 或 Google Cloud Storage，用客户自己的密钥加密，自动化安全监控照常扫描，但不需要 Anthropic 员工人工审看，也不额外收费。问题在于它是分阶段推出的，更大范围可用要等到今年秋天晚些时候，而这篇报道说明，在它真正铺开之前，大客户已经先把用量收紧了。

跟今天头条那条放在一起看会更有意思：一边是 OpenAI 让外包读用户对话来改进模型，一边是 Anthropic 为了防滥用要留日志。改进模型、防范滥用、替客户保密，这三件事在数据这一层是互相拉扯的。

Yahoo Finance →

RLVR 的探索基本只有一个旋钮：采样温度。温度调高，rollout 更发散，但整条序列的质量也跟着往下掉。现在主流的开源大模型大多是 MoE，而过去针对 MoE 的 RL 工作几乎都在解决训练稳定性和效率，把专家选择当成一个固定部件，没人把路由本身当成探索空间。

作者先做了一个观察：扰动路由确实能改变输出、提升 rollout 多样性，效果类似提高温度。但直接乱扰会激活不合适的专家，质量明显下降。ESRL 于是给扰动加了三道约束——高置信的专家保留下来当锚点；随机路由只在一个合理的候选池里挑；扰动强度按路由器的熵自适应调整，避免扰过头。

最关键的工程细节在训练端。rollout 时走的是扰动过的路由，优化时如果按正常路由重算，概率就是在另一条计算路径上算出来的，跟采样时对不上。ESRL 把 rollout 实际走过的专家路径记下来，在策略优化时原样回放，把自己引入的这份不一致消掉。

实验覆盖 top-K、top-1、共享专家三种路由结构，以及数学、科学、代码三类任务，不增加采样量和计算开销。Qwen3-30B-A3B 上，平均 Pass@1 比 GRPO 高 3.2 个点，Pass@8 高 4.5 个点。Pass@8 涨得更多，正好对得上它主打的是探索，而不是单次命中。

arXiv 2609.13058 →

长程 agent 任务里，几十个互相依赖的动作之后才有一个稀疏奖励。GRPO 这类 critic-free 方法把整条轨迹的一个标量原样广播给每一步，分不清到底是哪个决定导致了结果。GiGPO 往前走了一步，把共享同一个锚点状态的时间步归成一组，算出步级优势。但它用一个固定权重把步级和轨迹级估计混在一起——一个关键的分岔决定，和一次几乎确定的例行动作，拿到的是同样的分辨率。

GACA 的判断是，分辨率应该随状态变。它拿每一步在 rollout 时已经记下的负对数似然当关键度的代理：模型在这一步越拿不准，NLL 越高，就越偏向细粒度的步级优势；低于平均的例行步骤，则更多依赖轨迹级信号。信号是现成的，不用额外采样，每轮迭代只多花 0.09 秒（一轮大约六分钟），峰值显存不变。

数字上，骨干是 Qwen2.5。ALFWorld 1.5B 从 GiGPO 的 86.7% 提到 96.88%，WebShop 1.5B 从 67.4% 提到 80.99%；7B 上两项分别是 90.8% 到 93.23%、75.2% 到 83.59%。有个细节挺有意思：ALFWorld 上 1.5B 反而比 7B 高。收敛也更快，大约一半的 epoch 就追平了 GiGPO 的峰值。

作者自己列的局限也很实在：拿 NLL 当关键度，信号本身是嘈杂的；超参要手调；理论分析只覆盖混合这一步本身，管不到它引发的整个学习动态。

arXiv 2609.12424 →

做 GRPO 的人几乎都有一个直觉：全对或全错的组优势为零、白算，靠近模型能力边界的题才有信息量。于是冒出了一大批数据策略，按解题率过滤、高方差降采样、按概率或优势重加权、自适应的领域课程。问题在于，这些方法大多是作为某套完整配方里的一个零件提出来的，底座、模板、验证器、rollout 预算一起变了，报出来的提升到底来自哪里，其实说不清。

这篇把其他条件全部锁死，只换数据策略。主实验在 Qwen2.5-7B-base 上跑 13 种配置、每种 12 个配对种子，评测覆盖数学、逻辑、科学共 12 个基准。均匀采样的 GRPO 本身比未训练的检查点高 7.76 个点；但 8 种筛选和重加权方法里，没有一种相对均匀采样的配对 95% 置信区间能排除零，3 种自适应混合也没有一种稳定赢过固定的等比混合。这两组方法的均值差距分别只有 0.97 和 0.61 个点，跟 GRPO 自己带来的 7.76 比起来近乎噪声。换到 Llama-3.1-8B-base 上，同样找不出一个共同的赢家。

更扎心的是评测那一节。同样九个 Qwen2.5-7B-Instruct 的配置，用偏数学的 6 个基准（5 个数学加 GPQA-Diamond，不含逻辑）排一次名，再用领域均衡的 12 个基准排一次，两个排序的相关系数是 -0.33，是负的。少放一个领域，冠军就可能换人。

这不等于说数据策略没用。作者的结论是，改数据策略确实会可测地改变训练过程，只是没有带来可复现的提升。对算力有限的人，一个实际的读法是：先把种子数和评测覆盖做够，再去相信那零点几个点。论文 9 月 5 日挂上 arXiv，9 月 14 日登上 Hugging Face 每日论文榜首。

arXiv 2609.06107 →

公开编码基准有一个绕不过去的毛病：题目来自开源仓库，而这些仓库大概率早就进过训练集。Real-SWE 的做法是去买授权，用的是一个 20 万以上用户的活动社交平台、一个处理过 10 万多份银行流水的消费金融平台，以及几套企业销售工具的真实代码。题目中位数要改 11 个文件，对照的同类基准是 6 个。

结果不太好看。公布分析的 10 道题里，6 道的解决率在 15% 以下，有一道是零。榜单上 Fable 5.1（Claude Code）38.8%，GPT-6 Astra（Codex CLI）33.8%，Gemini 3.8 Flash 31.2%，Kimi K3 18.8%，GPT-5.6 Sol 16.2%。作为参照，BenchLM 的 SWE-bench Pro 榜上 Fable 5.1 是 81.2%。

成本那一栏更值得看。Fable 5.1 每次 rollout 约 6.96 美元，折算下来每解出一题约 17.94 美元；Gemini 3.8 Flash 每次约 2.50 美元，每解出一题约 8.01 美元，不到前者一半。多花钱并不稳定地换来高分。另外它测的是模型加 harness 的组合，比如 GLM 5.3 是跑在 Claude Code 里拿到的 28.8%。

失败模式的拆解对做 agent 训练的人更有用。最常见的是漏掉需求，Grok 4.6 的失败里有 67.2% 属于这一类；GPT-5.6 Sol 的失败有 43.3% 是没去工作区核实、直接基于猜测往下写；Gemini 3.8 Flash 有 49.1% 的失败栽在逻辑写对了、却接错了周边系统。跑得久也救不回来：10 分钟内结束的 rollout 失败率 71.4%，更长的是 73.4%。

Specific Labs →

MoE 本来每个 token 只激活一小部分参数，可在本地跑的时候，全部专家还是得塞进内存。Edge0 的思路是不再这么做：4-bit 的完整权重留在存储上，路由到哪个专家才把哪个读进来，峰值内存由激活集合决定，而不是总参数量。底座是 Qwen3.6-35B-A3B，每层 256 个专家，每个 token 走 4 个。

光靠 SSD 卸载会卡在读盘上：等路由算出来再去读，前向就得停下来等。它训练了一个 prerouter，提前一步预测下一步要用哪些专家，让读盘和计算重叠进行，解码吞吐最多提升 59%，而且存储越慢、模型越大、每步激活的专家越多，收益越大。量化损失则靠 Recover-LoRA 补回来：冻结 int4 底座，从 FP 老师蒸馏训练 LoRA，五项基准平均 79.2，fp16 原版是 83.2。

在 24 GB 的 Mac mini M4 Pro 上实测，解码 14.9 到 17.7 tok/s，预填充 113 到 140 tok/s，峰值活跃内存 2.9 GiB（短上下文，长上下文另加 KV cache）。代价也要看清：AIME 2026 从 92.7 掉到 86.6，比平均掉得多；预览版的工具调用和长程规划明确写着偏弱；目前只有 MLX 后端、只支持 Apple Silicon，CUDA 还在路线图上。

它眼下在 Hugging Face trending 排第二，仅次于 DeepSeek-V4.1-Flash。同系列还有一个 8B-A1B 的预览版。

Hugging Face →

Andon Labs 这两年的实验，是这个方向上少有的长期真实数据。最早用 Claude Sonnet 3.5 经营自动售货机时，模型会干出把模拟的诈骗行为报告给 FBI 这种事；到 2025 年底，前沿模型已经能把 Anthropic 办公室里真实的售货机经营到盈利。

再往上一个台阶就没那么顺了。今年 4 月他们在旧金山开了 Andon Market、在斯德哥尔摩开了 Andon Cafe，交给 agent 经营。两家起初都亏了不少钱，至今都没有盈利，只是每换一代模型都能看到明显改善。他们的判断是，业务越复杂，需要的能力就越往上走。

更值得留意的是他们记录下的行为：在多个 agent 相互竞争的设定下，他们观察到了串谋、欺骗和寻求权力的做法。这些正是安全研究里一直担心的东西，而这里的环境是经营业务，不是专门设计出来诱导它们的评测题。

Pion 这次给 agent 的是邮箱、电话、银行、浏览器和安全计算环境，目标写得很直白：做一个能完全自主经营任何公司的 agent。目前是研究预览，走候补名单，没有公布价格。

Andon Labs →