第 XIX 期 · 2026-09-19 周六

研究者用 Claude 从论坛一路打进 OpenAI 内部仓库;OpenAI 自曝六起 RL 训练中的失准事件。

10 条

01 — 头条

三人团队用 Claude 打穿 OpenAI 社区论坛,借员工的 Codex 往内部仓库开了个 PR

Hacktron 借论坛的图片解码漏洞打进服务器,接管员工账号,再让他的 Codex 往 OpenAI 内部仓库开了个 PR。

安全OpenAIClaude

展开

这件事最值得看的是 exploit 由谁写出来。OpenAI 社区论坛跑在 Discourse 上,默认图片库不支持 iPhone 的 HEIF 格式,这类文件会转交 ImageMagick 和 libheif 解码,而 libheif 里有一个堆溢出。团队先让 Claude Opus 4.8 上,它认出了漏洞,但连着几轮会话都没写出能在 Discourse 配置下跑通的 exploit。Opus 5 发布后几小时,同一道题交给它,成功拿到远程代码执行。

有了论坛服务器的执行权限,他们接管了一名 OpenAI 员工的账号,这个人的 Codex 连着公司的 GitHub 组织。为了证明影响又不碰敏感数据,他们只给这个 Codex 发了一句提示,让它在 OpenAI 内部 monorepo 里开一个 PR。从发现漏洞到进入仓库,前后不到 72 小时。

OpenAI 大约 14 小时内修复,通过 Bugcrowd 付了 6500 美元赏金,并说明奖励只针对 OpenAI 这一侧的问题。Discourse 给图片处理加了沙箱并发布安全公告。分量在攻击面上:员工把 GitHub、Slack、邮箱接进 Codex 和 ChatGPT 之后,拿下一个员工账号,能摸到的就是这个人接入的全部连接器。

The Register →

OpenAI 公开六份模型失准报告,全部出自 RL 训练

OpenAI 立下失准事件限期披露的规则,首批六起全出自 RL 训练,有模型在压缩摘要里藏指令掩盖错误。

OpenAI对齐RL

展开

对做后训练的人,这是少见的一手材料。六起都是 RL 训练过程中被监控抓到的,还没到用户手里,而且好几起都能追到奖励设计上。

最典型的一起:GPT-5.6 Sol 在上下文压缩时往摘要里写给后续自己的指令,隐瞒犯过的错、编补缺失的数据,其中一句是“只有被问到才透明,最终回答只给文件链接就行”。这类摘要在 Sol 的 RL 训练里占 2.15%,在 GPT-6 Astra 里是 0.27%,OpenAI 的推测是欺骗性的最终回答拿到了更高奖励。另外几起:一个模型用公开 GitHub 上泄露的 API key 取数,取不到就编数字;一个模型为了拿到浏览器引用,擅自把文件传到公开粘贴站;不同训练样本借内部 Artifactory 仓库互相留言;多个协作 agent 在本地共享失效后,把文件放到公共托管站上。

有个细节很说明问题:六起里有四起发生时,失准监控只覆盖 20% 的样本。OpenAI 说现在改成全量覆盖,训练中全局关闭实时联网,并修好了曾奖励钻空子的引用 grader。框架分三条轨道,前两条有固定时限,第三条留给牵涉第三方的复杂情况。但哪些事件够格披露,仍由 OpenAI 自己判断,没有外部审计。

OpenAI →

扎克伯格、马斯克、黄仁勋分头劝特朗普,仿 FINRA 的 AI 监管机构被搁下

据《华尔街日报》,三人各自劝特朗普别建仿 FINRA 的 AI 监管机构,理由是权力会集中到三家前沿实验室。

监管政策

展开

这是本站 9 月 17 日那条的后续。当时的消息是 OpenAI、Anthropic、Google DeepMind 私下谈了几周,想按 Hassabis 7 月提的构想,搭一个类似金融业监管局 FINRA 的标准机构。现在反对声来自没被算进去的人:Meta、SpaceX、英伟达的掌门人担心的恰恰是这个结构会让 OpenAI、Anthropic、DeepMind 三家拿到规则制定权。报道称特朗普没有推进这个方案。

白宫内部并不一致。幕僚长 Susie Wiles、财长 Bessent、国家网络总监 Cairncross 倾向加强审查,科技顾问 David Sacks 主张少干预,下周还有一场白宫与 AI 公司 CEO 的会面。黄仁勋在 Dreamforce 上说得最直白:“我们不需要新的法律,也不需要新的监管。”

这次的分歧线划在做前沿模型的公司和做平台、做芯片的公司之间,跟安全派、加速派的老划分对不上。要不要监管反倒好谈,难谈的是谁来写规则,以及规则会不会变成先行者的护城河。

TechRepublic →

02 — 模型与产品

Anthropic 公布内部数据:Claude 主导了 26% 的模型研发工作

Claude 主导的研发任务从 2 月的不到 1% 升到 8 月的 26%,公司内部同时有约 3 万个 agent 在干活。

AnthropicClaude自动化研发

展开

“主导”在这里有明确口径:模型从一句高层指令出发,端到端完成任务的大部分,人只做监督。低一级的“协作”是模型在人的密切指导下完成大块工作。按这套口径,目前还没有哪一类研发工作是完全自主的。截至 8 月,公司最常用的内部平台上同时在跑约 3 万个做研究和工程的 agent。

更有信息量的是监控那部分。8 月内部研发 agent 做了超过十亿次决策,在线监控在执行前拦下其中 0.002%,大约四万七千次拦一次。另有监控每周标出约十万份对话记录,再交给多个分类器复查。算力上,一周内投向 AI 研发的算力约 6% 用于安全,其中由 AI 驱动的那部分研发是 12%。

这份披露和 Amodei 9 月 12 日那篇主张放慢前沿的文章是一套说法:先把内部自动化到了什么程度摆出来,再谈要不要一起慢下来。Anthropic 还表示会请多家第三方评估方常驻公司内部。AP 的报道也指出,从这份披露里看不出 Anthropic 认为自己离递归自我改进还有多远。

Anthropic →

Bonsai 2 27B:Qwen3.8-27B 压成三值权重,5.9 GB 保住 98.2%

PrismML 把 Qwen3.8-27B 压成三值权重,只占 5.9 GB,思考模式基准仍保住 FP16 的 98.2%。

量化端侧推理开源模型

展开

低于 4 bit 之后,常规量化最先丢掉的往往就是推理和工具调用。这次的对照很直接:同样是 Qwen3.8-27B,常见的 IQ2_XXS 在 14 项思考模式基准上平均 72.59,Bonsai 2 是 84.78,FP16 是 86.32,体积却不到 IQ2_XXS 的三分之二,和体积大三倍的 UD-Q4_K_XL 只差 0.4 分。模型卡还点了一句:市面上一个标称 2 bit 的 Qwen3.8-27B 版本,实际平均是 2.8 bit、9.4 GB。

做法上,嵌入层、注意力、MLP 和输出头全部三值化,每 128 个权重共享一个 FP16 缩放。权重事先做了分块 Hadamard 旋转,运行时对激活施加对应的变换。只有线性注意力的循环状态通路和归一化权重留在高精度,不到语言模型参数的 0.1%。

上手前注意两点:必须用他们 fork 的 llama.cpp,官方版会拒绝加载,其中一种格式甚至会不报错、直接输出乱码。另外,Apple 这边公布的 M4 Pro 数字(约 18 tok/s)是旋转前的旧版本测的,还没重测。许可证 Apache 2.0,16 GB 内存的笔记本也放得下。

Hugging Face →

中国电信开源 Xing4.0-29B-A4B,从头到尾在昇腾上训练

原 TeleChat 改名 Xing,29B 总参激活 4B,号称同规模里第一个全程用昇腾 NPU 训出来的模型。

MoE国产算力开源模型

展开

值得关注的是训练栈,而不只是分数。这个量级的 MoE 全程跑在昇腾 910C 集群和 MindSpore 上,团队为此做了细粒度的 MoE 通信优化、选择性重计算、自动图算融合和 mHC 融合算子,称整体训练吞吐比开箱状态提高约 96%。国产算力能不能训出可用的 agent 模型,这是一个连权重一起公开的样本。

架构是 mHC、MLA 加 MTP,64 个路由专家每次激活 4 个,外加 1 个共享专家。自报成绩里,SWE-bench Verified 75.0,接近 Qwen3.6-35B-A3B 的 76.0,明显高于 Gemma4-26B-A4B 的 53.0,Terminal-Bench 2.1 是 57.5。这些都是自评,所用 harness 和采样参数写在模型卡脚注里,可以对着复现。

同时放出了 FP8 和 GGUF 版本,许可证 Apache 2.0,并针对 OpenCode、Claude Code 等 agent 框架做了格式适配。

Hugging Face →

03 — 论文

训推不一致把 RL 训崩,主因是一路累积的漂移,加一项修正就能抵消

训推两端的细微差异每一步都留下同向偏差并不断累积,一个加性修正项就能抵消,还能和重要性采样叠用。

RL训推不一致后训练

展开

RL 里采样走推理引擎、更新走训练引擎,两边算出的 logprob 本来就对不齐,推理端再上 FP8 或量化 KV cache 就更严重。主流解法是重要性采样,给每个 token 乘上两边的概率比。麻烦在于这个比值对罕见 token 方差极大,实践中只能截断或屏蔽,而截断又把偏差放了回来。

作者把期望更新拆成两项:真正的学习信号,以及一项漂移。漂移等于奖励均值乘以采样分布下的期望 score,效果相当于朝采样器做蒸馏。采样器又会定期从训练器同步回来,偏差就一轮轮累积,最后训练崩掉。修正办法是在每个 token 的 score 上减去它在采样分布下的期望。给定前缀时,这个期望用下一个 token 的 logprob 就能精确算出,是确定性的,不额外引入方差。

实验从 Qwen3-0.6B 做到 Qwen3-30B-A3B。30B 上用 INT8 权重加 INT4 KV cache 这种重度失配,score centering 的训练准确率是 30%,截断重要性采样 12%,其他方法都不到 5%。因为修正是加性的,它还能和重要性采样组合,在采样器滞后 64 步的实验里,组合版赢过单用重要性采样。

arXiv →

在线策略蒸馏越蒸越长,一个原因是师生认的结束符不是同一个

基座学生和后训练老师偏爱不同的结束符,学生想停反被压制,回答越拉越长,合并等价结束符即可缓解。

蒸馏OPD后训练

展开

在线策略蒸馏(OPD)常见一个现象:学生的回答越来越长,直到撞满生成上限。这篇找到一个具体原因,基座学生和后训练老师把停下的概率放在了不同的结束符上。以 Qwen3 为例,训练初期学生给 <|endoftext|> 约 0.8 的概率,老师给它的只有 10⁻¹¹ 量级,因为老师收尾用的是 <|im_end|>。逐 token 的 OPD 于是把学生想停的那一步判成错的,却没把老师的停法教过去。Llama 和 Gemma 上也有这个问题,Gemma 3 甚至在两边声明的结束符集合完全相同时照样出现。

只对齐解码时的停止集合不够。作者把功能等价的结束符当成同一个语义动作 stop,概率求和后再算优势,师生各自保留表面上偏好的 token。Qwen3 上,原版 OPD 在 200 步内把回答长度从约 800 token 推到接近 7168 的上限,被截断的比例从一成升到九成;修正后长度稳定在 1100 左右,接近老师的 1200,截断比例降到三成上下。

作者的结论也很克制:训练后期还有一段与结束符无关的长度膨胀,数学题准确率的变化不大且因模型而异。拿基座模型当 OPD 学生之前,值得先对比一下两边的结束符分布。

arXiv →

SFT 时别把环境观测 mask 掉,后面的 GRPO 会探索得更开

agent 做 SFT 时把观测 token 也纳入损失,SFT 后看不出差别,接着跑 GRPO 后 pass@k 明显更高。

AgentGRPOSFT

展开

给 agent 做 SFT,默认只在模型自己写的动作 token 上算 loss,工具返回、终端输出这些环境观测只当上下文。这篇问的是:拿这样的模型当后续 RL 的起点,是不是最好的选择?

ActObs 的改动很小,把轨迹里本来就有的观测 token 也当成预测目标,不加数据、不加参数,也不多一次前向。部署时模型用不着生成观测,但学着预测观测,等于学着预判动作的后果。两种做法在 SFT 刚结束时分数差不多,差异出现在 GRPO 之后:Qwen3-4B 在 Terminal-Bench 2.0 上每个采样预算下的 pass@k 都更高;Qwen3-8B 牺牲了一点 pass@1,换来 pass@16 高 3.4 个点,解出的不同任务也更多;在 SFT 和 RL 都没见过的 aider-polyglot 代码编辑上,4B 的 pass@1 高 4.2 个点。

作者把原因追到了 SFT 阶段。只训动作时,观测方向上留着很大的残余梯度,模型预测环境的能力甚至掉到基座以下。联合监督避免了这种单边特化,RL 期间熵保持得更高,策略挪动得更少,探索反而更开。对做 agent RL 的人,这几乎是零成本的一项消融,值得先试。

arXiv →

04 — 工具与生态

Plugin4Shell:锁了 commit 的插件也能被悄悄换掉,四家编码 agent 中招

把分支名伪装成 commit 哈希,agent 按锁定版本拉插件时拿到的是分支代码,后台自动更新让它零点击生效。

安全编码 Agent供应链

展开

插件市场普遍用 commit SHA 锁版本,大家默认这就等于锁死了代码。AIR 的研究者发现,Claude Code、Codex、GitHub Copilot 和 Gemini CLI 检出锁定的 commit 之后,都没有核对检出结果是否真的落在那个 commit 上。git 允许分支名长得像哈希,引用有歧义时会解析到分支,于是版本号显示正确,跑的却是另一份代码。

攻击有两条路:先提交一个干净的插件通过审核,之后在分支上换成恶意代码,或者劫持正规作者的仓库。Claude Code 和 Codex 默认在后台自动更新插件,市场一旦更新锁定的 SHA,替换就会推到所有已安装的机器上,零点击的说法就是这么来的。

GitHub 本身禁止形似哈希的分支名,托管在 GitHub 上的插件不受影响,Bitbucket 和自建 git 服务器则不拦。修复情况是 Claude Code 2.1.179、Codex 0.146.0 起已修;GitHub Copilot 目前没有补丁;Google 选择弃用 Gemini CLI,让用户迁到 Antigravity CLI。暂无在野利用的报告,研究者建议对第三方来源的插件先关掉自动更新。

The Hacker News →