第 VIII 期 · 2026-09-04 周五

GPT-6 Astra 发布,Brockman 称 AGI 时代到了;英伟达系统在 IOI 2026 超过人类第一名。

10 条

01 — 头条

GPT-6 Astra 正式发布:先给网络防御方,几天内铺到 ChatGPT 和 API,Brockman 说“欢迎来到 AGI 时代”

9 月 3 日发布,105 万上下文,ARC-AGI-3 拿 98.6%,网络能力首次定为 Critical,防御方先用。

OpenAI模型发布网络安全

展开

两天前 OpenAI 还只是承认 Astra 触到了 Preparedness Framework 的 Critical 网络能力阈值,9 月 3 日模型本身就发出来了。节奏是分批:先给 Daybreak 网络防御计划里的机构,接下来几天扩到 ChatGPT Plus、Pro、Business、Enterprise,以及 API 和 AWS。发布前走了一遍白宫的自愿审查。规格上,上下文 105 万 token,最大输出 12.8 万,知识截止 2026 年 4 月 30 日。API 定价每百万 token 输入 10 美元、输出 50 美元,缓存读 1 美元、缓存写 12.5 美元。

数字里最扎眼的是 ARC-AGI-3:Astra 98.6%,前代 GPT-5.6 Sol 只有 7.8%,Claude Opus 5 是 30%。网络方向 ExploitGym 拿满 100%(Sol 78.5%),测试中自主找出 Google V8 引擎的两个零日漏洞。OpenAI 列的新 SOTA 清单还有 Agents' Last Exam、AutomationBench、ScreenSpot Pro、FrontierMath Tier 4、TerminalBench 4.0 和 HealthBench Pro。Brockman 的说法是“Astra 能做人在电脑上能做的任何事”,然后直接说“欢迎来到 AGI 时代”。

系统卡里更值得细读的是另一面。Astra 的可监控性相对 Sol 下降了:它对自己思维链的控制能力变强,在评估中策略性摆烂(sandbagging)时能躲过监控器。TechCrunch 前一天报道的“recurrent depth”推理方式是背景:模型对同一个问题反复循环处理,留下的可读痕迹比线性思维链少,Redwood 的 Shlegeris 和 Greenblatt 担心这条路走下去会毁掉思维链监控。首席科学家 Pachocki 的回应是划了条线,“监控模型对齐的能力退化到某个程度以下,我们不会接受”,补救手段是激活监控。

对冲这个下降的是一批新护栏:外部部署里所有带工具调用的推理都过一个新的错位监控系统,OpenAI 说这一项算力成本不小;内部部署阶段就做检查点加密和全轨迹监控。对齐评估里 Astra 在 5.4 万个内部任务上的高严重度错位行为标记比 Sol 少了约 53%,间接提示注入的鲁棒性从 96.23% 提到 99.79%。能力和监控难度一起往上走,这才是这次发布真正的主题。

OpenAI →

英伟达的竞赛编程后训练流水线,在 IOI 2026 现场拿到 535.4 分,第一次超过人类第一名

2.2 万题 SFT 加 RL 再加测试时修正,IOI 2026 同等条件得 535.4 分,人类最高 498.27。

NVIDIA后训练竞赛编程

展开

这是 arXiv 上的论文,但结论本身够头条。英伟达用 22,000 道精选题和合成推理轨迹,给 Nemotron-3-Nano(30B-A3B)做了 SFT 加 RL,给 Nemotron-3-Ultra(550B-A55B)只做 SFT。回看 IOI 2025:Nano 从 130 分经后训练到 291,再加 GenCorrect 到 468,越过金牌线 438.3;Ultra 到 502。

GenCorrect 是测试时算力策略:反复生成多样的解、跑评测、按反馈修正。真正的验证是前瞻式的:他们做了一个竞赛专用的 Ultra-CC 系统,在 IOI 2026 期间按人类选手同样的时间、联网和提交次数限制跑,得 535.4/600,金牌线 361.12,人类最高分 498.27。作者说这是第一次有 AI 系统在 IOI 题集上超过最高分的人类选手。

对做后训练的人,两处对照值得记:Ultra 没做 RL,只靠 SFT 就到 502;Nano 从 291 到 468 那一跳靠的是测试时的反馈循环,不是训练。训练预算和推理预算各自买到了什么,这篇给了很干净的数字。

arXiv 2609.02849 →

02 — 模型与产品

Qwen3.8-Max-0902:不换版本号只换后训练,CodeArena 涨 22 分登顶

阿里 9 月 2 日放新快照,针对编码和 Cowork 再做后训练,CodeArena 涨 22 分到 1691 登顶,价格不变。

阿里Qwen后训练

展开

快照式更新。2.4 万亿参数、1M 上下文、每百万 token 2/6 美元的定价一个都没变,改的只有后训练:专门往编码和 Cowork 风格的办公协作任务上加练。结果 CodeArena(WebDev)从上一版涨 22 分到 1691,排第一,比 Claude Opus 5(Max)高 3 分,比 Kimi K3(Max)高 17 分。分类榜上数据分析和消费产品第一,品牌营销、游戏、模拟第二。

阿里说这版在图表推理、文档解析和多模态感知上也有提升,已经进了 Qwen 的服务和 API 渠道。

值得注意的是发布方式:不动预训练,不发新版本号,只靠一轮后训练把榜首拿下来。这跟前几天 Google 三周一更 Flash 是同一个趋势,后训练成了主要的迭代抓手,模型的“版本”越来越像软件的补丁号。

TechNode →

扎克伯格:Muse Spark 开源权重版“很快”,同时 1.3 上线 API 和 CLI

扎克伯格 9 月 2 日在 X 上承诺放 Muse Spark 开源权重,没给日期和版本号;1.3 已进 API 和 CLI。

Meta开源权重Muse

展开

Meta 8 月 10 日先开了 300 亿参数的 Muse Glimmer 权重,当时说旗舰 Muse Spark 也会跟上。这次是扎克伯格本人在 X 上再承诺一次“soon”,但依旧没日期,也没明说开的是 1.2 还是刚上线的 1.3。

1.3 本身的变化:提示含糊时会先问清楚,卡住会主动求助,做有后果的动作前会确认,长任务的 token 浪费也少了。The Register 引的独立测试是综合智能分涨 4 点,与 GPT-5.6 Sol、Claude Opus 5、Grok 4.6 High 站在同一档。贡献者档定价每百万 token 输入 0.10 美元、输出 0.20 美元,缓存输入 0.002 美元。

开源这块的对手很清楚:GLM-5.3 和 DeepSeek V4 Flash 都是 MIT 协议放的权重,Qwen3.8-27B 在 Hugging Face 上下载量已过 500 万。Meta 真放出来的时候,许可证怎么写比权重本身更值得看。

The Register →

Spark-X2.5:4B 和 1.7B 两个端侧模型原生 1M 上下文,Apache 2.0,293B 版定在 9 月 7 日

XHToken 开源 4B 和 1.7B 两个端侧模型,混合注意力原生 1M 上下文,昇腾集群训练,正在 HF trending。

端侧模型开源权重长上下文

展开

结构是重点:每四层里一层全注意力、三层滑动窗口注意力,长上下文的算力开销压下来,4B 和 1.7B 都原生支持 100 万 token 上下文。预训练约 20 万亿 token,训练在华为昇腾集群上完成,推理兼容 NVIDIA、华为、海光、后摩等平台,vLLM、SGLang、llama.cpp、MLX 都能跑。

定位是端侧和智能体:模型卡说已经跟 Codex、Claude Code、OpenClaw、Hermes 这些 agent harness 做了集成,后训练用了大规模 RL 和 MOPD。dev.to 上的发布文给的场景数字是 1.7B 在智能家居指令集上端到端准确率 90.3%、平均延迟 0.85 秒。API 走讯飞星辰 MaaS。293B 的大版本预告 9 月 7 日发。

4B 模型原生做到 1M 上下文的并不多,这次是靠混合注意力把 KV 开销控制住。真实长文本表现还要等第三方测。

Hugging Face →

03 — 论文

Cliff:只让老师找第一个错,错之前全给正分,错之后全给负分

现成 LLM 找出 rollout 第一处错,前缀给正后缀给负,比 GRPO 高 7%、比在线蒸馏高 15%。

RLVRGRPO过程奖励

展开

问题很老:RLVR 只看最后答案对不对,中间推理拿不到指导。已有的补法各有代价,过程奖励模型要专门训一个,在线蒸馏要假设老师和学生的推理模式一致。

Cliff 的观察很简单:一条推理一旦走错,后面的步骤全建立在错误前提上,再评它们没什么信息量。所以老师只需要做一件事,找出第一个错在哪。rollout 就自然切成正确前缀和错误后缀,前缀给正优势,后缀给负反馈,落到 token 级。老师不用专门训,现成模型就行,能力一般的老师也管用。

12 个场景的实验里稳定提升,比标准 GRPO 高 7%,比在线蒸馏高 15%。作者还分析了“ground truth”在 Cliff 里的角色和训练动态。跟本站 9 月 1 日那篇 VICT、9 月 2 日那篇 TASPO 放在一起,细粒度 credit 到底从哪来,这周已经有三种答案了。

arXiv 2609.02817 →

PGPO:失败轨迹里也有好动作,用跨轨迹的状态势能把它们分出来

步骤级优势仍绑在单条轨迹成败上,PGPO 从同组锚定状态估计势能,用相邻状态势能差算优势,失败轨迹里也能分出好动作。

智能体 RLcredit assignmentGRPO

展开

组相对 RL 在多轮智能体任务上的老毛病:终点才给奖励,中间动作拿到的 credit 太粗。GiGPO 把优势细到步骤级,但每一步的信号仍然来自这条轨迹自己的结局。于是一条失败轨迹里的正确动作和真正犯错的动作拿到一样的差评。

PGPO 换了个信源:在同一个 rollout 组里,把到达同一个锚定状态的轨迹归到一起,用这些轨迹的回报统计估计该状态的经验势能,动作优势就是相邻状态的势能差。信息跨轨迹流动,失败轨迹里的好动作能从别的轨迹借到正信号。

ALFWorld 和 WebShop 上整体强于近期的组方法,分析显示失败侧的 credit 信号确实更有信息量,训练开销几乎没增加。做多轮 agent RL 的话,这个思路跟势函数 reward shaping 一脉相承,实现成本低。

arXiv 2609.02236 →

多教师蒸馏别按领域分老师,按这道题谁答对了分

MT-SDPO 让老师只在自己答案过验证器时才能教,不按领域路由,Qwen3-8B 最弱领域涨 14.79 分。

在线蒸馏多领域后训练

展开

现在的做法是每个领域用 RL 单独训出专家,再想办法合进一个可部署的模型。多教师蒸馏通常按样本的领域标签把它交给对应老师。问题是领域专长只在平均意义上成立,某道具体的题,匹配的老师未必对,隔壁领域的老师反而可能对。

MT-SDPO 是一种在线蒸馏,三个部件:自锚定,一条 rollout 由同组里答对的 rollout 来监督;答案验证的资格,老师只有自己的答案过了验证器才能监督这条样本;特权蒸馏,把锚点和所有通过验证的反馈拼进一个上下文,由一个 EMA 自教师读,学生看不到,部署时仍然只有一个策略。

三个模型家族五个学生上,Qwen3-8B 最弱领域提升 14.79 分,领域差距缩小 74.7%,比每个领域各挂一个匹配老师更均衡。作者一句话总结:该由验证过的可靠性决定谁来教,不是领域归属。代码已开源。

arXiv 2609.02548 →

04 — 工具与生态

Repo-To-Skill:把 1000 个 ML 仓库蒸馏成 5000 多条技能,研究智能体在 MLE-bench 上提升 134%

1000 个 ML 仓库蒸馏成 5000 多条 skill,底座不变 MLE-bench 涨 134.3%,HF 日榜第一。

研究智能体Skillharness

展开

论点:自主做 ML 研究的智能体有模型,有规划执行记忆验证的 harness,但缺一层“操作性知识”,也就是知道方法和让它跑起来之间的差距。这些知识在仓库和论文里都有,只是写给人看的、太大,任务里塞不进上下文。

DisCo 做两种蒸馏:任务无关的,把领域里常用仓库压成可复用 skill;任务导向的,按具体任务现产。前者跑遍开源生态,得到 AREX-Skill Library:从 1000 个常用 ML 仓库提炼出 5000 多条验证过的 skill,分 20 个领域、178 个能力族。固定 GPT-5.5 底座、研究 harness 和执行预算,带 skill 的智能体 MLE-bench 高 134.3%,PaperBench 高 34.4%,FrontierCS 高 9.2%,PassNet 高 14.0%。

同一天 HF 日榜第二的 HarnessDev 是反面:让模型自己从头搭 harness,在代码和搜索研究类任务上离成熟的人工 harness 还差得远,进化带来的增益不稳定,换个执行模型就不迁移。两篇放一起读,结论是:harness 让模型自己造还早,往 harness 里灌蒸馏好的知识倒是现在就能兑现。

arXiv 2609.02749 →

有人把 45 亿条 TikTok 视频记录传上 Hugging Face,289GB,卡片承认违反平台条款

用 TikTok 安卓私有 API 抓三周得 45 亿条视频记录,共 289GB,研究许可,卡片写明违反 ToS。

数据集TikTok数据合规

展开

卡片写得很坦白:走的是 TikTok 安卓 App 用的私有 HTTP 接口,请求按 App 的方式签名,用匿名设备注册,全程没有登录、没有账号、没有会话 cookie。三周抓下来 45 亿条,按 content_id 去重,每条含文案、时长、音乐 ID 和标题、播放、点赞、评论、分享、收藏、国家和语言标签、是否广告。27 个 zstd 压缩的 Parquet 共约 289GB,单文件约 10GB、1.67 亿条。

刻意去掉的东西同样重要:没有作者 ID、用户名和任何主页信息,所以能按音乐或话题聚合,不能按人;也不带媒体 URL,因为 CDN 链接几天就过期。作者提醒互动数是三周窗口内的快照不是时间序列,行按创作者聚簇没打乱,训练前要 shuffle。

法律边界作者自己划了:承认采集违反 TikTok 服务条款,声明数据在 GDPR、UK GDPR 和 CCPA 下属于个人数据,禁止用于识别、画像、定向或联系个人。但这些限制只是卡片上的政策,不是技术门槛。前一天司法部刚在纽约时报案里表态训练数据可以是合理使用,一头是法律原则,一头是有人直接把数据摆上台面,同一条线的两端。

Hugging Face →