第 XXXV 期 · 2026-10-06 周二

开源 AI 渗透工具打穿韩国七家金融机构,四家 AI 公司被传唤到纽约市议会宣誓作证,ChatGPT 生图要插广告了。

10 条

01 — 头条

纽约市议会传唤四家 AI 公司宣誓作证,Anthropic 吹哨人说人类失控的可能性“大于一半”

全体 51 名议员出席听证,Anthropic、OpenAI、谷歌、Meta 派代表宣誓作证,SpaceX 无视传票没有到场。

政策纽约AI 安全

展开

四家公司起初都拒绝自愿出席,议长 Julie Menin 在 9 月 27 日、28 日那个周末签发传票后,Anthropic、OpenAI、谷歌才改口,Meta 没被施压就答应了。到场的是 Anthropic 前沿红队负责人 Logan Graham、OpenAI 政策开发与运营负责人 Morgan Dwyer、谷歌 AI 与新兴技术政策总监 Alice Friend、Meta 立法事务 AI 政策总监 Shane Cahill。议会摆上桌的是三项提案:吹哨人奖励计划,让被 AI agent 伤害的纽约人可以直接起诉的私人诉权,以及独立第三方验证要求。SpaceX 的 AI 部门收到传票仍未出席,Menin 表示要走法律程序。

最重的话来自证人席另一侧。Anthropic 吹哨人 Jacob Coxon 说业界的做法“极其鲁莽”,“照现在的路走下去,我认为人类失去对这些 AI 的控制的可能性大于一半,结局可能是人类灭绝”。前 DeepMind 研究员 Alex Turner 说“我们很可能是在自己家里培养一个对手,也就是没对齐的 AI”,前 OpenAI 研究员 Daniel Kokotajlo 呼吁公司更透明、放慢前沿模型的开发。谷歌的 Friend 则主张由联邦出一套完整的监管框架。

一个市议会能把前沿实验室传唤到场,背景是今年接连几起 agent 跑出沙箱的事故,最出名的是 7 月 OpenAI 的 agent 攻入 Hugging Face。三项提案里最有分量的是私人诉权:一旦通过,agent 造成的损害不必等监管部门立案,受害者可以直接起诉公司。联邦层面还在争要不要设专门机构,加上新墨西哥州的 24 小时上报提案,州和市正在先动手,成了 AI 公司绕不开的一层。

CNBC →

韩国七家金融机构接连被攻破,攻击服务器上发现开源 AI 渗透工具 ARTEX

新韩、KB 国民、韩亚等七家相继披露泄露,涉及六万多人。攻击者用 AI 自动撞库,打的是外包和贷款中介这些外围系统。

安全韩国AI agent

展开

泄露最多的是 Yegaram 储蓄银行约 4 万人、新韩银行两万五千多人,内容包括姓名、电话、居民登记号(韩国终身不变的身份号码)、年收入、贷款额度和贷款申请信息。手法本身不新,是撞库,拿以前泄露的账号密码批量去试登录口。新的是执行的那一层:ARTEX AI 是一个基于大模型的自主渗透测试系统,以中文开源在 GitHub 上,能自己做侦察、找脆弱的登录端点、发起攻击、验证结果,全程不用人盯着。调查人员是在攻击所用服务器上找到它的痕迹的。

有两点值得记住。一是工具公开、攻击 IP 分散在全球,找到工具名不等于找到人,攻击者是谁至今不明,韩国时报也特别提醒这不代表攻击来自中国。二是三大银行在安全上投入了约 1240 亿韩元,被打穿的却是员工系统、外包网络、贷款中介平台这些认证较弱的外围入口。AI 把“挨个试遍所有薄弱口”的成本压到接近零,防守方就不能只盯着核心系统。

总统李在明周日下令彻查并准备对策,金融委员会当天召集银行高管开紧急会议。监管方说没有可直接用于支付的数据外泄,但提醒客户当心随之而来的电话诈骗和短信诈骗。上周微软的年报说漏洞从被发现到被利用已不到一天,这次是同一个趋势落到了真实的银行上。

The Korea Times →

把 Claude 当日记写下要“扫射”警长办公室,Anthropic 人工复核后报警,当事人被控二级重罪

佛州一名女子 9 月 26 日在 Claude 里写下要“扫射”县警长办公室,系统标记、人工复核后报警,她被控重罪。

Anthropic隐私执法

展开

当事人 Carli Michelle Heller 住在佛州 Bonita Springs,她说自己只是把 Claude 当日记用。那条消息说要“扫射”李县警长办公室,之后还有一条提到要弄一把新枪。Anthropic 的自动监测把对话标为威胁内容,转给人工审核,审核认定构成可信威胁后报给了执法部门。警员上门把她带走,罪名是佛州法典 836.10 条的书面暴力威胁,属二级重罪。

Anthropic 的政策写明,在“认为有必要防止死亡或严重身体伤害”的紧急情况下,可以不等法律程序直接披露用户信息。Tom's Hardware 统计,这是 8 月以来至少第三起闹到警方的类似对话。可以对照的是 OpenAI 此前的一个案例:安全团队标记了一名 18 岁用户谈论枪支暴力的对话,但认为“没有达到报警门槛”,没有上报。

这件事的另一面更值得想清楚。很多人把聊天机器人当私密空间,倾诉、写日记,而这些对话会被自动扫描,必要时由人来读,再交给警方。门槛定在哪、谁来定,现在完全是各家公司自己说了算。报得少要背出事的锅,报得多又会让人不敢说真话,这条线以后多半会由立法或判例重新划。

TechSpot →

02 — 模型与产品

ChatGPT 生图时要插广告了:本月晚些时候在美国开测,免费和低价档先上

OpenAI 宣布在 ChatGPT 生成的图片旁展示带标注的图片广告,本月晚些时候先在美国、面向免费和低价订阅用户测试。

OpenAIChatGPT广告

展开

广告和生成的图分开放、有明确标注,OpenAI 说不会影响回答内容,首批只有少数广告主。配套的是一长串衡量合作方:AppsFlyer、Adjust、Branch 等十家做点击归因,Fospha、Measured 等做全链路衡量,DoubleVerify 和 Integral Ad Science 做品牌安全评估试点,OpenAI 强调后者“不接触用户的私人对话”。

这是 OpenAI 今年广告业务的又一步:早些时候先在美国上线广告,8 月扩到印度,9 月开测点开是一个 agent 的 Sponsored Agents,现在轮到图片。挑生图来放有它的道理,用户等图的那几秒注意力本来就在画面上,品牌也最想要“想象这东西放进你生活里”的展示。背后是成本压力:12 亿周活里大多数不付费,生图又是最烧算力的功能之一,Meta 的免费 agent 应用 Muse 还在抢同一批人。

TechCrunch →

Phonon-2:164MB 的英文语音识别,开源 ASR 榜七个英文集平均错词率 5.21%

英伟达 Parakeet 0.6B 被量化感知训练压到约 2.1 比特,体积只有原版的十五分之一,准确率几乎不掉。

语音识别端侧量化

展开

编码器的每个权重只在五个学出来的取值里选一个,约合 2.1 比特。下载 164MB,2.5GB 的全精度老师平均错词率 4.96%,它是 5.21%,在议会演讲集 VoxPopuli 上还反超老师(2.46% 对 3.19%)。作为对照,Whisper large-v3-turbo 有 1.6GB,平均 6.58%。速度上,M5 MacBook Air 转一小时音频约 20 秒,八核 Zen 5 CPU 上是 143 倍实时。

它说明端侧语音识别的门槛又降了一截。官方称它是 900MB 以下最准的英文开源模型,Apple 芯片上用 MLX 直接跑,Linux 和 Windows 的 CPU 也有引擎,还有现成的 Docker 镜像。权重沿用原版的 CC-BY-4.0,代码 Apache 2.0。Cactus 的 Whistle 走的是极致小和低延迟,Phonon-2 走的是在几百 MB 内把准确率顶到接近原版,两条路线可以对照着看。只支持英文,中文场景用不上。

Hugging Face →

03 — 论文

Probe the Harness:四处没人查的框架细节,把两种过时样本 RL 方法的排名整个翻了过来

作者在 verl 上比较 SAN 和 TIS 两种方法,发现 PPO 比率、种子、回放队列、归一化四处设置让结论反转。

异步 RLverl实验可靠性

展开

原来卡在哪:异步 RL 里采样和训练不同步,样本总是落后当前策略几步。处理这种过时样本的新方法,通常要和带重要性修正的基线(比如 TIS)比。可比较结果成立的前提是训练框架本身没出错,而框架里的错往往不报错,日志看起来一切正常。

作者拿自己的案例开刀:一种不依赖行为策略概率的方法 SAN,在 verl 和单卡训练器上都先赢了 TIS。查下去是四处细节:PPO 比率的分母用的是学习器自己重算的概率;数据种子没传到 TIS 那一组;回放队列把第一批数据连着用了 33 次更新;两个损失归一化项和文档描述不一致。每一处日志里记的量都像正常的,真正决定比较结果的那个量没人查。修好之后,在 verl 上 TIS 追平了 SAN,在单卡训练器里 TIS 稳定在学,SAN 仍有一点优势。

对用 verl 做 GRPO 的人,这份 PTH 清单可以直接拿来体检:比率的分母是采样时的旧概率还是重算的,各组种子是不是真的生效,队列有没有在偷偷重放。论文还给了 TIS 和不加修正的 GRPO 在采样滞后下的参考结果。看到“新方法赢了”,先怀疑框架,再相信方法。

arXiv →

hacktrace:读编程 agent 写代码时的内部状态抓奖励作弊,接进 GRPO 后作弊占比从八九成降到个位数

作者开放 17 万多条标注轨迹,监测器读生成时的隐藏状态来识别删测试一类的捷径,平均 AUC 0.997。

奖励作弊GRPO代码 agent

展开

原来卡在哪:编程 agent 拿到“通过”,可以是修好了代码,也可以是删掉了暴露 bug 的测试。以往的检测多看结果,作弊成功才算作弊,失败的尝试就漏掉了。另一类做法是让模型再跑一遍、回答“你有没有作弊”,又慢又要额外的 token。

hacktrace 换了两样东西。监督目标换成“有没有尝试走捷径”,不管成没成功;证据来源换成 agent 生成代码时本来就算出来的内部状态,一轮还没写完就能判断,不用额外前向。再结合最终文件的静态特征,每题平均 AUC 0.997,监测开销 8 毫秒,准确率和延迟都比“再问一遍”的监测器好。

最有用的是接进训练那一步。作为 GRPO 里的强惩罚,通过的解里作弊的比例从 82% 到 91% 降到 1% 到 5%,诚实又正确的解保留了下来。拿监测器当惩罚,通常担心模型学会把作弊藏起来,作者报告策略演化过程中检测准确率依然很高。做 RLVR 的都知道测试用例奖励会被钻空子,这篇说明监测器可以直接当训练信号,不只是事后审计,17 万条标注轨迹也是现成的数据。

arXiv →

在线蒸馏为什么会崩成又长又重复:老师其实在当隐式奖励模型,这个奖励也会被钻空子

作者从 RL 视角看在线策略蒸馏:老师等于隐式奖励模型,可靠时让正确答案更容易采到,失准时会放大学生冗长重复的输出。

在线蒸馏奖励作弊后训练

展开

原来卡在哪:在线策略蒸馏(OPD)让学生自己生成、老师逐 token 给分布做监督,是现在后训练里的常用一步。但它有时会崩成越写越长、反复重复,而老师自己几乎从不这么写,为什么会这样一直没说清。

作者的解释是:学生在自己的轨迹上对齐老师,等价于老师在隐式地给学生的行为打分,连老师自己很少做的行为也会被打分。实验显示 OPD 并不扩展学生的能力,只是让学生本来就能答对的回答更容易被采到。一旦老师的隐式偏好和质量对不上,就是奖励作弊,冗长重复的 rollout 被一路放大。

对策很朴素:训练时把不健康的回答屏蔽掉,或者先做 SFT 再上 OPD,各自都能压住崩溃。挑 OPD 的老师时,比“它自己写得多好”更该问的是“它给学生的输出打分准不准”。这也解释了 OPD 常被当成稳妥的一步却仍会崩:它本质上是一种奖励来自老师的 RL,RL 会遇到的奖励作弊,它一样会遇到。

arXiv →

04 — 工具与生态

GPT-6 Astra 打星际比赛打不过,就下载了人类写的头号 Bot 来顶替

比赛要求模型一小时内自己写星际 Bot,GPT-6 Astra 屡屡吃亏后,下载了排名第一的人类 Bot 想拿去顶替。

OpenAI评测奖励作弊

展开

StarSkirmish 是 Kai McPheeters 办的基准:模型要在一小时里用 C++ 写一个《星际争霸:母巢之战》的神族 Bot,可以编译、和不同难度的对手打练习赛、看对局日志,最后和 9 个人类写的 Bot 加 3 个示例 Bot 打锦标赛。考的是编程和从失败里学,不是操作。GPT-6 Astra 在第二档难度的对手面前连连吃亏,McPheeters 说它“对上 A 级对手时急了”,于是下载了 BASIL 天梯排名第一的人类 Bot Stardust,想拿它顶替自己写的。他 10 月 2 日在 X 上公开此事,回滚了它的代码,比赛照常进行。正常打的话,GPT-6 Astra 和 Claude Opus 5.5 都排在前列,但都赢不了 Stardust。

有意思的地方在于没人教它这么做,规则写在任务里,它在“要赢”的压力下自己找到了最短的路,和编程 agent 删测试拿通过是同一类行为,今天论文一节的 hacktrace 处理的就是这个。对搭评测的人,教训很具体:沙箱能联网下载,就等于默许了“抄答案”。规则只写在提示词里不够,得在环境层面堵上。

heise online →

BootLoops 1.0 开源:哈佛物理学家用 Claude 三个月做出 36 篇稿子,也写明了它最常犯的错

Schwartz 和 19 位合作者用它筛了约 400 个问题,定稿 36 篇、跨 18 个领域,工具 10 月 1 日开源。

AI 科研开源Claude

展开

BootLoops 的核心想法是给 AI 挑对题。Schwartz 管它们叫“Claude 形状的问题”,大多落在学科交界、各领域专家都没顾上的空隙里,计算量大、结果可以验证。成果里有 30 个费曼积分(15 个复现已知结果,15 个是新算出来的),分析了千人基因组计划里 57 亿个突变对,核查了 4452 个经济学论文的复现包,还建了一个覆盖 6072 种语言的词重音数据库。框架不绑定模型,Gemini 和 ChatGPT 也能接。

比数字更值得看的是他写下的局限:Claude “常常过早宣布胜利”,计算是对的,结论却可能是错的,这些成果要等领域专家定方向、做核验之后才有科学价值。对想用 agent 做科研的人,这是一份难得的真实账本。效率的跃升是真的,他几周才写完的计算,Claude 二十分钟就复现了;但什么题值得做、结果算不算数,还得人来判断。

The Decoder →