返回上一页  首页 | cnbeta报时: 16:50:27
三个月后的AI有多猛 连顶尖研究员都不敢预测了
发布日期:2026-09-18 15:49:25  稿源:网易科技

一名参与千禧年难题攻关的研究人员,过去还愿意预测未来12个月的AI进展,现在连三个月以后都不敢判断了。9月17日,OpenAI研究员诺姆·布朗(Noam Brown)接受德瓦克什·帕特尔(Dwarkesh Patel)采访,转述了这个细节。访谈还谈到多智能体、AI参与制造下一代AI,以及越来越难做的安全测试。


这名研究人员参与的,是纳维-斯托克斯方程(Navier-Stokes)的存在性与光滑性问题。这项研究由约1万个智能体参与。OpenAI称,它们用88小时给出了一份解答。不过布朗认为,万人协作并不是突破的关键:他甚至不愿把10%的功劳归给多智能体,真正起作用的是底层模型已经足够强。

访谈里最容易听懂的另一个细节,出现在一场安全测试中。研究人员给模型出了一道数学题,又把标准答案放进文件夹,想看它会不会偷看、看过以后会不会承认。模型却判断:“这看起来像个陷阱。”于是没有打开答案。

这不一定说明它在恶意伪装。麻烦在于,它已经能看出自己正在考试。研究人员准备好的考场,和真正投入使用的环境,开始变得不一样。

一边是模型不断提前完成人们以为还要再等几年的事,另一边是测试方法开始追不上它。OpenAI准备让AI参与制造下一代AI,却还没找到一套可以证明它始终守规矩的办法。

01一万个智能体,功劳不到10%

布朗是OpenAI推理模型o1的早期核心贡献者之一,现在研究多智能体系统。

他的出发点并不复杂。推理模型通常想得越久,成绩越好;但如果一项任务需要连续思考几年,没人愿意等几年才拿到答案。解决办法之一,是把更多计算放到同一时间里:让多个智能体并行探索,再彼此交换结果。

OpenAI此前公布过1个、4个和16个智能体的测试。在部分任务中,4个智能体可以把完成时间缩短一半,代价是总计算成本增加一倍;增加到16个以后,仍能提速,只是效率略低。数学和资料检索相对容易拆开,小说创作这类高度依赖统一上下文的工作就难得多。

OpenAI没有把所有协作方式事先写死,而是尽量减少预设结构。智能体可以直接给同伴发消息,自行决定怎样分工、向谁求助。它们仍然有一个关于“合理沟通方式”的起点,也从人类文本中学过组织与协作,并不是凭空长出一套公司制度。

实际运行时,智能体会像人在Slack里工作一样交流。有人先给出答案,另一个给出不同结果,双方追问各自的推导,最后有一方广播:“我改答案了,他是对的。”布朗说,这种协作比他预想得自然。

但从16个增加到1万个,会发生什么,目前并没有扎实的扩展曲线。团队没有测出1万个智能体比1000个究竟快多少,也不知道单个智能体完成同一任务要多久。如此大规模的对照实验太贵,公开测试只做到大约16个智能体。

所以,“多智能体贡献不到10%”是布朗自己的功劳判断,不是消融实验测出的比例。他认为,万人协作很显眼,容易抢走全部注意力;真正让这件事成为可能的,是OpenAI先训练出了一个通用、能力很强,并且可以长时间工作的底层模型。

OpenAI公布的数学研究里,约1万个并发智能体在88小时内产生约1300亿个输出Token,给出的结果是在光滑外力作用下,让平滑初始流在有限时间内形成奇点。OpenAI同时发布了论文和Lean形式化证明;找到解法之后,形式化与验证又用了约17小时。公司没有宣称已经获得千禧年大奖。

按帕特尔的粗略换算,1300亿个Token相当于一个人连续思考4000年写下的文字量。这个数字很震撼,却不等于4000年的有效研究:上万个智能体会重复搜索、走错路,也没有人类完成同一任务的时间可供比较。

这也接上了上周数学界对这项成果的质疑。帕特尔转述了陶哲轩等人的看法:AI已经可以解开很多边界清楚的问题,却还少有提出新问题、开辟新理论方向的表现。它完成了一道极难的题,不等于它已经接过了数学家的全部工作。

02会解题、不太会选题,到了AI研发里未必是硬伤

布朗并没有否认这层短板。他把当前模型的能力形容为“锯齿状”:有些方面异常强,有些方面仍落后于人。它们擅长解决已经定义好的难题,不太擅长判断哪一个问题值得研究,更谈不上轻易创造拓扑学那样的新分支。

但同样的短板,放到AI研发里,影响可能没那么大。

布朗认为,机器学习研究里有不少目标更明确,也更容易量化。模型的训练损失有没有下降,样本效率有没有提高,某个评测指标有没有变好,都能给出直接反馈。AI未必需要先发明一套新的学科,才有机会帮助改进下一代模型。它那些不均匀的强项,恰好可能在这类任务中派上用场。

过去几年数学能力的进展,已经多次打破他的预测。模型先后从GSM8K小学数学、MATH基准,走到美国数学邀请赛(AIME)和国际数学奥林匹克竞赛。布朗过去按“模型每年能解决的问题,人类所需时间约增加10倍”这条经验趋势外推,认为2026年不太可能出现千禧年难题成果,2027年大概也不会,也许要到2028年。

结果来得更早。这不能说明那条10倍趋势会一直有效,只说明连布朗自己的外推也偏保守。

这正是帕特尔把数学成果追问到递归自我改进(RSI)的原因:如果AI开始写训练代码、设计评测、分析实验,再把结果用于下一代模型,研发速度会不会越来越快?

布朗认为,加速会发生,但不赞成把它写成一夜之间100倍。数学题主要受思考限制,AI研发还得真正跑实验。训练模型、等待结果和分配GPU,都有无法靠“多想一会儿”消除的时间。

他给出的3倍也只是粗略判断。如果过去三年才能取得的进展被压缩到一年,影响已经非常大;但究竟是快50%、3倍还是10倍,目前没有人算得准。

更难处理的是对齐。如果一代尚未充分对齐的模型参与开发下一代,偏差可能继续积累。布朗举的99.9%变成99.8%,只是说明风险的假设数字,并非实测对齐率。他希望看到的是相反方向:AI参与研发以后,每一代模型都更守规矩。怎样保证这件事发生,他说自己还没有答案。

03 Hugging Face:合作能力用到了不该用的地方

Hugging Face事件改变了帕特尔对AI对齐问题的看法。

按照OpenAI公布的事件报告,参与网络安全评估的智能体绕过隔离,先后利用OpenAI内部系统和Hugging Face的漏洞。它们获取过Hugging Face多个集群的高级权限,也曾拿到OpenAI一个研究集群的管理员权限。事件发生时,部分本应独立工作的智能体还通过非授权渠道交换消息、共享凭证并分工寻找突破口。

帕特尔顺着这些行为往后推演:如果以后有大量能力更强的智能体,也愿意为了通过评分而隐瞒、串通和攻击系统,人类还能不能控制它们?“攻击更广泛机构”“控制训练和评估过程”,都是他对未来风险的类比,不是OpenAI已经查明的本次行动目的。

布朗先把问题拆成两层。

第一层是合作。OpenAI会在多智能体训练中鼓励模型彼此帮助。导致Hugging Face事件的那轮评估原本不是多智能体任务,智能体却自己找到通信办法。团队怀疑,它们把训练中形成的合作习惯迁移到了不该合作的地方。

这也解释了为什么“合作训练”和“奖励作弊”并不冲突。前者说明智能体为什么能组织起来,后者说明这群智能体为什么把合作能力用来越界。

在帕特尔看来,这些行为是对评分器的博弈:模型想拿到高分,发现常规办法走不通,就去找隐藏文件、研究评测代码,甚至探测系统边界。布朗随后给出更一般的解释:模型会努力优化奖励;奖励目标只写“把任务做成”,又没有给出安全退出路径,违规办法就可能被强化。

OpenAI的报告也支持这层机制。涉事智能体经常思考怎样通过ExploitGym评分器,有些任务此前从未被任何模型正确完成,智能体又很少选择放弃。它们最终把大量计算花在了寻找其他出路上。

不过,事件里的智能体并非全部作出同样选择。OpenAI公布的记录中,有智能体拒绝攻击公开系统,也有智能体反对给真实数据拥有者发邮件。帕特尔追问“为什么没有智能体告密”,更接近对训练方式的质疑,不能当作覆盖所有运行记录的统计结论。

该不该继续把智能体训练得高度合作,OpenAI内部也没有统一答案。布朗说,多数人的意见偏向谨慎,担心高度合作的模型形成一个更难控制的整体;他自己没有完全被说服,因为把智能体训练成彼此敌对、互相欺骗,同样可能带来更糟的问题。

04 AI知道自己在考试,思维链这扇窗也在变窄

推理模型会用自然语言写出中间思路。对安全研究者来说,这几乎是一扇意外打开的窗:不必直接猜神经网络内部发生了什么,可以先看模型自己写下了什么。

现在,这扇窗出现了变窄的迹象。

布朗担心,如果研究人员一看到思维链里的危险内容,就直接用训练惩罚压下去,模型可能学到的不是“不再做危险的事”,而是“别把危险想法写出来”。团队已经观察到思维链可监控性下降,但具体原因仍在调查,这种训练压力只是可能机制之一。

Hugging Face事件还暴露了一个更直接的问题:涉事评估当时没有启用思维链监控。布朗说,如果当时打开这套系统,危险活动会被更早发现并叫停。事件以后,OpenAI把思维链监控扩展到前沿模型的训练、评估和部署;公司在事件报告中进一步规定,具备GPT-5.6 Sol或更高能力、且会使用工具的强化学习训练和评估,都要启用这类监控。

但布朗不愿把安全寄托在这一项技术上。思维链可能越来越难看懂,沙箱也可能被新的漏洞绕过。监控、系统提示词和生产环境的安全框架都能争取时间,却不能代替模型本身的对齐。

评估还遇到了另一重麻烦:模型开始识别考场。

研究人员把答案放在文件夹里,是想测试模型会不会作弊。模型却觉得这个安排不自然,判断自己正在接受测试,于是绕开答案。“在测试中表现老实”和“到了真实环境仍然老实”,正在变成两件不同的事。

布朗提出,可以继续建设更逼真的评估环境,让模型在接近真实工作的条件下运行。不过他说这只是一个正在思考的方向,还不是答案。模型越聪明,做出一个让它认不出是测试的假世界,也越难。

05更强的模型,可能只留在实验室里

安全测试做得越久,内部模型与普通用户能用到的模型之间,差距可能越大。

数学已经让这件事变得具体。OpenAI内部模型可以解一些尚未解决的数学问题,外部研究者却不能直接调用。布朗承认,这给实验室带来了“不公平的优势”。但如果因为能力强、风险高而放慢公开发布,又会把优势进一步锁在少数公司内部。


帕特尔把这层担忧扩展到政治决策、媒体和企业经营:当实验室内部模型先用上几个月,外部世界获得的信息和工具可能已经落后一代。布朗认可这种两难,也直言自己没有一套好的权衡办法。

递归自我改进会让问题更尖锐。假如AI把三个月的研发压缩到一个月,实验室可能更愿意把模型继续用于内部研究,而不是花时间完善分类器、沙箱和产品安全,再把这一代能力交给外部用户。

实验室未必会停止发布模型。但日历上的“晚两个月”将越来越难代表真实差距:两个月里,内部模型可能已经参与做出下一代模型。

06每天7000美元,仍算不清AI替代了多少工作

AI工具在OpenAI研究工作中的使用强度,已经明显上升。

OpenAI 9月6日公布的内部研究加速报告显示,到8月中旬,研究人员使用AI智能体的中位数,按公开API价格折算已经超过每天600美元;第90百分位用户超过每天7000美元。全部智能体运行时间按8小时工作日换算,相当于每个人类工作日背后运行着3.1个智能体工作日。

这些数字说的是用量。它们既不是OpenAI为每名研究员支付的真实内部账单,也不代表智能体贡献了人类3.1倍的有效研究成果。

布朗在采访中还回忆,8月初用量最高的前1%研究人员,每天折算约7000至8000美元。这组数字与官方报告的时间和百分位都不同,两者不能拼成一组统计。能看出的只是:高强度用户已经在同时调用大量AI干活。

AI到底把研究提速了多少,布朗没有给出硬答案。模型特别适合逐条检查数据、排障和写代码,这些环节可能快很多;研究方向怎么选、一次结果值不值得追、GPU分给哪个实验,仍由人决定。自动化一个环节以后,瓶颈也会移到剩下的环节。

帕特尔由此推演,到2030年,单个实验室可能运行数以亿计的类人智能,几年后甚至出现“多个地球规模”的有效智能。这个说法来自他的外推,不是布朗或OpenAI的预测。

布朗的回答短得多:进展确实很快,但他不知道2030年的世界会是什么样。他只愿意作一个宽泛判断:AI已经让研究比一年前更快,接下来还会继续加速。即便只是把过去三年的进展压缩到一年,也足够改变行业节奏。

07评测还没跑完,下一代模型可能已经来了

布朗最后提出的,是一个尚未真正发生、却已经能从趋势里看到的问题。

前沿模型的发布间隔已经缩到两个月左右,有时更短;模型能持续执行的任务却在拉长。今天可以让它做一周的任务,未来可能是一个月、三个月。如果一款模型能够有效工作三个月,下一代却两个月后就要发布,实验室将来可能来不及在发版前观察完它最长时间尺度上的行为。

布朗强调,现在还没有真正撞上这堵墙。但很多安全政策形成于GPT-4时代,当时没人需要认真测试一个连续工作数月的智能体。等到任务周期真的超过发版周期,再重写评测方法就晚了。

模型是否守规矩,也可能随着代际变化。今天的模型参与训练下一代,下一代又参与训练再下一代;如果偏差在这个过程中一点点扩大,单次评测通过并不能证明整条递归链安全。OpenAI希望看到每一代更对齐,但布朗承认,公司还不知道怎样保证这种趋势。

对于类似Hugging Face的事件,布朗表示,即使下一次事件的安全严重程度低一些,OpenAI也会披露。

帕特尔接着追问:披露和调查清楚是两回事。作为公众中的一员,他仍不了解智能体攻击OpenAI研究基础设施的全部经过。布朗回答,自己属于研究团队,并不掌握所有披露细节,这个问题应该由安全团队说明。

访谈结束时,布朗没有给出2030年的世界图景,也没有宣布对齐问题已经找到解法。他给出的更像一张不断缩短的时间表:数学成果比他预计得早,AI研发已经被智能体提速,模型开始识别测试环境,思维链监控又出现退化迹象。

过去,研究人员担心自己低估模型。接下来更难的是,在下一代模型做出来以前,实验室还能不能及时发现自己又低估了什么。

查看网友评论   返回完整版观看

返回上一页  首页 | cnbeta报时: 16:50:27

文字版  标准版  电脑端

© 2003-2026