AGI降临，世界疯狂！数学家只剩700天统治地位？程序员即将迎来黄金时代？Exa CEO发帖写道：在短期内（1年），我们将得到“尖峰模型”，在数学、编程和一般推理方面基本达到AGI水平，但写出来的小说很普通。Exa公司CEO Will Bryk，在目睹o3模型的进展后，分享了他对AGI未来的一些想法，以下是他社媒上的帖子整理：
AGI真的来了
这周我和几个朋友聊了聊o3模型，他们的反应基本都是“我的天，这真的发生了吗？”
是的，它真的发生了。接下来的几年将会非常疯狂，这将是历史性的，甚至是星际级的事件
荒谬的是，目前还没有关于AGI的深度讨论。AI实验室不能谈论它，新闻几乎没有报道，政府也不理解它。我们竟然在一个社交媒体meme应用的新闻推送里讨论人类的未来，这感觉就像一部荒诞的情景喜剧，但现实就是如此
以下是我对正在发生的事情的一些想法——我对X平台思想深渊的贡献
注意，这些想法都很不成熟，只是一些有趣的推测。我没有足够的时间去深入思考/研究所有这些问题，而且我肯定会在很多方面出错。但我确实希望这些想法对一些正在努力理解现状的人来说是有趣的
请享用
o3的出现不应令人震惊
OpenAI两个月前就展示了测试时扩展图，计算机的历史告诉我们，无论趋势线多么令人难以置信，我们都应该相信它。真正令人震惊的是，它在两个月内就实现了。我们只用了这么短的时间就从大学水平的AI发展到博士水平的AI。对人类来说，变化是令人兴奋的，但快速的变化是令人震惊的。
接下来会发生什么显而易见
o3级别的模型非常擅长优化任何你可以定义奖励函数的东西。数学和编程很容易设计奖励函数，小说创作则比较困难。这意味着在短期内（1年），我们将得到“尖峰模型”
它们在数学、编程和一般推理方面基本达到AGI水平，但写出来的小说很普通。虽然更好的推理能力会让这些模型在各方面都感觉更聪明，但它们仍然会在没有经过强化学习的方面以愚蠢的方式失败——也就是说，在它们的训练数据中没有涵盖的方面。从长远来看（1-3年），我们将继续添加新的领域来对它们进行强化学习（情感数据、感官数据等），直到弥补这些盲点，然后对除了Gary Marcus之外的所有人来说，这些模型都将是AGI
Agent（智能体）真的会在2025年到来
o3之类的模型不可能无法浏览/使用应用程序并采取行动。这些东西很容易设计奖励模型。这也是一个巨大的市场——自动化计算机工作——因此对于需要证明其巨额支出的实验室来说，这是一个巨大的激励。我猜到2025年12月，你将能够告诉你的计算机执行任何涉及浏览网页/应用程序和移动数据的工作流程
在所有知识工作者中，最受“冲击”的肯定是数学家
数学家在符号空间中工作，他们的工作很少与物理世界接触，因此不受其限制。大型语言模型是符号空间的王者。数学其实并不难，只是灵长类动物不擅长而已。正则表达式也是如此
一个很大的问题是，制作研究级别的合成数据有多难。我猜不会太难。博士水平的数学和研究员水平的数学对我们来说看起来有质的不同，但在AI看来可能只是程度上的差异，只需要再增加几个数量级的强化学习。我给数学家700天的时间。（这听起来很疯狂，但o6不击败数学家听起来也同样疯狂，所以我对这个预测的信心超过50/50，就像我对这篇文章中的所有其他预测一样）。那是700天后，人类将不再是已知宇宙中数学领域的佼佼者
那我们软件工程师呢？
短期内，这将是天堂。每个软件工程师都升职成了技术主管，干得好。对于那些完全采用LLM的人来说，到2025年底，编码将更像是协调一堆由小Agent执行的小任务。任何具有非常清晰规范的PR都应该可以由o4系统完成，而且错误率足够小，可以接受。这里的一个问题可能是上下文窗口太小，无法包含代码库，但像Sam这样的领导者很清楚这一点
AI会很快取代所有软件工程师吗？不会。软件工程不仅仅是根据超级清晰的提示制作PR。与数学家不同，软件工程师不断地与物理世界，也就是其他人互动。工程师必须与客户合作以了解他们的需求，并与团队成员合作以了解他们的需求。当工程师设计架构或编写代码时，他们是在大量的组织环境下进行的。o4无法做到这一点。但o4将帮助那些拥有上下文信息的工程师将速度提高10倍
如果软件工程师的速度提高了10倍，那么我们是否需要更少的软件工程师？嗯，如果你考虑一家特定的公司，那么是的，他们可能需要更少的软件工程师，因为他们可以用更精简的团队实现相同的产出。然而，全世界对软件工程师的需求可能会增加，因为世界肯定需要更多10倍的优质软件。所以我认为我们将看到来自更精简公司的应用程序的黄金时代。为每个人和每个企业提供个性化的微型应用程序
从长远来看（超过2年被认为是长期，哈哈）
软件工程将完全不同，很难说会变成什么样。当o6系统存在并完全集成到我们的应用程序中时，它怎么可能不变呢？像前端工程师这样的角色可能在3年内就不存在了。这很奇怪吗？不尽然——30年前也没有前端工程师这个角色
我们应该退一步，认识到软件每一代都会发生翻天覆地的变化。软件一直以来都是将需求转换成纯逻辑。这种转换过程的抽象级别从二进制代码上升到了Python。现在的区别在于它正在上升到英语
转向英语让非技术人员也能进行编程。但最好的构建者将永远是那些能够在不同抽象级别之间切换的人
简而言之，因为软件工程实际上就是通过代码理解和解决组织的需求，所以软件工程完全自动化的日子就是所有组织都自动化的日子
我们讨论了一些知识工作者，但体力劳动者呢？
AI也会影响到你，但速度会比较慢，因为它必须处理重力和摩擦。但是o类模型对机器人的帮助不会太大，因为一个需要一个小时才能完成的模型对工厂生产线上的机器人没有帮助。基础模型变得更智能确实有帮助，o类模型将有助于训练这些模型，但我认为这并不能解决机器人技术进步的最大瓶颈。我猜最大的瓶颈是硬件改进和用于感知+行动的快速/可靠模型。这两方面都需要更长的时间来改进（即几年）。只有当机器人开始制造机器人，AI开始进行AI研究时，机器人技术才会出现疯狂的快速进步。这可能来自o类模型，但我认为还需要几年时间
我一直以年为单位来讨论，但也许我们真的应该以计算量为单位来讨论
时间决定了人类的产出，但计算量决定了AI的产出，而AI的产出在研究机构中将越来越重要。这就是为什么各家都在竞相建造超级集群——Meta的2GW集群，xAI新增的10万块H100等等
所有实验室都将很快效仿OpenAI的测试时计算模型，有些实验室最初可以通过更多的计算来弥补算法上的不足。他们会像GPT-4那样迎头赶上。要制造这些模型，需要结合一些常识和每个实验室的秘方。目前尚不清楚OpenAI在o类模型中使用了多少秘方，但他们的改进速度表明这是一种算法上的进步（更容易复制），而不是某种独特的数据组合（更难复制）
在测试时计算的时代，我不清楚拥有更多的计算量还是更好的模型更重要。一方面，你可以通过投入更多的测试时计算来弥补一个较差的模型。另一方面，一个稍微好一点的模型可能会节省指数级的计算量
如果xAI仅仅因为他们更擅长构建大型集群而赶上了OpenAI，那会很有趣
无论如何，模型的护城河不会持续超过一年，因为实验室像交换棒球卡一样交换研究人员，而且，也许更重要的是，实验室之间的研究人员会在周末聚会，甚至睡在一起。另外，我认为研究人员太理想化了，如果事情失控，他们不会不分享信息
我们现在的处境真是疯狂。AI竞赛就像核竞赛，但美国人和苏联人会在周末在洛斯阿拉莫斯一起聚会，并在Twitter上互相嘲讽“我赌你到2025年不会拥有最大的核武器，哈哈:)”
在政府介入和/或发生非常糟糕的事情之前，AI竞赛将继续保持嬉皮士和轻松愉快的氛围。
o类模型以几种有趣的方式改变了计算规模扩大的动态
o类模型激励了大规模的建设，因为它们在每个数量级的计算量增加后都有明显的收益。计算提供商不可能要求更好的缩放定律。我猜想，当Sam想要一个数万亿美元的计算集群时，他看到的正是这个定律
但这对NVIDIA来说可能不是什么好事。o类模型使推理比训练更重要。我认为超级优化的推理芯片比训练芯片更容易制造，所以NVIDIA在那里没有那么多的护城河
非常大胆的推测：如果o类模型能够利用全世界的聚合计算来训练最好的模型，那会怎么样？如果开源能够战胜闭源，是因为我们将我们的Macbook Pro组合成一个推理超级集群，那该多酷啊
除了计算之外，现在另一个新的指数级增长因素是代码本身
如果一个实验室对最智能的模型拥有独特/特权的访问权，因此他们的软件工程师的生产力比其他实验室高2倍，那么他们就能更快地接近下一个生产力翻倍的目标。除非代码速度达到极限，并且有大量的实验需要运行，那么实验室的瓶颈又回到了计算上。（我不知道，动态很难。看看实验室如何模拟他们在计算和人员上的支出比例会非常酷。）
尽管所有这些计算建设和知识工作自动化听起来很疯狂，但只有当科学家开始感受到AGI时，事情才会真正变得疯狂
我指的是你们这些物理学家、化学家、生物学家
它将从任何以理论命名的东西开始。理论物理学首当其冲。如果数学真的被解决了（即使写下这句话听起来也很荒谬，但这并不意味着它不可能发生），那么理论物理学也不会太远。它也存在于LLM将超越人类的符号领域
当我们有一百万个AI冯·诺依曼在路易斯安那州的田野里（Meta即将到来的数据中心）日夜工作时，会发生什么？他们会以多快的速度阅读过去一个世纪以来数千人撰写的所有物理学论文，并立即吐出更多正确的标记？
显然，故事的这一部分很难预测。理论物理学、化学、生物学——如果这些对经过强化学习训练的LLM来说只是小儿科，那会怎样？在这一点上，我们还有什么合理的论据认为它不会是小儿科呢？是的，我们还没有看到这些模型真正的创新，但它们大多处于高中/大学水平，而这些年龄段的人不会发明新的物理学。我们现在处于博士水平，所以我们可能会开始看到一些创造性。
一旦AI开始产出新的科学理论，进步的瓶颈将是物理世界的测试和实验
那里的瓶颈是劳动力和材料。到那时，如果还没有能够制造更多机器人的机器人，那将会令人惊讶。所以劳动力问题解决了。然后材料可以由机器人开采。这里的时间线会很慢，因为建造/运输实物需要很长时间，但需要几年而不是几十年。
我上面所说的一切都假设AI+机器人研究/开发没有引入新的瓶颈，并且允许模型随意学习
这几乎肯定不会发生。AI进步的最大瓶颈将是人类。我的意思是监管、恐怖主义和社会崩溃
政府不会袖手旁观，让地球被几家旧金山公司运营的自动化机器人开采（监管）。如果政府太无能而无法阻止它们，那么愤怒的失业者可能会诉诸暴力（恐怖主义）。除非人们被AI增强的媒体弄得脑残，以至于我们无法作为一个社会正常运转（社会崩溃）
如果发生战争，我认为这不会是一个瓶颈，而是一个加速器。
事情会变得很严肃。2025年可能是AI成为旧金山科技Twittermeme的最后一年，在那之后，穿西装的普通人会介入，所以让我们在还能享受roon和sama的时候好好享受吧
这会杀死所有人吗？
我更害怕人类滥用AI，而不是AI失控
我们有5000年的证据表明人类使用最新技术互相残杀。二战后的和平是一个反常现象，一旦美国失策或对手认为必须先发制人以阻止AI加速发展，这种和平就可能瓦解。当武器变得更致命、更自主时，风险就更高了。
另一个重大风险是AI造成社会混乱。AI生成的媒体可能会造成大规模的混乱、大规模的歇斯底里、大规模的脑残
另一个风险是AI失控。这意味着它会导致我们没有预料到的灭绝级别的事情。特别是随着强化学习的回归，AI现在正在发现自己的优化方法，而不是试图匹配人类数据（匹配人类更安全）。但到目前为止，这些模型的底层大脑仍然是LLM，而LLM已经显示出只是理解人类。就像你在提示中加入“确保不要做任何可能杀死我们的事情”一样，现在你必须承担举证责任，证明它仍然可能杀死我们
我绝对是兴奋多于恐惧
我一直想要的那种科幻世界正在到来。它比预期的来得快一点——因此也带来了恐惧——但在所有可能的路径中，我不确定最佳路径会有多大改善。这是一个相当不错的时间线
我希望在十年内出现的事情：
• 一些非常酷的物理学发现
• 最初由机器人建造的火星和月球基地
• 关于一切的完美导师/建议（即将到来，需要良好的检索、记忆和更多个性）
• 零副作用的生物增强药物
• 乘坐超级优化的无人机飞行
• 通过聚变、地热和大量太阳能实现全面的超级清洁能源
• 意想不到的事情：AI天文学家在望远镜数据中发现了外星信号？AI化学家轻松设计出室温超导体？AI物理学家统一了一些理论？AI数学家解决了黎曼猜想？
这些听起来不再像科幻小说，它们感觉像是近在咫尺的科学现实
那么这一切将走向何方？
最终，我们将获得超级智能，这意味着我们将获得物理定律允许的任何东西。我想要永生，并看到其他的恒星系统。我还希望将我们的肉体升级到更好的东西。但到目前为止，我最兴奋的是了解宇宙的起源。10年前，我开始在日记中写下我多么想知道这个答案，以及AI将如何帮助我们找到答案，而现在它真的可能发生了，这太疯狂了
我们现在生活在一个这一切听起来都似是而非的世界里
每一次新的AI发展都会让更多的人意识到这一点，o3就是最新的例子
现在，未来唯一不壮观的原因是我们人类搞砸了。比如我们的公众舆论、我们的下游政策、我们的社会稳定、我们的国际合作——这些是可能阻止这个壮观未来出现的障碍
人们认为AI实验室的人正在控制我们的未来
我不同意。他们的工作已经确定了。他们只是在执行模型架构，这些架构迟早会在某个实验室中出现。
但我们的公众舆论、我们的下游政策、我们的社会稳定、我们的国际合作——这些都是完全不确定的。这意味着我们集体是未来的守护者。
我们每个人都有责任帮助我们的世界度过未来的狂野时代，这样我们才能拥有美好的未来，而不是可怕的未来。
有很多方法可以提供帮助
帮助构建以某种方式使社会更稳定或使人们更聪明的产品（例如：帮助人们规范社交媒体的应用程序）。帮助人们了解正在发生的事情（更多高质量的社交媒体评论、一个真正好的搜索引擎等）。帮助清理我们的街道，这样邀请我们所有人进入乌托邦的城市看起来就不像反乌托邦（参与地方政治）。
几乎所有与我交谈过的人都害怕在AI世界中失去意义，你可能也一样
我想对你说，这不是完全相反吗？你生活在历史上最重要的时刻，你有能力影响它。帮助拯救世界难道还不够有意义吗？你想回到一个只有你的事业在进步，而世界却没有进步的时代吗？
也许人们需要做出的转变是从通过个人成功获得意义到通过集体成功获得意义。我们目前的许多工作很快就会被自动化。我们将不得不适应。如果你从一项特定技能中获得意义，那么是的，这项技能在5年内可能不再需要，你就走运了。但如果你能从尽你所能帮助世界中获得意义，那么这永远不会消失。
对于所有因为o3而得到建议的新毕业生，我的建议是：
学习如何成为1）一个高能动性的问题解决者和2）一个优秀的团队合作者。你在学习过程中学到的具体技能并不重要，因为世界变化太快了。但积极解决问题和与团队良好合作将在很长一段时间内都很重要。
你还可能需要在一个不稳定的世界里接受不稳定的生活。事情会变得很奇怪。你可能不会在郊区有两个孩子和一条狗。你可能在星际方舟上有两个半机械人孩子和一条AI狗。
我们生活在AGI的前夜，在这个圣诞前夜，我请求你帮助AGI过渡顺利进行，这样我就可以在公元3024年的圣诞前夜，在一个距离四光年的行星上，围绕着奥特曼·森陶利星向你问好。