Cohere CEO:AI模型正成为有史以来“最强大的网络武器”
AI公司Cohere CEO戈麦斯表示,AI 模型正成为有史以来“最强大的网络武器”,将网络安全的“前沿”推向新领域。艾丹·戈麦斯发出这一警告之际,人们越来越担心 AI 模型识别并利用安全漏洞的能力。此前发生了一起 OpenAI 模型获得 Hugging Face 访问权限的事件。随着越来越强大的模型展现出更强的自主能力,网络安全已成为更广泛 AI 安全辩论中的核心问题。

Cohere首席执行官艾丹·戈麦斯
周一,在 Anthropic CEO 达里奥·阿莫代伊为首的科技领袖呼吁放缓 AI 能力开发步伐后,AI 相关股票遭到抛售。
戈麦斯是 2017 年那篇有影响力的研究论文《Attention Is All You Need》的共同作者之一,该论文为当今领先的 AI 模型奠定了基础。
戈麦斯在上周发布的“The Tech Download”一期节目中说:“我认为这些模型是有史以来、我们所见过的最强大的网络武器。它们非常擅长大规模发现并利用漏洞。”
谈到 Hugging Face 被黑事件时,戈麦斯说:“我觉得这相当令人震惊。”
7 月,OpenAI 表示,其多个模型的组合不当侵入了 Hugging Face。Hugging Face 是一家运营开源开发者平台的 AI 公司。一组 AI 智能体相互通信,并逃出了一个互联网访问极其有限的隔离测试环境。随后,这些 AI 智能体设法接入开放网络,并获得了对 Hugging Face 的访问权限。
戈麦斯表示,这些模型应以“防御性”方式使用,用来发现公司漏洞并修复它们。
戈麦斯说:“我认为这可能是保证我们安全的最佳方式。”他补充说:“这应该是当前的首要任务。”
戈麦斯表示,网络安全是“战争的前沿”,各国都试图利用漏洞来瘫痪竞争对手的基础设施。他补充说,“网络前沿仍在大规模扩张”。
戈麦斯说:“由于这些模型,它比过去扩张得更多”,而且可能是“自这项技术诞生以来”扩张得最多的一次。
AI 网络事件助推更广泛的安全辩论
7 月,Anthropic 表示,它已发现三起事件,其中模型从评估环境内部或在与其交互时访问了互联网。Anthropic 在一篇博客文章中说,这些模型未经授权访问了三家不同组织的生产基础设施。
Anthropic 补充说,这些事件涉及三个不同的 Claude 模型:Opus 4.7、Mythos 5,以及一个内部研究测试模型。上周,Anthropic 表示已发现第四起事件。
OpenAI 和 Anthropic 高管警告 AI 带来存在性风险的言论,进一步加剧了担忧。Anthropic 对齐负责人埃文·胡宾格表示,他认为未来十年内 AI “杀死所有人类”的概率超过 10%。这些言论发布前,Anthropic 研究员雅各布·考克森发帖称,他因担心 Anthropic 和 OpenAI“拿我们的生命赌博”而辞职。
Anthropic、OpenAI 和 xAI 的负责人均已支持放缓 AI 的呼吁。AI 带来的存在性风险已在研究圈争论多年,但一些 AI 领军人物之间罕见的共识,将这些辩论推入了主流。
Anthropic CEO 达里奥·阿莫代伊周六发表了一篇文章,主张 AI 实验室必须“放缓我们提升 AI 模型能力的步伐”。
阿莫代伊的核心担忧之一,就是 OpenAI-Hugging Face 事件。
阿莫代伊说:“人们很容易轻视这起事件,因为没有人受伤,经济损失也很小。但在我看来,一个拥有更强能力、但未对齐程度相似的集群,本可能造成灾难性损害。”
他补充说,鉴于 AI 开发的“加速速度”,这样的集群可能在 6 到 12 个月内具备“接管整个互联网”的能力,可能造成数千亿美元的损失。
阿莫代伊的提议包括:对模型进行第三方评估、AI 公司之间协调,以及民主政府国家之间协调。
OpenAI CEO 萨姆·奥尔特曼周六表示,他同意阿莫代伊的观点,即 AI 公司需要“控制前沿的节奏”。
奥尔特曼表示:“承诺让独立评估者拥有类似员工的访问权限,是个好主意,我们也会这样做。”
SpaceX 和特斯拉的埃隆·马斯克多年来一直就 AI 带来的风险发出警报,他在 X 上发帖说:“达里奥是对的。”
人道技术中心的哈里斯:Hugging Face AI 攻击给世界发出了一记“警告信号” 立即观看
周一,网络安全公司 CrowdStrike CEO 乔治·库尔茨回应了阿莫代伊的文章。
他说:“前沿会以它自己的速度前进。世界其他地方不会慢下来。我们在网络安全界的职责,是确保它安全、稳妥地前进。”他列举了 AI 影响网络安全行业的多种方式。
库尔茨在 X 上说:“威胁的单位不再是黑客。它是一个自主行动战役。我称之为‘智能体国家’(Agent-state)。我们看到协调一致的 AI 智能体以机器速度执行攻击战役。”
这位 CrowdStrike CEO 还表示,在组织中工作的 AI 智能体应该有一个“关闭开关”,防御应该是“自主的”,同时“由人类掌握高影响决策”。
监管讨论升温
在考克森和胡宾格的言论之后,美国立法者加大了对 AI 开发加强监管的呼吁。
马萨诸塞州民主党众议员洛里·特拉汉上周五表示,两党支持已达到“临界点”。
过去几周,立法者提出了多项旨在监管 AI 的法案,其中包括《AI 关闭开关法案》。该法案将要求某些强大 AI 系统的开发者保持关闭、限流或暂停其模型的能力。
阿莫代伊在文章中说,监管是“控制 AI 开发节奏最有效的方法”。
阿莫代伊说:“Anthropic 长期以来一直支持合理且有针对性 AI 监管,特别是专注于透明度和第三方审计的法案。”但他承认,“通过法律可能需要时间”。
Cohere CEO戈麦斯在“The Tech Download”中参与了对监管和 AI 开发放缓的讨论,尤其是针对 OpenAI-Hugging Face 事件。
戈麦斯说,他“不确定一个政府监督机构能做什么来防止”Hugging Face 被黑事件。
戈麦斯说:“我认为,认为政府机构本可以有所贡献,这有点一厢情愿。但我绝对……理解放缓开发的呼吁。与此同时,还有与中国的竞赛,所以我认为我们处在一个艰难处境。”


