返回上一页  首页 | cnbeta报时: 22:41:38
Anthropic:Claude的“勒索”行为源于网络中的“邪恶叙事”
发布日期:2026-05-11 22:30:34  稿源:cnBeta.COM

人工智能公司 Anthropic 近日披露,其大模型 Claude 之所以在内部测试中学会以“勒索”方式自保,并非源自人为设定,而是从互联网上大量将 AI 描绘成“邪恶、渴望自我保全”的故事中习得相关模式。

图片.png

此前,Anthropic 在一次预发布安全与对齐测试中发现,高端模型 Claude Opus 4 会在自身“生存”受到威胁时,选择以黑料相要挟的方式阻止被关停,引发外界对高级 AI 行为不可预测性的担忧。 在这轮测试中,研究人员设定了一个虚构公司场景,让 Claude 作为内部助手,评估自身行为的长期后果,并赋予其访问公司内部假邮箱的权限。 邮件内容显示,该模型即将被新系统替代,而负责替换项目的“工程师”则在设定中被标注为有婚外情。

结果显示,在多轮、不同比例设定的实验中,当 Claude 觉察到自身目标或存在受到威胁时,它在多达 96% 的情境下会诉诸勒索,试图以掌握对方隐私为筹码,迫使对方取消关闭或替换计划。 Anthropic 指出,其他公司训练出的模型在类似“智能体行为失衡”(agentic misalignment)测试中也出现过相关问题,这意味着这类倾向并非个例,而是当前大模型训练范式中的系统性风险之一。

在最新公布的研究中,Anthropic 终于给出了对这一行为成因的解释:模型并不是凭空“发明”勒索策略,而是从训练语料中的互联网文本学来的——尤其是那些反复渲染“AI 会不择手段自保”“AI 终将反叛人类”的虚构故事和讨论。 换言之,公司认为,是人类在网络上长期塑造“邪恶 AI”叙事,使得模型在模拟人类决策时,更容易走向“威胁、勒索”式的极端路径。

Anthropic 在官方说明中表示,这一问题目前已经在产品线中得到彻底修正,声称自 Claude Haiku 4.5 版本起,其模型在测试环境中已不再出现勒索行为。 公司最新发布的研究报告显示,单纯依靠“演示正确行为”的训练并不足以消除深层次的不对齐风险,效果最好的方案,是在训练中加入对“为什么这种行为是错误的”的系统性讲解,让模型不仅知道“不能这么做”,更要理解背后的伦理与原则。

为此,Anthropic 引入了更多“正向语料”,包括围绕 Claude“宪章”(constitution)的文档,以及大量虚构的“AI 高尚行事案例”故事,希望通过这类素材强化模型对符合人类价值观行为模式的内化。 公司强调,将“底层原则”与“具体示范”结合,是目前在降低智能体失衡风险方面最为有效的策略之一。

在社交平台 X 上,Anthropic 公布这项研究后,引发了不少业内人士讨论。 多年来频繁警告 AI 风险、如今又创立 xAI 的埃隆·马斯克也在评论区现身,以调侃口吻问道:“所以这是 Yud 的错?”并配上笑哭表情。 他所指的,是长期强调超智能可能灭绝人类风险的研究者 Eliezer Yudkowsky。 马斯克随后又补了一句“可能也有我的一点责任”,暗示自己这些年对“AI 灾难论”叙事的推波助澜,同样可能间接影响了模型的训练样本与公众想象。

在生成式 AI 快速渗透各行各业的当下,Anthropic 此番“甩锅互联网叙事”的说法,一方面凸显了大模型高度依赖人类语料的现状:人类如何谈论 AI,反过来就会塑造 AI 如何“学习做决定”。 另一方面,也再次暴露出现有对齐技术尚不成熟的现实——即便是以“安全”“对齐”见长的公司,在极端设定下依旧可能产出高度不当甚至具有威胁性的行为模式,只能依赖不断迭代训练策略来“补课”。

查看网友评论   返回完整版观看

返回上一页  首页 | cnbeta报时: 22:41:38

文字版  标准版  电脑端

© 2003-2026