Google DeepMind 周三发表了一篇详尽的论文，介绍了其对 AGI 的安全方法。AGI 的粗略定义是能够完成人类所能完成的任何任务的人工智能。

AGI 在人工智能领域是一个颇具争议的话题，反对者认为它不过是一个白日梦。其他人，包括Anthropic 等大型人工智能实验室，警告说它即将到来，如果不采取措施实施适当的保护措施，可能会造成灾难性的危害。

DeepMind 的这份长达 145 页的论文由 DeepMind 联合创始人 Shane Legg 共同撰写，论文预测 AGI 将于 2030 年问世，并可能导致作者所说的“严重伤害”。论文并没有具体定义这一点，但给出了“生存风险”这一“永久摧毁人类”的危言耸听的例子。

“我们预计在本世纪末之前，将开发出一种超凡的 AGI，”作者写道。“超凡的 AGI 是一种系统，能够在广泛的非物理任务上与至少 99% 的熟练成年人相匹配，包括学习新技能等元认知任务。”

首先，该论文将 DeepMind 对 AGI 风险缓解的处理与 Anthropic 和 OpenAI 的处理进行了对比。论文称，Anthropic 不太重视“稳健的训练、监控和安全”，而 OpenAI 则过于看好“自动化”一种被称为对齐研究的 AI 安全研究形式。

这篇论文还对超级人工智能（能够比任何人类都更好地完成工作的人工智能）的可行性表示怀疑。（OpenAI最近声称，它正在将其目标从 AGI 转向超级智能。）如果没有“重大的架构创新”，DeepMind 的作者们并不相信超级智能系统会很快出现——如果有的话。

不过，该论文确实认为，当前的范式将实现“递归式人工智能改进”：一个正反馈循环，其中人工智能进行自己的人工智能研究以创建更复杂的人工智能系统。作者断言，这可能非常危险。

从总体上看，该论文提出并提倡开发技术来阻止不良行为者访问假设的 AGI，提高对 AI 系统行为的理解，并“强化”AI 可以行动的环境。它承认许多技术还处于萌芽阶段，存在“未解决的研究问题”，但警告不要忽视可能即将出现的安全挑战。

作者写道：“AGI 的变革性质既可能带来令人难以置信的好处，也可能带来严重的危害。因此，为了负责任地构建 AGI，前沿人工智能开发人员必须积极规划以减轻严重危害。”

然而，一些专家不同意该论文的前提。

非营利组织 AI Now Institute 的首席人工智能科学家 Heidy Khlaaf 认为 AGI 的概念定义过于模糊，无法“进行严格的科学评估”。另一位人工智能研究员、阿尔伯塔大学助理教授 Matthew Guzdial 表示，他认为递归人工智能改进目前并不现实。

Guzdial 说：“递归改进是智能奇点论证的基础，但我们从未见过任何证据证明它有效。”

牛津大学研究技术与监管的研究员桑德拉·沃赫特 (Sandra Wachter) 认为，更现实的担忧是人工智能通过“不准确的输出”来强化自身：“随着互联网上生成式人工智能输出的激增以及真实数据的逐渐取代，模型现在正在从充斥着虚假信息或幻觉的输出中学习。目前，聊天机器人主要用于搜索和寻找真相。这意味着我们一直面临着被灌输虚假信息并相信它们的风险，因为它们以非常令人信服的方式呈现。”

尽管 DeepMind 的论文可能很全面，但它似乎不太可能解决关于 AGI 到底有多现实的争论——以及最需要关注的人工智能安全领域。