美国商务部负责为美国政府、公司和广大公众开发和测试技术的机构--国家标准与技术研究院（NIST）周一宣布启动 NIST GenAI，这是一个由 NIST 牵头的新项目，旨在评估生成式人工智能技术，包括文本和图像生成人工智能。

NIST 在新推出的 NIST GenAI网站和一份新闻稿中解释说，NISTGenAI将发布基准，帮助创建"内容真实性"检测（即深度验假）系统，并鼓励开发软件来识别人工智能生成的虚假或误导性信息的来源。"NIST GenAI 计划将发布一系列挑战问题，[旨在]评估和衡量生成式人工智能技术的能力和局限性。这些评估将用于确定促进信息完整性的策略，并指导安全、负责任地使用数字内容"。

NIST GenAI 的第一个项目是一项试点研究，目的是建立能够可靠区分人类创建的媒体和人工智能生成的媒体的系统，首先从文本开始。(虽然许多服务都声称可以检测深度伪造，但研究和测试表明，它们充其量只能说是不可靠的，尤其是在文本方面）。NIST GenAI 邀请学术界、工业界和研究实验室的团队提交"生成器"（生成内容的人工智能系统）或"鉴别器"（旨在识别人工智能生成内容的系统）。

研究中的生成器必须生成 250 字或更少的摘要，提供一个主题和一组文档，而判别器必须检测给定摘要是否可能是人工智能编写的。为确保公平，NIST GenAI 将提供测试生成器所需的数据。NIST 表示："以公开数据训练的系统如果不"遵守适用的法律法规"，将不被接受。

试点登记将于 5 月 1 日开始，第一轮两家计划于 8 月 2 日结束。 预计研究的最终结果将于 2025 年 2 月公布。

在人工智能生成的错误信息和虚假信息呈指数级增长之际，NIST GenAI 启动了以深度伪造为重点的研究。

根据深度假货检测公司Clarity 的数据，与去年同期相比，今年制作和发布的深度假货数量增加了 900%。这引起了人们的恐慌，这是可以理解的。 YouGov 最近的 一项民意调查 发现，85% 的美国人担心误导性的深度假新闻会在网上传播。

NIST GenAI 的启动是 NIST 响应乔-拜登总统关于人工智能的行政命令的一部分，拜登总统的行政命令规定，要求人工智能公司在其模型如何工作方面提高透明度，并制定了一系列新标准，包括对人工智能生成的内容进行标注。

这也是 NIST 在任命前 OpenAI 研究员保罗-克里斯蒂亚诺（Paul Christiano）为该机构的人工智能安全研究所成员后，首次发布与人工智能相关的消息。

克里斯蒂亚诺因其"现实主义"观点而备受争议；他曾预言，"人工智能的发展有50%的可能以[人类毁灭]而告终"。据报道，包括美国国家标准与技术研究院（NIST）科学家在内的批评人士担心，克里斯蒂亚诺可能会鼓励人工智能安全研究所关注"幻想的场景"，而不是现实的、更直接的人工智能风险。

NIST 表示，NIST GenAI 将为人工智能安全研究所的工作提供参考。