斯坦福大学互联网观察站（Stanford Internet Observatory）的一份新报告发现，一个用于构建流行人工智能图像生成器的大规模公共数据集至少包含 1008 例儿童性虐待材料。

报告称，LAION-5B 包含来自互联网的 50 多亿张图片和相关说明，其中可能还包括数千份疑似儿童性虐待材料或 CSAM。报告警告说，将 CSAM 纳入数据集可能会使建立在这些数据基础上的人工智能产品--包括像 Stable Diffusion 这样的图像生成工具--能够创建新的、可能逼真的虐待儿童内容。

功能日益强大的人工智能工具的兴起引起了人们的警惕，部分原因是这些服务是利用大量在线数据（包括 LAION-5B 等公共数据集）构建的，而这些数据集可能包含受版权保护或有害的内容。人工智能图片生成器尤其依赖于包含成对图片和文字描述的数据集来确定各种概念，并根据用户的提示创建图片。

该数据集背后的德国非营利组织 LAION 的发言人在一份声明中说，该组织对非法内容采取"零容忍政策"，并暂时从互联网上删除 LAION 数据集，"以确保在重新发布这些数据集之前它们是安全的"。该发言人说，在发布数据集之前，LAION 创建并发布了过滤器，用于发现并删除其中的非法内容。LAION 的创始人克里斯托夫-舒曼（Christoph Schuhmann）此前告诉彭博新闻社，他不知道数据集中有任何儿童裸体内容，但他承认自己没有深入审查数据。他说，如果接到有关此类内容的通知，他会立即删除相关链接。

资助并推广 Stable Diffusion 的英国人工智能初创公司 Stability AI 的发言人表示，该公司致力于防止滥用人工智能，禁止将其图像模型用于非法活动，包括试图编辑或创建 CSAM。发言人在一份声明中说："这份报告重点关注整个 LAION-5B 数据集。Stability AI 模型是在该数据集的过滤子集上进行训练的。此外，我们还对这些模型进行了微调，以减少残余行为。"

LAION-5B 或其子集已被用于构建多个版本的 Stable Diffusion。该软件的最新版本 Stable Diffusion 2.0 在数据集上进行了训练，大大过滤了数据集中的"不安全"材料，使用户更难生成明确的图像。但 Stable Diffusion 1.5 确实能生成色情内容，而且在互联网的某些角落仍在使用。该发言人说，Stable Diffusion 1.5 并不是由 Stability AI 发布的，而是由 Runway 发布的，Runway 是一家人工智能视频初创公司，帮助创建了 Stable Diffusion 的原始版本。Runway 表示，它是与 Stability AI 合作发布的。

Stability AI 发言人补充说："当用户在我们的平台上与模型互动时，我们已经实施了过滤器来拦截不安全的提示或不安全的输出。我们还对内容标签功能进行了投资，以帮助识别我们平台上生成的图像。这些层层缓解措施让不良行为者更难滥用人工智能。"

LAION-5B 于 2022 年发布，依靠加州一家非营利组织收集的原始 HTML 代码来定位网络上的图片，并将其与描述性文本关联起来。几个月来，关于该数据集包含非法图片的传言一直在论坛和社交媒体上流传。"据我们所知，这是第一次尝试真正量化和验证人们的担忧，"斯坦福互联网观察站的首席技术专家大卫-蒂尔（David Thiel）在接受彭博新闻社采访时说。

在报告中，斯坦福互联网观察站的研究人员通过寻找此类图像的不同哈希值或数字指纹来检测 CSAM 材料。然后，研究人员使用专用于查找和删除已知剥削儿童图像的 API，并通过搜索数据集中的类似图像，对其进行了验证。

报告称，斯坦福互联网观察站发现的大部分疑似 CSAM 内容都经过了加拿大儿童保护中心等第三方的验证，并通过微软公司开发的一款名为 PhotoDNA 的工具进行了验证。报告说，鉴于斯坦福互联网观察站的研究人员只能处理有限的一部分高风险内容，数据集中可能还存在更多的滥用内容。

虽然数据集中存在的 CSAM 数量并不表明非法内容会"极大地"影响人工智能工具生成的图像，但蒂尔表示，这很可能仍然会产生影响。他说："这些模型非常擅长从少量图像中学习概念。我们知道，这些图像中有一些是重复出现的，有可能在数据集中重复出现数十次。"

斯坦福互联网天文台之前的研究发现，生成式人工智能图像模型可以生成 CSAM，但这项工作假定人工智能系统能够通过结合两个"概念"（如儿童和性活动）来做到这一点。蒂尔说，新的研究表明，这些模型之所以能生成此类非法图像，是因为它们所依据的一些基础数据。报告建议，基于 Stable Diffusion 1.5 的模型"应在可行的情况下废弃并停止分发"。