一项新的研究似乎证实了 OpenAI 至少使用部分受版权保护的内容来训练其 AI 模型的指控。OpenAI 被卷入了作者、程序员和其他权利持有者提起的诉讼，他们指控该公司未经许可使用他们的作品（书籍、代码库等）来开发其模型。

OpenAI 长期以来一直声称自己享有合理使用辩护，但这些案件的原告辩称，美国版权法中没有针对训练数据的例外规定。

这项研究由华盛顿大学、哥本哈根大学和斯坦福大学的研究人员共同撰写，提出了一种新方法来识别由 OpenAI 等 API 背后的模型“记忆”的训练数据。

模型是预测引擎。经过大量数据的训练，它们会学习模式 — 这就是它们能够生成文章、照片等内容的方式。大多数输出都不是训练数据的逐字复制，但由于模型“学习”的方式，有些不可避免地是。人们发现图像模型会复述它们训练过的电影的截图，而语言模型则被发现会剽窃新闻文章。

这项研究的方法依赖于合著者称之为“高意外”的单词——即在大量文献中显得不常见的单词。例如，句子“杰克和我静静地坐着，雷达嗡嗡作响”中的“雷达”一词将被视为高意外，因为从统计上讲，它比“引擎”或“收音机”等词出现在“嗡嗡声”之前的可能性更小。

合著者们探究了包括GPT-4和 GPT-3.5 在内的几种 OpenAI 模型，以寻找记忆的迹象。他们从小说和《纽约时报》文章的片段中删除了出乎意料的单词，并让模型尝试“猜测”哪些单词被掩盖了。合著者们总结道，如果模型猜对了，那么它们很可能在训练期间记住了这些片段。

让模型“猜测”一个高意外单词的一个例子。图片来源： OpenAI

根据测试结果，GPT-4 显示出记忆部分流行小说的迹象，包括一个名为 BookMIA 的包含版权电子书样本的数据集中的书籍。结果还表明，该模型记忆了《纽约时报》文章的部分内容，尽管速度相对较低。

华盛顿大学博士生、这项研究的共同作者阿比拉沙·拉维昌德 (Abhilasha Ravichander) 表示，这一发现揭示了模型可能接受过哪些“有争议的数据”训练。

“为了拥有值得信赖的大型语言模型，我们需要拥有可以进行科学探索、审核和检查的模型，”Ravichander 说。“我们的工作旨在提供一种探索大型语言模型的工具，但整个生态系统确实需要更高的数据透明度。”

OpenAI 长期以来一直主张 放宽对使用受版权保护的数据开发模型的限制 。尽管该公司已经达成了某些内容许可协议，并提供了选择退出机制，允许版权所有者标记他们不希望公司用于培训目的的内容，但它已经游说多个政府制定有关人工智能培训方法的“合理使用”规则。