在最近发表在《模式》杂志上的一项研究中，研究人员证明，通常用于识别人工智能生成文本的计算机算法经常将非母语人士撰写的文章错误地标注为人工智能所创。研究人员警告说，这些人工智能文本检测程序不可靠的性能可能会对包括学生和求职者在内的许多人产生不利影响。

资深作者、斯坦福大学的詹姆斯-邹（James Zou）说："我们目前的建议是，我们应该非常小心，也许应该尽量避免使用这些检测器。如果用这些检测器来审查求职申请、大学入学论文或高中作业等，可能会产生重大影响。"

像 OpenAI 的 ChatGPT 聊天机器人这样的人工智能工具可以撰写论文、解决科学和数学问题，并生成计算机代码。美国各地的教育工作者越来越关注在学生作业中使用人工智能的问题，他们中的许多人已经开始使用 GPT 检测器来筛选学生的作业。这些检测器是声称能够识别文本是否由人工智能生成的平台，但其可靠性和有效性仍有待检验。

邹和他的团队对七种流行的 GPT 检测器进行了测试。他们用这些检测器检测了 91 篇由非英语母语人士撰写的英语论文，这些文章是为了参加一个被广泛认可的英语水平测试--托福考试（Test of English as a Foreign Language）。这些平台错误地将一半以上的文章标记为人工智能生成，其中一个检测器将近 98% 的文章标记为人工智能所写。相比之下，这些检测器能将超过 90% 的美国八年级学生撰写的作文正确归类为人工生成。

邹解释说，这些检测器的算法是通过评估文本的复杂性（perplexity）来工作的，而文本的复杂性是指文章中选词的出人意料程度。"如果你使用的是常见的英文单词，那么检测器就会给出较低的易混度分数，这意味着我的文章很可能会被标记为人工智能生成。如果你使用的是复杂的高级词汇，那么它就更有可能被算法归类为人类撰写的文章。这是因为像 ChatGPT 这样的大型语言模型经过训练，可以生成低复杂度的文本，从而更好地模拟普通人的说话方式。"

因此，非英语母语写作者所采用的简单选词会使他们更容易被标记为使用了人工智能。

然后，研究小组将人类撰写的托福作文放入 ChatGPT，并提示它使用更复杂的语言编辑文本，包括用复杂词汇替换简单词汇。GPT 检测器将这些人工智能编辑的文章标记为人类撰写的文章。

邹说："在课堂环境中使用这些检测器时，我们应该非常谨慎，因为仍然存在很多偏差，而且它们很容易被愚弄，只需进行最低限度的提示设计即可。使用 GPT 检测器的影响还可能超出教育领域。例如，Google等搜索引擎会贬低人工智能生成的内容，这可能会无意中压制非英语母语写作者的声音。"

虽然人工智能工具可以对学生的学习产生积极影响，但在投入使用之前，GPT 检测器还需要进一步加强和评估，用更多样化的写作类型来训练这些算法可能是改进这些检测器的一种方法。