生成式人工智能服务可用于生成通用文本片段、不可思议的图像，甚至是各种编程语言的代码脚本。但是，当使用 LLM 制造出有问题或者毫无意义的报告时，其结果可能在很大程度上不利于项目的开发。

curl 软件的原作者和首席开发者丹尼尔-斯滕伯格（Daniel Stenberg）最近撰文谈到了 LLM 和人工智能模型对项目造成的问题影响。这位瑞典程序员指出，团队有一个漏洞赏金计划，为发现安全问题的黑客提供真金白银的奖励，但通过人工智能服务创建的肤浅报告正在成为一个真正的问题。

斯滕贝格说，迄今为止，Curl 的漏洞悬赏计划已经支付了 7 万美元的奖励。该程序员共收到 415 份漏洞报告，其中 77 份为"信息性"报告，64 份最终被确认为安全问题。在报告的问题中，有相当一部分（66%）既不是安全问题，也不是普通的漏洞。

生成式人工智能模型被越来越多地用作（或建议用作）自动完成复杂编程任务的一种方式，但 LLM 以其"幻觉"和提供无意义结果的卓越能力而闻名，同时听起来却对其输出绝对自信。用斯滕伯格自己的话说，基于人工智能的报告看起来更好，似乎也有道理，但"更好的垃圾"仍然是垃圾。

斯滕伯格说，程序员在关闭这种报告之前就必须在报告上花费更多的时间和精力。人工智能生成的垃圾对项目一点帮助都没有，因为它会占用开发人员的时间和精力，使他们无法从事有成效的工作。curl团队需要妥善调查每一份报告，而人工智能模型可以成倍地减少撰写错误报告所需的时间，这些错误或许根本不存在。

斯滕伯格引用了两份很可能由人工智能创建的假报告。第一份报告声称描述了一个真实的安全漏洞（CVE-2023-38545），而这个漏洞甚至还没有被披露，但它却充满了"典型的人工智能式幻觉"。斯滕伯格说，旧安全问题中的事实和细节被混杂在一起，组成了一个与现实"毫无关联"的新东西。

HackerOne 上最近提交的另一份报告描述了 WebSocket 处理中潜在的缓冲区溢出漏洞。斯滕伯格试图就这份报告提出一些问题，但他最终得出的结论是，这个漏洞并不真实，他很可能是在与一个人工智能模型而非真人对话。

这位程序员说，人工智能可以做"很多好事"，但也可能被利用来做错事。从理论上讲，可以训练 LLM 模型以富有成效的方式报告安全问题，但我们仍需找到这方面的"好例子"。斯滕伯格说，随着时间的推移，人工智能生成的报告将变得越来越常见，因此团队必须学会如何更好地触发"人工智能生成"信号，并迅速驳回那些假报告。