几十年来，程序员们一直在为人工智能模型编写代码，而现在，人工智能被用来编写代码，这是一个完整的循环。但是，人工智能代码生成器与人类程序员相比如何呢？发表在六月刊《IEEE 软件工程论文集》上的一项研究从功能性、复杂性和安全性方面对OpenAI 的 ChatGPT生成的代码进行了评估。结果显示，ChatGPT在生成功能代码方面的成功率范围极广--根据任务难度、编程语言和其他一些因素的不同，成功率从 0.66% 到 89% 不等。

虽然在某些情况下，人工智能生成器可以生成比人类更好的代码，但分析也揭示了人工智能生成的代码存在一些安全问题。

Yutian Tang是格拉斯哥大学的一名讲师，他参与了这项研究。他指出，基于人工智能的代码生成可以在提高生产率和自动化软件开发任务方面提供一些优势，但重要的是要了解这些模型的优势和局限性。

"通过进行全面分析，我们可以发现基于 ChatGPT 的代码生成过程中出现的潜在问题和限制......[并]改进生成技术。"Tang 解释说。

为了更详细地探讨这些局限性，他的团队试图测试GPT-3.5解决LeetCode 测试平台上五种编程语言中 728 个编程问题的能力：这五种编程语言是：C、C++、Java、JavaScript 和Python。

对于 ChatGPT 为什么能在 2021 年之前更好地处理算法问题，一个合理的假设是，这些问题经常出现在训练数据集中。

总体而言，ChatGPT 在解决不同编程语言的问题方面表现相当出色，尤其是在尝试解决 2021 年之前 LeetCode 上存在的编程问题时。例如，它能为简单、中等和困难的问题生成功能代码，成功率分别约为 89%、71% 和 40%。

"然而，当遇到 2021 年后的算法问题时，ChatGPT 生成功能正确的代码的能力就会受到影响。它有时无法理解问题的含义，即使是简单的问题也是如此，"Tang 指出。

例如，在 2021 年之后，ChatGPT 为"简单"编程问题生成功能代码的能力从 89% 降至 52%。而在 2021 年之后，它为"难"问题生成功能代码的能力也从 40% 降至 0.66%。

对于 ChatGPT 为什么能在 2021 年之前更好地处理算法问题，一个合理的假设是，这些问题经常出现在训练数据集中。从本质上讲，随着编程技术的发展，ChatGPT 还没有接触到新的问题和解决方案。它缺乏人类的批判性思维能力，只能解决以前遇到过的问题。这也解释了为什么 ChatGPT 在解决旧的编程问题方面比解决新的问题要好得多。因此，ChatGPT可能会生成错误的代码，因为它不理解算法问题的含义。

有趣的是，ChatGPT 生成的代码的运行时间和内存开销比人类解决相同 LeetCode 问题的至少 50% 的方案都要小。

研究人员还探索了 ChatGPT 在收到 LeetCode 的反馈后修正自身编程错误的能力。他们随机选取了 50 个编程场景，在这些场景中，ChatGPT 最初生成了错误的编程，原因可能是它不了解手头的内容或问题。

虽然 ChatGPT 擅长修正编译错误，但它通常不擅长纠正自己的错误。

Tang 解释说："ChatGPT 可能会因为不理解算法问题的含义而生成错误代码，因此这种简单的错误反馈信息是不够的。"

研究人员还发现，ChatGPT 生成的代码确实存在相当多的漏洞，比如缺失空值测试，但其中很多都很容易修复。研究结果还显示，用 C 语言生成的代码最为复杂，其次是 C++ 和 Python，其复杂程度与人类编写的代码类似。

基于这些结果，使用 ChatGPT 的开发人员必须提供更多信息，以帮助 ChatGPT 更好地了解问题或避免漏洞。

"例如，在遇到比较复杂的编程问题时，开发人员可以尽可能提供相关知识，并在提示中告诉 ChatGPT 哪些是需要注意的潜在漏洞，"Tang 说。