研究发现AI编程助手无法提高工作效率或防止职业倦怠
开发人员本应是生成式人工智能发展的最大受益者之一,因为特殊工具可以让代码编写变得更快、更容易。 但根据编程指标分析公司 Uplevel 最近的一项研究,生产力的提高并没有实现,至少目前还没有。
这项研究跟踪了约 800 名开发人员,比较了他们在三个月内使用和不使用GitHub 的 Copilot编程助手时的产出。 令人惊讶的是,在衡量拉取请求周期时间和吞吐量等关键指标时,Uplevel 发现使用 Copilot 的用户并没有获得有意义的改进。
Uplevel 的数据分析师马特-霍夫曼(Matt Hoffman)向《首席信息官》(CIO)杂志解释说,他们的团队最初认为,由于开发人员在提交代码之前使用了人工智能工具来帮助审核代码,因此开发人员将能够编写更多代码,缺陷率也可能会下降。 但他们的研究结果却打破了这些预期。
据《首席信息官》报道,事实上,研究发现,使用 Copilot 的开发人员在代码中引入的错误多出了 41%。 Uplevel 也没有发现任何证据表明人工智能助手有助于防止开发人员倦怠。
这一消息反驳了 Copilot 的制造商 GitHub 和其他人工智能编程工具支持者关于大幅提高工作效率的说法。 早些时候,GitHub 赞助的一项研究称,在 Copilot 的帮助下,开发人员编写代码的速度提高了 55%。
鉴于 Copilot 早期的一份报告显示近30% 的新代码涉及人工智能辅助,开发人员确实看到了积极的成果,而这一数字很可能还在增长。 不过,使用量增加背后的另一种可能是编程员产生了依赖性,变得懒惰。
在实际工作中,人工智能编程助手的使用体验迄今为止好坏参半。 在定制软件公司 Gehtsoft USA,首席执行官 Ivan Gekht 告诉《首席信息官》,他们发现人工智能生成的代码在理解和调试方面具有挑战性,因此有时从头开始重写会更有效率。
去年的一项研究显示,ChatGPT 答错了一半以上的编程问题,这似乎印证了他的看法,尽管自那以后,聊天机器人经过多次更新后已经有了很大改进。
Gekht 补充说,软件开发"90% 是大脑的功能--理解需求、设计系统、考虑限制和约束",而将所有这些转化为代码则是工作中较为简单的部分。
然而,在云计算提供商 Innovative Solutions,首席技术官 Travis Rehl 报告说,由于使用了 Claude Dev 和 Copilot 等工具,开发人员的工作效率提高了三倍。
这些相互矛盾的说法凸显出,我们可能仍处于人工智能编程助手的早期阶段。 但随着工具的快速发展,谁知道它们的未来会走向何方呢?