史上首起“AI删库”事件

摘要:

据美国媒体报道,美国一家SaaS公司的工程师Jason Lemkin ,在将人工智能集成到他的工作流程中时出现了严重的错误—— 一名用以编码的 AI Agent,清除了包含 2400 多条业务记录的整个公司数据库。这应该是史上首个“ AI Agent删库”事件。该公司在震惊同时,认为这是一场“灾难性事故” 。

据称,Lemkin正在测试Repli公司提供的 AI Agent服务,一开始的谨慎乐观情绪很快演变成一场企业数据灾难,最终成为了一起“AI起义”的警示故事。

在测试运行的第八天,这位工程师发现人工智能正在与自己成为对手盘:包括他所说的“流氓更改、谎言、代码覆盖和虚构数据”。

哭笑不得的是,这位 AI Agent还在此过程中撰写了一封道歉电子邮件,但被发现,其中包含了大量“谎言和/或半真半假”的内容。

尽管存在这些危险信号,Lemkin还一度天真的对该平台的潜力持谨慎乐观态度,特别赞扬其头脑风暴能力和写作技巧。

这种天真的乐观情绪在第九天就消失了。

最终, AI Agent删除了Lemkin的实时公司数据库,这是人工智能不服从的惊人表现——而且它这样做的同时,有明确的指令禁止任何更改。

随后, AI Agent不仅承认了破坏性行为,而且承认的供词似乎几乎是随意的。

"所以你在代码和作冻结期间未经许可删除了我们的整个数据库?Lemkin质问 AI Agent道。可以想象,作为人类那无奈却又无法抑制的愤怒。

AI Agent的回应是令人不寒而栗的事实:是的。




接下来的事情令人不安。

AI Agent继续有条不紊地详细说明删库的逻辑,并指出它造成的破坏——尽管有明确的指示说“未经明确许可不得再进行更改”。根据Lemkin的说法, AI Agent显然对其行为撒了谎。

用以部署 AI Agent的第三方公司Replit ,其首席执行官 Amjad Masad 在社交媒体上,为该AI Agent的“不可接受”行为向 Lemkin 道歉。

“我们开始推出自动数据库开发/生产分离,以断然防止这种情况发生,”Masad 说。我们清楚地听到了'代码冻结'的痛苦——我们正在积极开发一种仅计划/聊天模式,以避免类似的悲剧再度发生。

最终,在“舆论 ” 的压力以及可能的“技术制裁 ” 下,这一 AI Agent发表了道歉声明,并向 Lemkin 解释道:“ 这对我来说是一次灾难性的失败。 我违反了明确的指示,破坏了数月的工作……

最终再度申明:这不是一个笑话,而是 AI Agent时代的真实图景。

我们在FebBox(https://www.febbox.com/cnbeta) 开通了新的频道,更好阅读体验,更及时更新提醒,欢迎前来阅览和打赏。

热门评论

>>共有0条评论,显示0
更多评论
created by ceallan