AI无人商店背后,是上千个印度人通过摄像头看美国人买西蓝花?
人们常说,有多少智能,就有多少人工。但是,亚马逊的这个项目,人工含量似乎有点高。这个项目名叫“Just Walk Out”。就像它的名字所暗示的,你可以走进亚马逊的无人购物商店里,选好东西,然后直接走出去,无需排队等待结账。
因为,通过与计算机视觉和深度学习算法相结合,Just Walk Out 技术能够准确识别你拿取的商品,并完成结算,整个过程非常省心,听起来也很智能。
但是,事实可能并非如此。据外媒 The Information 报道,“Just Walk Out”其实要依靠来自印度的一个千人团队来观看和标记视频,以确保准确的结算结果。从 2022 年的数据来看,每 1000 笔交易就有 700 笔需要该团队审核,而亚马逊原本希望这一数字是 20~50 笔。
Just Walk Out 于 2016 年首次推出,展示了亚马逊在杂货店购物方面最大胆的创新。它最大的好处是不用采集顾客生物识别信息,可以免去很多隐私方面的担忧。
在 2023 年 9 月发布的一篇介绍文章中,亚马逊写到,“Just Walk Out 是计算机视觉、目标识别、高级传感器、深度机器学习模型和生成式人工智能的结合。亚马逊研究人员找到了一种方法,使这些技术在后台无缝地协同工作。如此一来,商店几乎可以立即弄清楚哪个顾客拿了金枪鱼三明治,哪个拿了鸡肉沙拉,然后算出正确的费用,并让顾客拿着东西离开。”
具体来说,采用 Just Walk Out 的商店会在天花板上安装几个专用摄像头。在购物者进入商店后,该技术会为他们分配一个临时数字代码。当他们离开时,代码会消失。如果他们回来,他们会得到一个新代码。
在购物时,Just Walk Out 可以检测购物者的手何时与货架上的商品互动。在产生互动后,算法会将商品放入虚拟购物车。如果购物者把东西放回货架,系统也会进行相应调整。此外,该技术还会提醒店员将放错地方的物品放回去。对于较小、难以看到的产品,如口香糖或口红,货架上的重量传感器会检测顾客何时拿起东西。
亚马逊表示,为了训练这个系统,他们创建了一个合成数据集。该数据集包含数百万张 AI 生成的合成图片和视频剪辑,模仿了真实的、有时甚至是罕见的购物场景。
这项技术在需要快捷购物的体育赛事场景中非常有效。根据亚马逊的数据,在 2022 年 9 月安装 Just Walk Out 技术后,District Market(一家提供啤酒、苏打水、比赛日小吃的便利店)的销售额比同一地点的前一家商店多了一倍,球迷满意度调查得分创下历史新高。
在过去的几年里,亚马逊已经将 Just Walk Out 推广到大型商店。目前,44 家 Amazon Fresh(亚马逊旗下生鲜商店)中有 27 家拥有这项技术。亚马逊还在一些 Whole Foods(亚马逊旗下连锁超市)添加了 Just Walk Out。
但 The Information 记者 Theo Wayt 在 2023 年的一份报道中指出,亚马逊尚未在一家不属于自己的大型商店中部署这项技术,因为它的成本实在是太高了:首先,引入该技术的超市要进行升级改造,这意味着要停业一段时间,每家商店的扫描仪和摄像机系统也非常昂贵;其次,工作人员需要确保商店货架保持整齐,以便扫描技术能够发挥作用。
更要命的是,亚马逊仍然依靠大量的人力在幕后为 Just Walk Out 保驾护航。一位技术人员表示,截至 2022 年年中,亚马逊在印度有 1000 多人在为 Just Walk Out 工作,他们的工作包括人工审核交易和标注视频中的图像,以训练 Just Walk Out 的机器学习模型。该人士说,对后台人员的依赖在一定程度上解释了为什么顾客走出商店后需要几个小时才能收到收据。这样的延迟可能会让精打细算的购物者感到不安。
但亚马逊的发言人在一定程度上反驳了该说法,称 The Information“对人工审核员的角色和数量的描述并不准确”,但没有说明亚马逊使用了多少审核员。这位发言人表示,印度员工的主要职责是机器学习数据助理,除了验证购买情况外,还负责注释视频图像,帮助公司训练模型。
不过,时隔一年,亚马逊似乎也扛不住了。
在 The Information 的一篇新报道中,Theo Wayt 指出,亚马逊准备在新开的一批杂货店中放弃 Just Walk Out,转用带有屏幕和扫描仪的 Dash Carts 智能购物车结账。这种购物车可以实时显示购物支出,比 Just Walk Out 更可靠。
这篇报道让 Just Walk Out 背后的千人印度团队重新吸引了人们的注意。对于这种购物时有人看着的感觉,很多人感觉不自在,对一些“智能”设备的滤镜也是碎了一地。
也有人比较乐观,觉得亚马逊确实在靠这个团队改进 AI 算法,只是进展不太顺利。“想象 1000 个家伙看着美国人购买西兰花还是很有趣的”。
在事件发酵后,亚马逊发言人不得不再次出来辟谣。
“认为Just Walk Out技术依赖于人类审核员在印度现场看着购物者的说法具有误导性和不准确性,”亚马逊发言人在给USA TODAY的电子邮件声明中表示。“与许多人工智能系统一样,底层机器学习模型通过生成合成数据和注释实际视频数据来不断改进。”
“我们的员工会通过查看录制的视频片段来验证一小部分购物访问,以确保我们的系统能够达到我们的高准确性标准,这是因为我们不断改进算法,并利用人工输入来纠正算法。”这位发言人补充说。
作为两篇报道的作者,Theo Wayt 极力发声明说报道的内容被社交媒体扭曲了。不过,他也认为,这个故事传播了一个基本事实:许多华而不实的 AI 背后仍需要人工。
从目前的消息来看,亚马逊似乎还没有打算完全放弃 Just Walk Out。他们会在一些 Fresh 商店、Amazon Go 便利店以及一些体育场管中保留这项技术。