如果仅凭一张图片无法捕捉到您想要搜索的内容,Google Lens 现在可以让您拍摄视频,甚至可以用语音询问您所看到的内容。 该功能将根据视频内容和你的问题显示人工智能概述和搜索结果。 该功能今天将在 Android 和 iOS 的搜索实验室中推出。
Google在 5 月份的 I/O 大会上首次预览了使用视频进行搜索。 例如,Google表示,如果有人对在水族馆看到的鱼感到好奇,可以将手机举到展品前,打开 Google Lens 应用程序,然后按住快门按钮。 一旦镜头开始录制,他们就可以说出自己的问题:"它们为什么游在一起?"然后,Google Lens 会使用Gemini人工智能模型作出回应,就像你在下面的 GIF 中看到的那样。
Google在提供回复时会考虑您的视频和问题。
在谈到该功能背后的技术时,Google 工程副总裁 Rajan Patel 介绍说,Google 正在将视频"捕捉为一系列图像帧,然后应用相同的计算机视觉技术"。 但是,Google将更进一步,将信息传递给一个"定制"的 Gemini 模型,该模型是为了"理解多帧序列......然后提供植根于网络的响应"而开发的。
目前还不支持识别视频中的声音,例如您试图识别听到的鸟叫声,但帕特尔说这是Google一直在"尝试的"。
还可以使用语音来询问有关照片的问题
Google Lens 还更新了照片搜索功能,可以用语音提问。 要尝试一下,请将相机对准拍摄对象,按住快门按钮,然后提问。 在此之前,你只能在拍摄照片后在 Lens 中输入问题。 语音提问将在全球 Android 和 iOS 平台上推出,但目前只有英文版。