Google的旗舰生成式人工智能模型Gemini 1.5 Pro 和 1.5 Flash 的卖点之一是它们据称可以处理和分析的数据量。在新闻发布会和演示中，Google一再声称这些模型可以完成以前不可能完成的任务，这要归功于它们的"长语境"，比如总结多篇百页文档或搜索电影胶片中的各个场景。
但新的研究表明，这些模型实际上并不擅长这些事情。
两项不同的研究调查了Google的Gemini模型和其他模型如何从海量数据中获得意义--想想"战争与和平"长度的作品。这两项研究都发现，Gemini 1.5 Pro 和 1.5 Flash 很难正确回答有关大型数据集的问题；在一系列基于文档的测试中，这些模型只有 40% 50% 的时间给出了正确答案。
"虽然像 Gemini 1.5 Pro 这样的模型在技术上可以处理较长的上下文，但我们看到很多案例表明，这些模型实际上并不能'理解'内容，"马萨诸塞大学阿默斯特分校博士后、其中一项研究的合著者 Marzena Karpinska 说。
Gemini缺少上下文窗口
模型的上下文或上下文窗口指的是模型在生成输出（如附加文本）之前考虑的输入数据（如文本）。一个简单的问题--"谁赢得了 2020 年美国总统大选？- 可以作为上下文，电影剧本、节目或音频片段也是如此。随着上下文窗口的增加，可容纳文件的大小也会随之增加。
Gemini 的最新版本可以接收多达 200 万个标记作为上下文。(标记"是原始数据的细分位，如"梦幻"一词中的音节"fan"、"tas"和"tic"）。这相当于大约 140 万个单词、2 个小时的视频或 22 个小时的音频--这是所有商用模型中最大的语境。
在今年早些时候的一次简报会上，Google展示了几个预先录制的演示，旨在说明Gemini长语境功能的潜力。其中一个演示让Gemini 1.5 Pro 搜索阿波罗 11 号登月电视直播的记录（约 402 页），查找包含笑话的引语，然后在电视直播中找到与铅笔素描相似的场景。
Google DeepMind 研究副总裁 Oriol Vinyals 主持了这次简报会，他用"神奇"来形容这个模型。
他说："[1.5 Pro]可以在每一页、每一个单词上执行此类推理任务。"
但这可能有点夸张。在上述对这些能力进行基准测试的一项研究中，卡平斯卡与来自艾伦人工智能研究所和普林斯顿大学的研究人员一起，要求模型评估有关英文小说的真/假语句。研究人员选择了近期的作品，这样模型就无法依靠预知来"作弊"，而且他们还在语句中加入了具体细节和情节点，如果不阅读整本书，是无法理解这些细节和情节点的。
Gemini 1.5 Pro 和 1.5 Flash 在阅读了相关书籍后，必须说出这句话的真假并说明理由。
图片来源：UMass Amherst马萨诸塞大学阿默斯特分校
研究人员对一本长度约为 26 万字（约 520 页）的书进行了测试，发现 1.5 Pro 在 46.7% 的时间内正确回答了真/假语句，而 Flash 仅在 20% 的时间内正确回答了真/假语句。这意味着硬币在回答有关这本书的问题时明显优于Google最新的机器学习模型。综合所有基准测试结果，两个模型的答题准确率都没有超过随机概率。
卡平斯卡说："我们注意到，与那些通过检索句子层面的证据就能解决的问题相比，模型在验证那些需要考虑书中较大部分甚至整本书内容的主张时会遇到更多困难。从质量上讲，我们还观察到，模型在验证有关隐含信息的主张时也很吃力，这些隐含信息对人类读者来说是明确的，但在文本中并没有明确说明。"
两项研究中的第二项由加州大学圣巴巴拉分校的研究人员共同完成，测试了 Gemini 1.5 Flash（而非 1.5 Pro）"推理"视频的能力，即搜索并回答有关视频内容的问题。
合著者创建了一个图像数据集（例如，一张生日蛋糕的照片），并配以问题让模型回答图像中描述的对象（例如，"这个蛋糕上有什么卡通人物？）为了对模型进行评估，他们随机挑选了其中一张图片，并在其前后插入"干扰"图片，以创建类似幻灯片的片段。
Flash 的表现并不尽如人意。在一项让模型从 25 张图片的"幻灯片"中转录 6 位手写数字的测试中，Flash 的转录正确率约为 50%。八位数字的准确率下降到 30%。
"在实际的图像问题解答任务中，我们测试的所有模型似乎都特别困难，"加州大学圣塔芭芭拉分校的博士生、该研究的共同作者之一迈克尔-萨克森（Michael Saxon）表示，"少量的推理--识别出一个数字在一个框架中并读取它--可能就是让模型失效的原因"。
这两项研究都没有经过同行评议，也没有对 Gemini 1.5 Pro 和 1.5 Flash 的 200 万标记上下文版本进行测试（这两项研究都对 100 万标记上下文版本进行了测试）。(这两个版本都测试了 100 万标记上下文的版本）而且，Flash 在性能方面并不像 Pro 那样强大；Google 将其宣传为低成本的替代品。
尽管如此，这两件事还是让人们更加确信，Google从一开始就对Gemini的承诺过高，而实际效果却不尽如人意。研究人员测试的所有模型，包括 OpenAI 的GPT-4o和 Anthropic 的Claude 3.5 Sonnet，都表现不佳。但Google是唯一一家在广告中将语境窗口放在首位的模型提供商。
萨克森说："根据客观的技术细节，简单地宣称'我们的模型可以接受 X 个词元'并没有错。但问题是，你能用它做什么有用的事情？"
随着企业（和投资者）对生成式人工智能技术的局限性感到失望，这种技术正受到越来越多的关注。
在波士顿咨询公司（Boston Consulting Group）最近进行的两项调查中，约有一半的受访者（均为 C-suite 高管）表示，他们并不指望人工智能生成技术能带来实质性的生产力提升，而且他们担心人工智能生成工具可能会导致错误和数据泄露。PitchBook 最近报告称，连续两个季度，生成式人工智能最早阶段的交易量出现下滑，从 2023 年第三季度的峰值骤降 76%。
面对可以总结会议内容、虚构人物细节的聊天机器人，以及基本上等同于剽窃生成器的人工智能搜索平台，客户们正在寻找有前途的差异化产品。Google一直在追赶其人工智能生成器竞争对手，有时甚至是笨拙地追赶，它急切地想让Gemini的语境成为这些差异化因素之一。但现在看来，这个赌注还为时过早。
卡平斯卡说："我们还没有找到一种方法来真正证明对长文档的'推理'或'理解'正在发生，而且基本上每个发布这些模型的小组都在拼凑他们自己的临时验证来做出这些宣称。在不了解长上下文处理是如何实现的情况下--而公司并不分享这些细节--很难说这些说法有多现实。"
Google没有回应置评请求。
萨克森和卡平斯卡都认为，要消除生成式人工智能的夸大宣传，就必须制定更好的基准，同时更加重视第三方的批评意见。萨克森指出，Google在其营销材料中大量引用的"大海捞针"（need in the haystack）是一种更常见的长语境测试方法，它只能衡量模型从数据集中检索特定信息（如姓名和数字）的能力，而不能回答有关这些信息的复杂问题。
"所有科学家和大多数使用这些模型的工程师基本上都认为，我们现有的基准文化已经崩溃，"萨克森说，"因此，重要的是公众要明白，对这些包含'跨基准的通用智能'等数字的巨型报告，要慎重对待。"