在今年早些时候的 Google I/O 开发者大会上，Google宣布将为 Gemini API 引入计算机使用功能。今天，Google发布了 Gemini 2.5 计算机使用模型，这是一个全新的专用模型，旨在为能够与用户界面 (UI) 交互的代理提供支持。Google声称，该新模型在多个 Web 和移动控制基准测试中均优于其他同类模型 。

Gemini API computer_use 工具的工作原理如下：

• 开发人员需要将用户请求作为输入发送给工具，其中包括环境的屏幕截图和最近操作的历史记录。

• 除了输入之外，开发人员还可以指定是否从支持的完整 UI 操作列表中排除功能，或者是否需要包含任何其他自定义功能。

• 该模型将分析接收到的输入并生成响应，这将是 UI 操作之一，例如单击或键入。

• 如果模型不确定，它甚至可能会请求最终用户确认。例如，如果该操作与购买商品有关，则需要用户确认。

• 然后，客户端代码执行接收到的操作，例如单击按钮或显示最终用户确认。

• 一旦操作完成，当前 GUI 的新屏幕截图和当前 URL 将作为函数响应发送回计算机使用模型，重新开始循环。

• 重复上述步骤，直至达到主要任务目标。

虽然 Gemini 2.5 计算机使用模型针对网页浏览器进行了优化，但 Google 声称该模型在移动 UI 控制任务中也表现出色。Google特别提到 ，该模型尚未针对桌面操作系统级别的控制进行优化。正如您在下面的基准测试中看到的，Gemini 2.5 计算机使用模型在几个关键基准测试中都取得了最佳结果。

Gemini 2.5 计算机使用模型现已公开预览，开发人员可以通过 Google AI Studio 和 Vertex AI 上的 Gemini API 访问它。