为苹果公司工作的研究人员和来自哥伦比亚大学的研究人员在10月份悄然推出了开源多模态 LLM，这是一个名为"Ferret"的研究版本，可以使用图像区域进行查询。Ferret 于 10 月份在 Github 上发布，在很大程度上没有引起人们的注意，也没有发布任何公开发布或宣传操作。Ferret 的代码于 10 月 30 日与 Ferret-Bench 一起发布，并于 12 月 14 日推出了检查点版本。

据 VentureBeat 报道，虽然一开始没有受到太多关注，但周六的发布对人工智能研究人员来说却成了一件大事。一家人工智能医学非营利组织的运营者巴特-德-维特（Bart De Witte）在 X 上发布了关于这个"错过的"版本的帖子，称其为"苹果致力于有影响力的人工智能研究的证明"。

Ferret 的开源发布是在非商业许可下进行的，因此它目前的状态无法商业化。不过，它总有可能以某种方式用于未来的苹果产品或服务中。

苹果公司 AI/ML 研究科学家甘哲在 10 月份发布的一条推文中解释了 Ferret 的用途，即它是一个可以在图像中"以任何粒度对任何地方的任何东西进行参照和定位"的系统。它还可以通过使用图像中任何形状的区域来做到这一点。

简单地说，该模型可以分析图像上绘制的区域，确定其中对用户查询有用的元素，并将其识别出来，在检测到的元素周围绘制一个边界框。然后，它就可以将识别出的元素用作查询的一部分，并以典型的方式作出响应。

例如，高亮显示图像中的动物图片并询问 LLM 这是什么动物，LLM 可以确定该动物的种类，并确定用户所指的是动物群中的某只动物。然后，它还可以利用图像中检测到的其他项目的上下文，提供进一步的回复。

这次发布对研究人员来说非常重要，因为它表明苹果公司希望在人工智能工作上更加开放，而不是像以往那样采取神秘的姿态。

对于苹果公司来说，基础设施也是一个问题，因为虽然它正在努力增加其拥有的人工智能服务器的数量，但目前可能还没有足够的规模来与 ChatGPT 等公司进行竞争。虽然苹果可以与其他公司合作来扩展自己的能力，但另一条路就是像它刚刚做的那样，即发布一个开源模型。

从 Github 发布的信息中可以发现一个有趣的现象，Reddit 的 r/Apple 发现 Ferret 是"在 8 个 A100 GPU 和 80GB 内存上进行训练的"。鉴于苹果对 NVIDIA GPU 支持的历史，这被认为是对 GPU 生产商的罕见认可。