在本周的一篇博客文章中,软件工程师 Andrew Rossignol 详细介绍了他如何在旧的 PowerBook G4 上运行生成式人工智能。虽然大型语言模型 (LLM) 的硬件要求通常很高,但这款 2005 年的 PowerBook G4 型号仅配备了 1.5GHz PowerPC G4 处理器和 1GB RAM。
尽管硬件已有 20 年历史,但我的兄弟还是能够在笔记本电脑上使用 Meta 的 LLM 模型 Llama 2 进行推理。
该实验涉及移植开源 llama2.c 项目,然后使用名为 AltiVec 的 PowerPC 矢量扩展来加速性能。
他的完整博客文章提供了有关该项目的更多技术细节。
类似的生成式AI模型在PlayStation 3、Xbox 360等老设备上运行的例子也时不时地出现在新闻中。