AMD Strix Halo平台为消费级设备带来128B参数LLM模型的支持
摘要：
AMD 是通过其 XDNA 引擎将大规模 AI 计算引入消费级设备的先行者之一。AMD 的 APU 产品（例如 Strix Point 和 Strix Halo 系列中的产品）提供了业内最高的 AI 性能，而现在，AMD 已将边缘 AI 提升到了一个新的水平。该公司最新的 Adrenalin Edition 25.8.1 驱动程序引入了对 128B 参数 LLM 模型的支持，这将使消费级设备能够支持 Meta 的 Llama 4 Scout 等模型，这是目前独一无二的成就。
通过 AMD 的可变显存 (VGM)，消费者可以为 iGPU 提供高达 96 GB 的显存，从而支持大型模型在本地运行。由于上述 Llama 模型是基于 MoE 的实现，因此它在运行时仅使用 170 亿个参数，但尽管如此仍然可以获得不错的 TPS 数据，从而使 LLM 可以用作功能强大的 AI 助手。
更重要的是，AMD 在模型上下文大小方面取得了巨大的进步。虽然消费级处理器的行业标准大约是 4096 个词元，但 AMD 成功将其提升了数倍，达到了 256000 个词元，从而可以更好地控制工作流程，并且无需担心性能问题。
目前，搭载 Strix Halo 平台的设备有限，而且不太容易买到，有些设备的价格甚至超过了 2000 美元。然而，AMD 在 AI 计算方面的进步确实令人欣喜，它让每个人都能拥有“AI 力量”，尽管你需要花费不菲的钱才能买到目前市面上的设备。
