微软为 Copilot+ PC 提供经过提炼的 DeepSeek R1 模型

摘要:

DeepSeek 征服了移动世界,现在正在向 Windows 扩展,令人惊讶的是,它得到了微软的全力支持。昨天,这家软件巨头将 DeepSeek R1 模型添加到其 Azure AI Foundry,以允许开发人员使用它测试和构建基于云的应用程序和服务。今天,微软宣布将 R1 的精简版本引入 Copilot+ PC。

gsmarena_002.jpg

精简模型将首先提供给搭载骁龙 X 芯片的设备、搭载英特尔酷睿Ultra 200V 处理器的设备,然后是搭载 AMD Ryzen AI 9 的 PC。

第一个模型将是 DeepSeek-R1-Distill-Qwen-1.5B(即 15 亿参数模型),更大、更强大的 7B 和 14B 模型即将推出。这些模型将可从微软的 AI 工具包中下载。

微软调整了这些模型,使其在搭载 NPU 的设备上运行。严重依赖内存访问的操作在 CPU 上运行,而计算密集型操作在 NPU 上运行。通过优化,微软成功实现了快速的第一个词元时间(130 毫秒)和短提示(少于 64 个令牌)每秒 16 个词元的吞吐率。

gsmarena_001.jpg

微软是 OpenAI(ChatGPT 和 GPT-4o 的制造商)的坚定支持者并有着深度投资,但它似乎并不偏袒——它的 Azure Playground 有 GPT 模型(OpenAI)、Llama(Meta)、Mistral(一家 AI 公司),现在还有 DeepSeek。

如果您更喜欢本地 AI,请先下载适用于 VS Code 的 AI 工具包。从那里,您应该能够在本地下载模型(例如,“deepseek_r1_1_5”是 1.5B 模型)。最后,在 Playground 中点击“尝试”,看看这个精炼版 R1 有多智能。

“模型精炼”,有时也称为“知识精炼”,是采用大型 AI 模型(完整的 DeepSeek R1 有 6710 亿个参数)并将其尽可能多的知识转移到较小的模型(例如 15 亿个参数)的过程。这不是一个完美的过程,精炼模型的性能不如完整模型 - 但其较小的尺寸使其可以直接在消费硬件上运行(而不是花费数万美元的专用 AI 硬件)。

我们在FebBox(https://www.febbox.com/cnbeta) 开通了新的频道,更好阅读体验,更及时更新提醒,欢迎前来阅览和打赏。
查看评论
created by ceallan