DeepSeek宣布开源MLA解码核FlashMLA GitHubstar超1700

摘要:

在上周DeepSeek宣布本周将是开源周(OpenSourceWeek),并将连续开源五个软件库后。今日,DeepSeek宣布开源了开源周首款用于Hopper GPU的高效型MLA解码核——FlashMLA。


在GitHub上,目前该项目已经收获了超过1700star,并且拥有62个Fork。

MLA是DeepSeek V2-V3系列大模型最为重要技术创新,主要用于减少推理过程的KV Cache,进而降低推理成本。据DeepSeek介绍,FlashMLA是Hopper GPUs的有效MLA解码内核,可针对可变长度序列进行优化,目前主要发布包括:1、 BF16;2、块大小为64 的分页kvcache。

在基准测试性能表现上,FlashMLA在英伟达H800 SXM5 GPU上可实现3000 GB/s 的内存速度以及580TFLOPS的计算上限。

我们在FebBox(https://www.febbox.com/cnbeta) 开通了新的频道,更好阅读体验,更及时更新提醒,欢迎前来阅览和打赏。
查看评论
created by ceallan