返回上一页  首页 | cnbeta报时: 02:33:30
华为发布开源技术SINQ:可大幅降低大模型硬件需求 一张4090就能跑
发布日期:2025-10-06 00:10:40  稿源:快科技

据报道,华为苏黎世的实验室发布了一种新的开源量化方法,可在不牺牲大模型输出质量的情况下,减少显存需求。该技术名为 SINQ(Sinkhorn-Normalized Quantization),目前已在GitHub和Hugging Face上开源,采用Apache 2.0许可,允许企业和研究机构免费使用、修改和商业部署。

SINQ的核心优势在于其快速、无需校准,并且易于集成到现有模型工作流中,通过独特的量化方法,将模型的显存需求降低了60%至70%,具体取决于模型架构和位宽。

这意味着原本需要超过60GB显存才能运行的模型,现在可以在大约20GB的环境中运行。原本需要在高端企业级GPU(如A100或H100)才能运行的大模型,如今可在更经济的硬件上运行,例如单张RTX 4090。

SINQ已在多种架构和模型(如Qwen3系列、LLaMA和DeepSeek)上进行了评估,并在WikiText2和C4等基准测试中表现出色,显著降低了困惑度和翻转率。

它还支持非均匀量化方案(如NF4),并可与校准方法(如AWQ)结合使用,进一步缩小与全精度模型的差距。

在运行效率方面,SINQ的量化速度比HQQ快约两倍,比AWQ快30倍以上,非常适合对量化时间有实际限制的研究和生产环境。

我们在FebBox(https://www.febbox.com/cnbeta) 开通了新的频道,更好阅读体验,更及时更新提醒,欢迎前来阅览和打赏。
查看网友评论   返回完整版观看

返回上一页  首页 | cnbeta报时: 02:33:30

文字版  标准版  电脑端

© 2003-2025