返回上一页  首页 | cnbeta报时: 01:51:13
郭明錤解密Apple Intelligence:端侧模型对DRAM需求约为2GB或更低
发布日期:2024-06-12 17:48:53  稿源:凤凰网科技

6月12日,天风国际证券分析师郭明琪近日发布报告称,从配备A16的iPhone 15无法支持Apple Intelligence,但M1的机型可以支持,这推论出能否支持目前Apple Intelligence装置端模型的关键应该是DRAM大小,而较不是AI算力(TOPS)。

郭明琪表示,M1的AI算力约为11 TOPS,低于A16的17 TOPS。但A16的DRAM为6GB,低于M1的8GB。因此,目前的Apple Intelligence装置端AI LLM对DRAM的需求约为2GB或更低。


他进一步指出,Apple Intelligence采用端侧3B LLM(应为FP16,M1的NPU/ANE对FP16有很好的支持),经过压缩后(采用2-bit与4-bit的混合配置),随时需要预留约0.7-1.5GB DRAM来运作Apple Intelligence的端侧LLM。

郭明琪的分析认为,对于现有的设备端应用,如果要通过AI进行增强,至少需要部署3B LLM。在此基础上,再根据压缩方式决定DRAM规格。(最有可能升级到7B LLM),届时需要更大DRAM才能运作。苹果是否会以此作为高低端机种的产品区隔策略值得观察。

我们在FebBox(https://www.febbox.com/cnbeta) 开通了新的频道,更好阅读体验,更及时更新提醒,欢迎前来阅览和打赏。
查看网友评论   返回完整版观看

返回上一页  首页 | cnbeta报时: 01:51:13

文字版  标准版  电脑端

© 2003-2024