普林斯顿大学的先进AI芯片项目得到了DARPA和 EnCharge AI 的支持
普林斯顿大学的先进人工智能芯片项目得到了DARPA和 EnCharge AI 的支持,有望大幅提高能效和计算能力,旨在彻底改变人工智能的可及性和应用。
普林斯顿大学的研究人员完全重新想象了计算的物理原理,为现代人工智能工作负载打造了一款芯片,在美国政府的新支持下,他们将看到这款芯片的速度、结构和能效有多快。上图为早期原型。图片来源:Hongyang Jia/普林斯顿大学
美国国防部最大的研究机构与普林斯顿大学合作,开发用于人工智能的先进微芯片。电子与计算机工程学教授纳文-维尔马(Naveen Verma)表示,新硬件为现代工作负载重新设计了人工智能芯片,与当今最先进的半导体相比,它能以更低的能耗运行强大的人工智能系统。Verma 将领导这个项目,他说,这些进展突破了阻碍人工智能芯片的关键障碍,包括尺寸、效率和可扩展性。
不
从笔记本电脑、手机、医院、高速公路到低地球轨道甚至更远的地方,都可以部署能耗更低的芯片来运行人工智能。为当今最先进的模型提供动力的芯片过于笨重且效率低下,无法在小型设备上运行,主要局限于服务器机架和大型数据中心。
现在,美国国防部高级研究计划局(Defense Advanced Research Projects Agency,简称 DARPA)宣布,将以维尔马实验室的一系列关键发明为基础,拨款 1860 万美元支持维尔马的工作。DARPA 的资助将推动对新芯片的速度、结构和能效的探索。
维尔马说:"最好的人工智能仅仅存在于数据中心,这是一个非常重要的限制。我认为,如果能将其从中解锁,那么我们能从人工智能中获得价值的方式就会爆炸性增长。"
纳文-维尔马(Naveen Verma)教授将领导一个由美国支持的项目,在其普林斯顿实验室的一系列关键发明的基础上,为人工智能硬件增效。图片来源:Sameer A. Khan/Fotobuddy
这项宣布是 DARPA 为下一代人工智能计算的"科学、设备和系统的革命性进步"提供资金的更广泛努力的一部分。该计划名为 OPTIMA,包括多个大学和公司的项目。该计划的提案征集活动预计资助总额为 7800 万美元,但 DARPA 尚未披露完整的机构名单或该计划迄今为止已发放的资助总额。
EnCharge AI 的出现
在普林斯顿领导的这个项目中,研究人员将与 Verma 的初创公司EnCharge AI 合作。EnCharge AI 位于加利福尼亚州圣克拉拉市,正在将基于维尔马实验室发现的技术商业化,其中包括他与电气工程研究生共同撰写的几篇关键论文,最早可追溯到 2016 年。
根据项目提案,Encharge AI"在开发和执行稳健、可扩展的混合信号计算架构方面具有领先地位"。Verma 于 2022 年与前 IBM 研究员 Kailash Gopalakrishnan 和半导体系统设计领域的领军人物 Echere Iroaga共同创办了这家公司。
戈帕拉克里什南说,在人工智能开始对计算能力和效率提出大量新需求的时候,现有计算架构的创新以及硅技术的改进恰恰开始放缓。即使是用于运行当今人工智能系统的最好的图形处理器(GPU),也无法缓解行业面临的内存和计算能源瓶颈。
他说:"虽然 GPU 是目前最好的工具,但我们得出结论,需要一种新型芯片来释放人工智能的潜力。"
改变人工智能计算格局
普林斯顿大学凯勒工程教育创新中心(Keller Center for Innovation in Engineering Education)主任维尔马表示,从2012年到2022年,人工智能模型所需的计算能力增长了约100万倍。为了满足需求,最新的芯片内置了数百亿个晶体管,每个晶体管之间的间隔只有一个小病毒的宽度。然而,这些芯片的计算能力密度仍然不足以满足现代需求。
当今的领先模型结合了大型语言模型、计算机视觉和其他机器学习方法,每个模型都使用了超过万亿个变量。英伟达(NVIDIA)设计的 GPU 推动了人工智能的蓬勃发展,如今已变得如此珍贵,据说各大公司都通过装甲车来运输这些 GPU。购买或租赁这些芯片的积压量已达到消失点。
当英伟达(NVIDIA)成为史上第三家估值达到 2 万亿美元的公司时,《华尔街日报》报道称,在该公司不断增长的收入中,迅速增加的份额并非来自于开发模型(称为训练),而是来自于芯片,这些芯片使人工智能系统在训练完成后能够投入使用。技术专家将这一部署阶段称为推理。维尔马说,推理是他的研究在中短期内影响最大的领域。
"这一切都是为了分散人工智能,将其从数据中心释放出来,"他说。"它必须从数据中心转移到我们和与我们息息相关的流程最能访问计算的地方,那就是手机、笔记本电脑、工厂等这些地方。"
创新人工智能芯片技术
为了制造出能在紧凑或能源受限的环境中处理现代人工智能工作负载的芯片,研究人员必须彻底重新想象计算的物理原理,同时设计和封装硬件,使其能用现有的制造技术制造,并能与现有的计算技术(如中央处理器)良好配合。
"人工智能模型的规模已经爆炸性增长,"维尔马说,"这意味着两件事。人工智能芯片在做数学运算时需要变得更加高效,在管理和移动数据时也需要变得更加高效。"
他们的方法有三个关键部分。几乎每台数字计算机的核心架构都遵循着 20 世纪 40 年代首次开发的一种简单得令人难以置信的模式:在一个地方存储数据,在另一个地方进行计算。这意味着信息要在存储单元和处理器之间穿梭。在过去的十年中,维尔马率先研究了一种更新的方法,即直接在存储单元中进行计算,这种方法被称为内存计算。这是第一部分。内存计算有望减少移动和处理大量数据所需的时间和能源。
但迄今为止,内存计算的数字方法还非常有限。维尔马和他的团队转向了另一种方法:模拟计算。这是第二部分。
"在内存计算的特殊情况下,你不仅需要高效地进行计算,"维尔马说,"还需要以非常高的密度进行计算,因为现在它需要装在这些非常小的存储单元中。模拟计算机并不是将信息编码成一系列的 0 和 1,然后使用传统的逻辑电路来处理这些信息,而是利用设备更丰富的物理特性。齿轮的弧度。导线保持电荷的能力。"
20 世纪 40 年代,数字信号开始取代模拟信号,这主要是因为二进制代码能更好地适应计算的指数级增长。但是,数字信号无法深入挖掘设备的物理特性,因此需要更多的数据存储和管理。因此,数字信号的效率较低。模拟信号的效率来自于利用设备的固有物理特性处理更精细的信号。但这可能需要在精度上做出权衡。
维尔马说:"关键在于找到合适的物理学原理,并将其应用于可控性极强、可大规模制造的设备中。"
他的团队找到了一种方法,可以利用专门设计的电容器产生的模拟信号进行高精度计算,从而实现精确的开关。这是第三部分。与晶体管等半导体器件不同,通过电容器产生的电能并不取决于材料中的温度和电子迁移率等可变条件。
"它们只取决于几何形状,"维尔马说。"它们取决于一根金属线与另一根金属线之间的空间。当今最先进的半导体制造技术可以很好地控制几何形状。"
编译自:ScitechDaily