黄仁勋:AI数据中心可扩展至百万芯片 性能年翻倍,能耗年减2-3倍

摘要:

本周,英伟达CEO黄仁勋接受了《No Priors》节目主持人的采访,就英伟达的十年赌注、x.AI超级集群的快速发展、NVLink技术创新等AI相关话题进行了一场深度对话。黄仁勋表示,没有任何物理定律可以阻止将AI数据中心扩展到一百万个芯片,尽管这是一个难题,多家大公司包括OpenAI、Anthropic、Google、Meta和微软等,都在争夺AI领域的领导地位,竞相攀登技术的高峰,但重新创造智能的潜在回报是如此之大,以至于不能不去尝试。

maxresdefault.jpg

摩尔定律曾是半导体行业发展的核心法则,预测芯片的晶体管数目每两年会翻倍,从而带来性能的持续提升。然而,随着物理极限的接近,摩尔定律的速度开始放缓,芯片性能提升的瓶颈逐渐显现。

为了解决这一问题,英伟达将不同类型的处理器(如GPU、TPU等)结合起来,通过并行处理来突破传统摩尔定律的限制。黄仁勋表示,未来10年,计算性能每年将翻一番或三倍,而能源需求每年将减少2-3倍,我称之为“超摩尔定律曲线”。

黄仁勋还提到,我们现在可以将AI软件扩展到多个数据中心:“我们已经做好准备,能够将计算扩展到前所未有的水平,而我们正处于这一领域的起步阶段。”

以下是黄仁勋讲话的亮点:

1.我们在未来10年进行了重大的投资。我们正在投资基础设施,打造下一代AI计算平台。我们在软件、架构、GPU以及所有实现AI开发所需的组件上都进行了投资。

2.摩尔定律,即晶体管数目每两年翻倍的预言,曾经是半导体行业的增长指南。然而,随着物理极限的接近,摩尔定律已不再能够单独推动芯片性能的提升。为了解决这一问题,英伟达采用了类似于“异构计算”的方式,即将不同类型的处理器(如GPU、TPU等)结合起来,通过并行处理来突破传统摩尔定律的限制。英伟达的技术创新,如CUDA架构和深度学习优化,使得AI应用得以在超越摩尔定律的环境中高速运行。

3.我们推出了NVLink作为互连技术,它使得多个GPU能够协同工作,每个GPU处理工作负载的不同部分。通过NVLink,GPU之间的带宽和通信能力大幅提升,使得数据中心能够扩展并支持AI工作负载。

4.未来的AI应用需要动态和弹性强的基础设施,能够适应各种规模和类型的AI任务。因此,英伟达致力于构建可以灵活配置和高效运营的基础设施,满足从中小型AI项目到超大规模超级计算集群的需求。

5.构建AI数据中心的关键是要同时优化性能和效率。在AI工作负载中,你需要巨大的电力,而散热成为一个巨大的问题。所以我们花了大量时间优化数据中心的设计和运营,包括冷却系统和电力效率。

6.在硬件快速发展的背景下,保持软件与硬件架构的兼容性显得尤为重要。黄仁勋提到,我们必须确保我们的软件平台,如CUDA,可以跨代硬件使用。开发者不应当每次我们推出新芯片时都被迫重写代码。因此,我们确保保持向后兼容,并让软件能够在我们开发的任何新硬件上高效运行。

7.我们正在建设一个超级集群,叫做X.AI,它将成为世界上最大的AI超级计算平台之一。这个超级集群将提供支持一些最雄心勃勃的AI项目所需的计算能力。这是我们推动AI前进的一大步。

8.扩展AI数据中心的一个大挑战是管理它们消耗的巨大能源。问题不仅仅是构建更大、更快的系统。我们还必须处理运行这些超大规模系统时面临的热量和电力挑战。为了应对这一切,需要创新的工程技术来确保基础设施能够应对。

9.AI在芯片设计中的作用日益重要,黄仁勋指出,AI已经在芯片设计中发挥着重要作用。我们使用机器学习来帮助设计更高效的芯片,速度更快。这是我们设计下一代英伟达芯片的一个关键部分,并帮助我们构建专为AI工作负载优化的芯片。

10.英伟达市值的激增是因为我们能够将公司转型为AI公司。我们从一开始是GPU公司,但我们已经转型成了AI计算公司,这一转型是我们市值增长的关键部分。AI技术的需求正在迅速增长,我们处在一个能够满足这一需求的有利位置。

11.具象化AI是指将AI与物理世界进行结合。通过这种方式,AI不仅可以在虚拟环境中进行任务处理,还能在现实世界中进行决策并执行任务。具象化AI将推动智能硬件、自动驾驶等技术的快速发展。

12.AI不仅仅是工具,它也可以成为‘虚拟员工’,帮助提升工作效率。AI能够在数据处理、编程、决策等领域替代或辅助人类工作,进而改变整个劳动市场和工作方式。

13.AI将在科学与工程领域产生巨大影响,特别是在药物研发、气候研究、物理实验等领域。AI将帮助科学家处理大量数据,揭示新的科学规律,并加速创新。它还将在工程领域优化设计,提高效率,推动更具创新性的技术发展。

14.我自己也在日常工作中使用AI工具,来提高效率和创造力。我认为,AI不仅能够帮助我们处理复杂的数据和决策任务,还能提升我们的创意思维和工作效率,成为每个人工作中不可或缺的一部分。

查看评论
created by ceallan