英伟达“最强AI芯片”炸裂全场！业内惊呼：新的摩尔定律诞生

时间：2024年03月19日 09:45:21 中财网

 2  英伟达“最强AI芯片”炸裂全场！业内惊呼：新的摩尔定律诞生

　　AI王者的“独角戏”越唱越响。

　　来源：硬AI
　　“最强AI芯片” Blackwell B200 GPU的高调发布，已不单单是稳固英伟达在芯片领域的王者地位，更是让业内人士高呼：新的摩尔定律诞生！

　　在隔夜的2024 GTC大会上，黄仁勋介绍了运行AI模型的新一代芯片和软件。他表示，新一代的B200 GPU拥有2080亿个晶体管，可以提供高达20 petaflops的FP4性能。相比之下，H100仅为4 petaflops。

　　

　　在GTC直播中，黄仁勋左手举着 B200 GPU，右手举着 H100
　　此外，将两个B200 GPU与单个Grace CPU 结合在一起的 GB200，可以为LLM推理工作负载提供30倍的性能，并且显著提高效率。

　　黄仁勋还强调称：“与H100相比，GB200的成本和能耗降低了25倍！

　　关于市场近期颇为关注的能源消耗问题，B200 GPU也交出了最新的答卷。

　　黄仁勋表示，此前训练一个1.8 万亿参数模型，需要8000 个 Hopper GPU 并消耗15 MW电力。但如今，2000 个 Blackwell GPU就可以实现这一目标，耗电量仅为4MW。

　　在拥有1750亿参数的GPT-3大模型基准测试中，GB200的性能是H100的7倍，训练速度是H100的4倍。

　　值得一提的是，B200 GPU的重要进步之一，是采用了第二代Transformer引擎。

　　它通过对每个神经元使用4位(20 petaflops FP4)而不是8位，直接将计算能力、带宽和模型参数规模翻了一倍。

　　而只有当这些大量的GPU连接在一起时，第二个重要区别才会显现，那就是新一代NVLink交换机可以让576个GPU相互通信，双向带宽高达1.8TB/秒。

　　而这就需要英伟达构建一个全新的网络交换芯片，其中包括500亿个晶体管和一些自己的板载计算：拥有3.6 teraflops FP8处理能力。

　　在此之前，仅16个GPU组成的集群，就会耗费60%的时间用于相互通信，只有40%的时间能用于实际计算。

　　一石激起千层浪，“最强AI芯片”的推出让网友纷纷赞叹。

　　其中英伟达高级科学家Jim Fan直呼：Blackwell新王诞生，新的摩尔定律已经应运而生。

　　DGX Grace-Blackwell GB200：单个机架的计算能力超过1 Exaflop。

　　黄仁勋交付给OpenAI的第一台DGX是0.17 Petaflops。

　　GPT-4的1.8T参数可在2000个Blackwell上完成90天的训练。

　　

　　还有网友感叹：1000倍成就达成！

　　Blackwell标志着在短短8年内，Nvidia AI 芯片的计算能力实现了提升1000倍的历史性成就。

　　2016 年，“Pascal”芯片的计算能力仅为19 teraflops，而今天Blackwell的计算能力已经达到了 20000 teraflops。

　　

　　本文来自微信公众号“硬AI”，关注更多AI前沿资讯请移步这里(硬AI 朱雪莹)