在全球算力荒的情况下，AI芯片巨头英伟达加速算力竞赛。当地时间11月13日，英伟达宣布推出新一代人工智能芯片H200，称其是目前世界“最强”的AI芯片。
H200此次升级主要体现在带宽更高、容量更大的内存，能以每秒4.8TB的速度提供141GB的内存，而其目前最先进的H100的带宽和容量分别为3.35TB和80GB。这将提升大模型在推理方面的表现，并有助于提升高性能计算应用的计算能力。
英伟达最强AI芯片推理性能提升90%
H200是英伟达当前用于训练最先进大语言模型H100芯片的升级产品，它基于英伟达Hopper架构，配备具有先进内存的NVIDIA H200 Tensor Core GPU，可处理生成式AI和高性能计算工作负载的大量数据。
H200还是英伟达第一款使用HBM3e内存的芯片。HBM3E是最新一代的内存规格，可以满足用于AI存储必备的速度，也在发热控制和客户使用便利性等所有方面达到全球最高水平，存储巨头SK海力士、美光等都在布局。
借助内存速度更快、容量更大的HBM3e，英伟达H200以每秒4.8TB的速度提供141GB的内存，与A100相比，容量几乎是其两倍，带宽也提升大43%，从而加速生成式AI和大语言模型，提高高性能计算（HPC）的工作负载。
内存带宽对HPC应用程序至关重要，因为它可以实现更快的数据传输，减少复杂的处理瓶颈。英伟达表示，对模拟、科学研究和人工智能等内存密集型HPC应用，H200更高的内存带宽可确保高效地访问和操作数据，与CPU相比速度最多可加快110倍。
据英伟达测算，借助H200，1750亿参数的GPT-3的推理速度是H100的1.6倍，700亿参数的Llama2大模型的推理速度则是H100的1.9倍，而高性能仿真计算速度则达到A100的2倍。总体来看，H200由于更强大的内存，更适用于推理，在其用于推理或生成问题答案时，性能较H100提高60%至90%。
此外，H200和H100两款芯片可以互相兼容。英伟达称，这意味着已经在使用H100进行训练的人工智能公司，不需要改变他们的服务器系统或软件来适应H200。
多家超算中心将部署GH200超算节点
除了H200芯片本身，英伟达此次还发布了由其组成的一系列集群产品。
首先是HGX H200平台，它是将8块H200搭载到HGX载板上，总显存达到了1.1TB，8位浮点运算速度超过32P（10^15) FLOPS，与H100数据一致。
HGX使用了英伟达的NVLink和NVSwitch高速互联技术，可以以最高性能运行各种应用负载，包括175B大模型的训练和推理。
HGX板的独立性质使其能够插入合适的主机系统，从而允许使用者定制其高端服务器的非GPU部分。
接下来是Quad GH200超算节点——它由4个GH200组成，而GH200是H200与Grace CPU组合而成的。
Quad GH200节点将提供288 Arm CPU内核和总计2.3TB的高速内存。
通过大量超算节点的组合，H200最终将构成庞大的超级计算机，一些超级计算中心已经宣布正在向其超算设备中集成GH200系统。
据英伟达官宣，德国尤利希超级计算中心将在Jupiter超级计算机使用GH200超级芯片，包含的GH200节点数量达到了24000块，功率为18.2兆瓦，相当于每小时消耗18000多度电。
该系统计划于2024年安装，一旦上线，Jupiter将成为迄今为止宣布的最大的基于Hopper的超级计算机。
Jupiter大约将拥有93(10^18) FLOPS的AI算力、1E FLOPS的FP64运算速率、1.2PB每秒的带宽，以及10.9PB的LPDDR5X和另外2.2PB的HBM3内存。
除了Jupiter，日本先进高性能计算联合中心、德克萨斯高级计算中心、伊利诺伊大学香槟分校国家超级计算应用中心等超算中心也纷纷宣布将使用GH200对其超算设备进行更新升级。
1、本号不对发布的任何信息的可用性、准确性、时效性、有效性或完整性作出声明或保证，并在此声明不承担信息可能产生的任何责任、任何后果。
2、 本号非商业、非营利性，转载的内容并不代表赞同其观点和对其真实性负责，也无意构成任何其他引导。本号不对转载或发布的任何信息存在的不准确或错误，负任何直接或间接责任。
3、本号部分资料、素材、文字、图片等来源于互联网，所有转载都已经注明来源出处。如果您发现有侵犯您的知识产权以及个人合法权益的作品，请与我们取得联系，我们会及时修改或删除。
