浅谈 Nvidia H20 的实用价值
一、引言
站在这个时间点上看，2024年国内通过合规渠道能采购的英伟达的高端显卡只有H20 [1, 2]。Nvidia H20拥有高配的显存、很高的卡间互联带宽和有竞争力的FP8算力，是值得推荐的一款GPU卡（单看96GB的HBM3显存配置，也推荐大家使用H20）。
预测2024年Nvidia H20的销售情况与2023年Nvidia H800的销售情况会比较类似，会从刚开始大家观望到后来大家抢购（再到买不到）。本文就谈谈Nvidia H20的实用价值。
二、H20简介与对比
Nvidia H20，源自Nvidia H200的精心裁剪，完美继承了900GB/s的卡间高速互联带宽，融合NVLink4.0与NVSwitch3.0尖端技术。更值得一提的是，它支持PCIe Gen5，双向带宽高达128GB/s，轻松驾驭400GbE集群网络。
这一特性不仅便于构建超大规模GPU集群，更能确保集群保持卓越的线性加速比，为高性能计算领域注入强大动力。
H20峰值算力仅为H200的约15%，显示出其算力相对较低，明显受到裁剪影响。在算力比拼中，H20显然处于劣势地位。
在L2 Cache配置上，H20的60MB容量显著超越H200，展现出更强大的数据处理能力。
同时，Nvidia H20搭载96GB HBM3显存，带宽高达惊人的4TB/s，虽相较于H200有所精简，但相较于国产AI芯片，其优势依然显著。H20的出色配置，使其在高性能计算领域具备强大竞争力，为用户带来更高效、更流畅的计算体验。
国内大模型厂商的训练算力，以Nvidia A800、H800和华为昇腾910B-A2为主流选择。然而，Nvidia H20以其独特优势崭露头角，与现有算力资源相比，展现出强大的竞争力。未来，随着技术的不断进步，我们期待更多高性能算力平台涌现，助力行业发展。
Nvidia H20在性能上展现出卓越优势。与Nvidia A800相比，H20在FP8算力、显存配置、卡间互联带宽及PCIe连接方面均胜一筹；相较于Nvidia H800，H20在L2 Cache、显存配置及卡间互联带宽方面同样领先；与华为昇腾910B-A2相较，H20在FP8算力、显存配置以及卡间互联带宽上均展现显著优势。无论是与业界巨头还是国内领军者相比，Nvidia H20均以其出色的性能，展现出强大的竞争力。
三、H20 for 大模型训练
Nvidia H20卡具备卓越的卡间互联带宽和PCIe Gen5支持，当搭配400GbE集群网络时，其集群线性加速比近乎完美，达到近乎1的惊人水平。这使得H20成为构建大规模集群的理想选择，性能卓越，不容错过。
使用Nvidia H20执行大模型训练任务，基于目前的一些测试结果，对于BF16混合精度训练，在集群规模较小的情况下（例如，512 x H20），Nvidia H20训练吞吐大概可以达到Nvidia A800训练吞吐的62%（即集群规模较小的情况下，H20的性能是A800的性能的～60%）[11, 12]；在集群规模较大的情况下（例如，4096 x H20），Nvidia H20训练吞吐大概可以达到Nvidia A800训练吞吐的70%（即集群规模较大的情况下，H20的性能是A800的性能的～70%）。
值得指出的是，目前FP8混合精度训练方法尚待完善，仅适用于较小规模的LLM模型训练（如34B及以下）。但随着技术的不断进步，我们有理由相信，FP8混合精度训练将成为引领未来的主流技术。
四、H20 for 大模型推理
Nvidia H20以其卓越的显存配置与出色的FP8峰值算力，成为LLM推理的理想之选。相较于Nvidia H800，H20在大型模型推理任务，特别是LLM推理中，展现出更为优越的性能，推理速度提升高达20%。具体来说，H20的显存带宽更胜一筹，达到约120%的提升。选择Nvidia H20，为您的LLM推理任务注入强大动力，实现更高效的计算与推理体验。
随着LLM模型参数规模的飞速增长，高效推理服务对AI芯片的要求也日益严苛。Nvidia H20以其强大的高配显存，成为执行超大LLM模型推理任务的优选方案，不仅性能卓越，更兼具高性价比[1, 2, 9, 10]。
另外，通过采用Nvidia H20置换当前推理服务中的A800和H800卡，我们可有效释放更多A800和H800卡资源，专注于大模型训练，显著提升训练效率与资源利用率。
综上所述，Nvidia H20的核心价值卓越，体现在：其一，其能高效组建大规模集群，适用于大模型训练，如FP8混合精度训练；其二，H20在超大规模LLM推理中表现优异，以FP8计算见长；其三，其价格适中，性价比高，极具竞争力。无论是性能还是成本，H20都是您的理想之选。
-对此，您有什么看法见解？-
