全球最强AI芯片来了！NVIDIA 的 H200 性能飙升了 90%

周一，英伟达宣布推出HGX H200 Tensor Core GPU，它利用Hopper架构来加速人工智能应用程序。 这是去年发布的H100 GPU的后续产品，此前是Nvidia最强大的AI GPU芯片。如果得到广泛部署，它可能会在不久的将来产生更强大的人工智能模型，并缩短ChatGPT等现有模型的响应时间。

Nvidia将提供多种外形尺寸的H200。这包括采用四向和八向配置的 Nvidia HGX H200 服务器主板，与 HGX H100 系统的硬件和软件兼容。它还将在Nvidia GH200 Grace Hopper Superchip中上市，它将CPU和GPU合并为一个封装，以获得更多的人工智能活力（这是一个技术术语）。

从明年开始，亚马逊网络服务、谷歌云、微软 Azure 和甲骨文云基础设施将成为首批部署基于 H200 的实例的云服务提供商，英伟达表示，H200将从2024年第二季度开始 “全球系统制造商和云服务提供商” 上市。

过去一年，缺乏计算能力（通常称为 “计算”）一直是人工智能进步的主要瓶颈，阻碍了现有人工智能模型的部署，减缓了新模型的开发。加速人工智能模型的强大 GPU 短缺在很大程度上是罪魁祸首。 缓解计算瓶颈的一种方法是制造更多的芯片，但你也可以让人工智能芯片更强大。第二种方法可能会使H200成为对云提供商有吸引力的产品。

让我们仔细看看 H200 比 H100 的性能改进反映在哪里。

根据英伟达的说法， H200 是该公司首款使用 Hbm3e 内存的芯片。 这种类型的内存速度更快，容量更大，因此更适合大型语言模型。 下图显示了一系列 AI 推理工作负载上 H100 和 H200 之间的相对性能比较：

可以看出，与H100相比，H200性能的主要改进是它在大型模型上的推理性能。 在处理 Llama2 70B 等大型语言模型时，H200 的推理性能是 H100 GPU 的两倍。

显然，在相同的功率范围内实现两倍的性能提高意味着实际功耗和总体拥有成本降低了50％。 因此，从理论上讲，英伟达可以将H200 GPU定价与H100相似。

随着 H200 的推出，能效和 TCO 达到了新的水平。这项尖端技术提供了无与伦比的性能，所有性能均与 H100 Tensor Core GPU 相同。 人工智能工厂和超级计算系统不仅速度更快，而且更环保，可带来经济优势，推动人工智能和科学界向前发展。

得益于 Transformer 引擎、降低的浮点精度和更快的 HBM3 内存，自今年以来已全面出货的 H100 与 A100 相比，GPT-3 175B 型号的推理性能已经提高了 11 倍。凭借更大、更快的 Hbm3e 内存，H200 可以直接将性能提升多达 18 倍，无需更改任何硬件或代码。 即使与H100相比，H200的性能也提高了1.64倍，这纯粹是由于内存容量和带宽的增长。

为了防止囤积大量H100 GPU的客户不满意，Nvidia似乎只有一个解决方案： 将配备 141 GB Hbm3e 内存的 Hopper 定价为 80 GB 或 96 GB HBM3 内存版本价格的 1.5 至 2 倍。 想象一下，如果未来的设备具有 512 GB 的 HBM 内存和 10 Tb/s 的带宽，将达到什么样的性能水平？你愿意为这个功能齐全的 GPU 支付多少钱？ 最终产品的售价可能为60,000美元甚至90,000美元，因为许多用户已经愿意为目前未充分使用的产品支付30,000美元。

出于各种技术和经济原因，几十年来，处理器通常被配置为过高的计算能力，但相应的内存带宽相对不足。实际内存容量通常取决于设备和工作负载的要求。在 HPC 仿真/建模甚至 AI 训练/推理领域，即使是最先进的 GPU 的内存带宽和内存容量也相对不足，因此无法实质性提高芯片上现有向量和矩阵引擎的利用率。 因此，这些 GPU 只能花费大量时间等待数据交付，无法充分发挥其优势。

内存带宽对于 HPC 应用程序至关重要，因为它可以加快数据传输速度并减少复杂的处理瓶颈。 对于模拟、科学研究和人工智能等内存密集型 HPC 应用程序，H200 更高的内存带宽可确保高效地访问和操作数据，从而将获得结果的时间缩短 110 倍。

在大约一个月前的Nvidia财务会议上，该公司发布了其技术路线图。 据透露，在计划于2024年推出的 “Blackwell” GB100 GPU和B100 GPU发布之前，GH200 GPU和H200 GPU加速器将用作过渡产品。

无论Nvidia的Blackwell B100 GPU加速器表现如何，可以假设它将带来更强大的推理性能，而这种性能提升很可能来自内存的突破，而不是计算层面的升级。以下是 B100 GPU 在 GPT-3 175B 参数模型上的推理性能改进：

在评估芯片行业的竞争格局时，很明显，Nvidia面临着多个竞争者和潜在威胁：

AMD：AMD 是一家资金充足的芯片制造商，拥有强大的 GPU 专业知识。 但是，它在软件方面的相对弱点可能会阻碍其与Nvidia进行有效竞争的能力。

英特尔：尽管英特尔在人工智能加速器或GPU方面没有取得太大的成功，但不容低估。 作为半导体行业的主要参与者，英特尔拥有在这一领域取得重大进展的资源和能力。

超大规模企业的内部解决方案：谷歌、亚马逊、微软和Meta Platform等公司正在开发其内部芯片，例如TPU、Trainium和Inferentia。 尽管这些芯片可能在特定工作负载中表现出色，但在各种应用中，它们的性能可能不会优于 Nvidia 的 GPU。

云计算公司： 云提供商将需要提供各种 GPU 和加速器，以满足运行 AI 工作负载的企业客户的需求。 尽管亚马逊和谷歌可能会将内部芯片用于自己的人工智能模型，但说服广大企业客户优化这些专有半导体的人工智能模型可能会导致供应商锁定，而企业通常会避免这种情况。

在竞争激烈的人工智能芯片市场中，正如市场质疑英伟达的领先地位将受到挑战一样，这种芯片的发布无疑给了Nvidia投资者很大的信心。 基于持续的产品创新，Nvidia仍然保持着与业内同行相比的显著领先地位。但是，最大的不确定性在于中国。英伟达已经为其中国市场定制了H20芯片，以绕过政府法规。 在下一篇文章中，我将比较Nvidia的中国版芯片能否满足需求。