グローバル最強のaiチップが登場！ NVIDIAのH200の性能は90%向上しました。

月曜日、NvidiaはHopperアーキテクチャを利用したHGX H200 Tensor Core GPUを発表し、人工知能アプリケーションを加速します。これは、昨年リリースされ、以前はNvidiaの最も強力なAI GPUチップであったH100 GPUの後続モデルです。広く展開されれば、これまでのようなChatGPTのような既存の人工知能モデルよりもはるかに強力なモデルを生み出し、より高速なレスポンスタイムを実現することができます。

Nvidiaは、H200をいくつかの形態で提供します。これには、4枚と8枚の構成のNvidia HGX H200サーバーボードが含まれます。これは、HGX H100システムのハードウェアとソフトウェアの両方と互換性があります。それはまた、CPUとGPUを1つのパッケージに組み合わせたNvidia GH200 Grace Hopper Superchipでも利用可能です（それは技術用語です）。

Amazon Web Services、Google Cloud、Microsoft Azure、Oracle Cloud Infrastructureは、来年からH200ベースのインスタンスを配備する最初のクラウドサービスプロバイダーになります。また、NvidiaはH200が2024年第2四半期から"グローバルシステムメーカーとクラウドサービスプロバイダー"から利用可能になると述べています。

AIの進歩において、コンピューティングパワー（通常"compute"と呼ばれる）の不足は、この1年間の主要なボトルネックであり、既存のAIモデルの展開を妨げ、新しいモデルの開発を遅らせることになりました。AIモデルを加速する強力なGPUの不足が主な原因です。コンピュートのボトルネックを緩和する方法の1つはより多くのチップを製造することですが、AIチップをより強力にすることもできます。後者のアプローチは、クラウドプロバイダーにとって魅力的な製品にするかもしれません。

次は、H200の性能の向上点について詳しく見てみましょう。

Nvidiaによると、H200は、同社初のHBM3eメモリを使用する最初のチップです。 このタイプのメモリはより高速で容量が大きく、大きな言語モデルに適しています。以下の図は、範囲のAI推論ワークロードにおけるH100とH200の相対性能比較を示しています:

H200の性能がH100と比較して最も改善された点は、大規模なモデルの推論パフォーマンスです。H200は、Llama2 70Bなどの大規模言語モデルを処理する際にH100 GPUと比較して推論性能が2倍になります。

同じ電源範囲内で2倍のパフォーマンス向上を実現することは、実際の消費電力と全体的な所有コストが50％削減されることを意味しているため、理論上、NVIDIAはH100 GPUと同様にH200 GPUを価格設定することができます。したがって、理論的には、NVIDIAはH100 GPUと同様にH200 GPUを価格設定することができます。

H200の導入により、エネルギー効率とTCOは新たなレベルに達します。この最先端の技術は、H100 Tensor Core GPUと同じ電力プロファイル内で、前例のないパフォーマンスを提供します。より速く、そしてより環境にやさしいAI工場とスーパーコンピュータシステムは、AIコミュニティと科学技術コミュニティを前進させる経済的な優位性を提供します。

Transformerエンジン、減少した浮動小数点精度、および高速なHBM3メモリにより、今年完全に出荷されたH100は、A100に比べてGPT-3 175Bモデルで推論性能が11倍になりました。より大きく、より速いHBM3eメモリにより、H200はハードウェアやコードの変更なしに、パフォーマンスを最大18倍まで直接向上させることができます。H200の性能は、メモリ容量と帯域幅の成長により、H100と比較して1.64倍に向上しました。

大量のH100 GPUを保有している顧客が不満にならないようにするため、Nvidiaには1つの解決策しかないようです。141 GBのHBM3eメモリを搭載したHopperを、80 GBまたは96 GBのHBM3メモリバージョンの価格の1.5倍から2倍の価格で販売することです。将来のデバイスが512 GBのHBMメモリと10 TB/sの帯域幅を持つ場合、どのようなパフォーマンスレベルが達成されるか想像してください。完全な機能を備えたこのGPUにいくら支払いたいですか？現在完全には活用されていない製品にも、既に3万ドルを支払う用意があるユーザーが多数存在するため、最終製品は6万ドル以上、あるいは90,000ドル程度になる可能性があります。

技術的、経済的な理由から、プロセッサは何十年もの間、通常、余分な計算能力を持った構成になっていますが、対応するメモリ帯域幅は比較的不十分となっています。実際のメモリ容量は、しばしばデバイスとワークロードの要件に依存します。HPCシミュレーション／モデリング、さらにはAIトレーニング／推論の分野では、最も先進的なGPUのメモリ帯域幅とメモリ容量も比較的不十分なため、既存のベクトルおよび行列エンジンの利用率を実質的に改善することはできません。そのため、これらのGPUは、データの配信を待つために多くの時間を費やすだけで、強みを十分に活用することができません。

メモリ帯域幅は、より高速なデータ転送を可能にするため、HPCアプリケーションにおいて重要であり、複雑な処理のボトルネックを減らします。シミュレーション、科学研究、人工知能のようなメモリ集約型HPCアプリケーションにとって、H200の高いメモリ帯域幅により、データに効率的にアクセスおよび操作でき、結果の出力までの時間が最大110倍短縮されます。

約1ヶ月前に、NVIDIAの財務会議では、同社は技術ロードマップを公表しました。この中で、GH200 GPUおよびH200 GPUアクセラレータは、2024年までに発売予定の「Blackwell」GB100 GPUおよびB100 GPUのリリース前の移行製品として仕えることが明らかになりました。

NvidiaのBlackwell B100 GPUアクセラレーターがどのような性能を発揮するかに関係なく、より強力な推論パフォーマンスをもたらすことが期待され、このパフォーマンスの向上は、演算レベルのアップグレードではなく、メモリのブレークスルーから生じる可能性が高いと推測されます。以下は、GPT-3 175Bパラメーターモデル上でのB100 GPUの推論パフォーマンスの向上を見てみましょう。

チップ業界の競争環境を評価すると、Nvidiaはいくつかの競合他社や潜在的な脅威に直面していることが明らかです。

AMD：AMDは資金力のあるチップメーカーで、強力なGPUの専門知識を持っています。ただし、ソフトウェア分野での相対的な弱点が競合力を損なう可能性があります。

Intel：IntelはAIアクセラレーターやGPUで多くの成功を収めていませんが、過小評価すべきではありません。半導体業界の主要プレーヤーであるIntelは、この分野で重要な進歩を遂げるためのリソースと能力を持っています。

ハイパースケーラからのインハウスソリューション：Google、Amazon、Microsoft、Meta Platformなどの企業は、TPU、Trainium、Inferentiaなどのインハウスチップを開発しています。これらのチップは、特定のワークロードでは優れているかもしれませんが、幅広いアプリケーションの範囲でNvidiaのGPUよりも優れる可能性はありません。

クラウドコンピューティング企業：クラウドプロバイダーは、AIワークロードを実行する企業顧客に対応するために、さまざまなGPUやアクセラレータを提供する必要があります。AmazonやGoogleなどは自社のAIモデルに自社のチップを使用するかもしれませんが、これらのプロプライエタリセミコンダクターに対して顧客が自社のAIモデルを最適化するよう説得することは、通常、企業が回避する方法です。

激戦を制するAIチップ市場で、市場がNvidiaのトップポジションが脅かされると市場が疑問を呈している中、このようなチップの発売は、いわばNvidiaの投資家に多くの自信を与えます。継続的な製品革新に基づいて、Nvidiaは業界の競合他社に対して依然として大きなリードを維持しています。ただし、最大の不確実性は中国にあります。Nvidiaは、中国市場向けにH20チップをカスタマイズし、政府規制を回避しています。次の記事では、Nvidiaの中国版チップが需要に応えることができるかどうかを比較します。