AMD Instinct™ MI300製品分析

1. AMD MI300Aの利点は、GH200と比較してより大きなメモリですが、計算能力は未検証です。将来的にはGH200の代替品として使用される可能性があります。

2. AMD MI300Xの利点は、より多くのメモリもあるが、トレーニング中のデータ移行によるGPU数の減少と電力損失を低減することもできます。

3. 現在、AMDはソフトウェアでの突破口を持とうと努力しているものの、一般大衆はその影響力がNVIDIAの既存ソフトウェアサービスに対して明白ではないと考えています。

AMDは、24のZen 4 CPUコアとCDNA 3 GPUコア、最大1530億個のトランジスタ、128 GbのHBM3メモリを組み合わせたInstinct MI300 APUを正式に発売しました。そして、CPUとGPUが単一のキャッシュメモリを共有しているため、MI300AはCPUとGPUの間のデータ移動を大幅に削減することができます。

これは、データ移動が通常計算よりも多くのエネルギーを消費するため、レイテンシが増加し、パフォーマンスとエネルギー効率が低下することが多いためです。ダウンタイムを最小限に抑えることで、MI300は印象的なパフォーマンスを提供しながら、消費電力を最小限に抑えることができます。また、Instinct MI300AもこのCPU＋GPUを実現するためのチップを使用していますが、NVIDIAのGH200はモジュールレベルで一体化されており、Instinct MI300Aはより小型のチップで実装されているため、この点で優位です。

Cambrian AI Research LLCの創設者で主要アナリストのカールフロイント氏は、MI300XがNvidiaのGH200 Grace Hopperスーパーチップの代替品になる可能性があると述べています。OpenAIやMicrosoftなどの企業はこのような代替品が必要であり、AMDがこれらの企業に断固とした申し出をすることはないとは思いますが、AMDはNvidiaからあまり市場シェアを奪い取れないでしょう。

MI300Xは、192GbのHBM3、5.2TB/sのメモリバンド幅、896GB/sのインフィニティファブリックバンド幅を備えた1530億トランジスタユニットです。

オンボードメモリが多い利点は、AMDがモデルをメモリ内で実行するために必要なGPU数を減らし、他のGPUやCPUリンクにNVLinkで接続する必要がなく、メモリ内でより大型のモデルを実行することができることです。

大型AI推論モデルを実行し、より多くのGPUメモリを搭載し、複数のGPUを横断することなくメモリ内で完全に実行できる大型かつ正確なモデルの実行には、市場に巨大な機会があります。

ただし、AMDの新しいチップには、NvidiaのH100チップと比較して、MI300Xは次の4つの領域で問題を抱えています。

第一に、NvidiaのH100は今日配送料を開始しています。これまでに、NvidiaはAI業界において最大のソフトウェアエコシステムと研究者を有しています。

第二に、MI300Xチップは192GbのRAMを提供していますが、Nvidiaは現時点でこの点で急速に追いついており、可能性があります。また、MI300Xの価格は非常に高くなり、NvidiaのH100と比較して重要なコスト優位性はありません。

第三に、MI300はH100にあるTransformer Engine（Nvidia Gpu上でトランスフォーマーモデルを高速化するためのライブラリ）を持っていないため、Transformerモデルのトレーニングが最大3倍遅くなる可能性があります。

最後に、AMDはまだベンチマークを公開していません。しかし、LLMのトレーニングと実行時のパフォーマンスはシステムデザインとGPUに依存します。

最新のパフォーマンス比較では、AMDはInstinct Mi300がInstinct MI250Xに比べてAIパフォーマンス（TFLOPs）を8倍、AIパフォーマンスあたりの消費電力（TFLOPs/W）を5倍向上させることを示しました。AMDのInstinct MI300A APUアクセラレータは現在販売中であり、MI300Xは2023年第3四半期にリリースされます。両製品とも、2023年第4四半期に量産されることが予想されています。

実際、Nvidiaのリーダーシップは、それがAI研究者に提供してきたソフトウェアツールだけでなく、チップから来ています。