AMDインスティンクト™ MI300製品分析

1。GH200と比較したAMD MI300Aの利点はメモリが大きいことですが、計算能力はテストされていません。将来的にはGH200の代わりに使用されるかもしれません。

2。AMD MI300Xの利点はメモリも大きいことですが、GPUの数を減らしたり、トレーニング中のデータ移行による電力損失を減らすことができます。

3。現在、AMDはソフトウェアの飛躍的進歩を試みていますが、NVIDIAの既存のソフトウェアサービスへの影響は明らかではないと一般の人々は考えています。

AMDはインスティンクトMI300 APUを正式に発売しました。これは、24個のZen 4 CPUコアと1個のCDNA 3 GPUコアに加えて、最大1,530億個のトランジスタと128GBのHBM3メモリを組み合わせたものです。

CPUとGPUは単一のキャッシュメモリを共有しているので、MI300AはCPUとGPU間のデータ移動を大幅に減らすことができます。データ移動は通常、実際の計算よりも多くのエネルギーを消費するため、待ち時間が長くなり、パフォーマンスとエネルギー効率が低下するため、これは重要です。データの移動を最小限に抑えることで、MI300は消費電力を最小限に抑えながら優れたパフォーマンスを発揮できます。

インスティンクトMI300AもこのようなCPU+GPUを実現するためにチップを使用していますが、NVIDIAのGH200はモジュールレベルで統合されており、インスティンクトMI300Aはより小さなチップで実装されているのが利点です。

Cambrian AI Research LLCの創設者兼主席アナリスト、カール・フロイント氏は、MI300XはNvidiaのGH200グレースホッパースーパーチップの代替品になる可能性があると述べています。OpenAIやMicrosoftのような企業はそのような代替手段を持つ必要があり、AMDがこれらの企業に拒否できない提案をするのではないかと疑っていますが、AMDはNvidiaから市場シェアをあまり奪わないでしょう。

AMD Instinct MI300Xの大容量メモリにより、顧客は1つのMI300XアクセラレータにFalcon-40、40Bパラメトリックモデルなどの大規模な言語モデルをインストールできるようになりました。AMDは、8つのMI300Xアクセラレータを1つの業界標準設計に組み合わせたAMD Instinct™ プラットフォームも導入しました。これは、AIの推論とトレーニングのための究極のソリューションを提供します。MI300Xは、第3四半期に主要顧客にサンプルの提供を開始しました。

AMD Instinct MI300Xは、192GBのHBM3、5.2TB/秒のメモリ帯域幅、896GB/秒のインフィニティファブリック帯域幅を備えています。これはNIVIDIAのH100と直接ベンチマークされている153Bのトランジスタユニットです。

オンボードメモリが大量にあることの利点は、AMDがメモリ内でモデルを実行するのに必要なGPUの数が少なく、NVLink経由で他のGPUやCPUリンクに接続しなくてもメモリ内で大きなモデルを実行できることです。市場には、複数のGPUにまたがるような消費電力やハードウェアコストをかけずに、完全にメモリ内で実行できる、より大きくて正確なモデルを使用して、大規模なAI推論モデルとより多くのGPUメモリを実行する大きなチャンスがあります。

AMDの新しいチップは、NvidiaのH100チップと比較して、市場のあらゆる側面から大きな関心を集めていますが、MI300Xは主に次の4つの分野でいくつかの課題に直面しています。

まず、NvidiaのH100は本日フル出荷を開始します。Nvidiaは今でもAI業界でソフトウェアと研究者のエコシステムが最大です。

第二に、MI300Xチップは192GBのRAMを搭載していますが、Nvidiaはこの時点ですぐに、そしておそらく同じ時間枠でも追いつくので、大きな利点ではありません。そして、MI300Xの価格は非常に高く、NvidiaのH100に比べて大きなコスト優位性はありません。

3つ目は本当の鍵です。MI300には、大規模言語モデル（LLM）の3倍のパフォーマンスを発揮できるH100（Nvidia GPU上のトランスフォーマーモデルを高速化するためのライブラリ）のようなトランスフォーマーエンジンがありません。数千の（Nvidiaの）GPUを搭載した新しいモデルをトレーニングするのに1年かかる場合、AMDハードウェアでトレーニングするにはさらに2〜3年、問題を解決するには3倍のGPUが必要です。

最後に、AMDはまだベンチマークを開示していません。しかし、LLMのトレーニングと実行時のパフォーマンスはシステム設計とGPUによって異なりますので、今年後半に業界の競合他社との比較を楽しみにしています。

最新のパフォーマンス比較で、AMDは、Instinct Mi300はInstinct MI250Xと比較して、AIパフォーマンス（TFLOPs）が8倍、ワットあたりのAIパフォーマンス（TFLOPS/ワット）が5倍優れていることを示しました。AMDのインスティンクトMI300A APUアクセラレータは現在発売されており、MI300Xは2023年の第3四半期に発売される予定です。どちらの製品も、2023年の第4四半期に生産が開始される予定です。

実際、Nvidiaのリーダーシップは、チップだけでなく、10年以上にわたってAI研究者に提供してきたソフトウェアツールにもあります。Moor Insights & Strategyのアナリスト、Anshel Sag氏は次のように述べています。「AMDはハードウェアパフォーマンスの点では競争力がありますが、人々はまだそのソフトウェアソリューションがNvidiaと競合できるとは考えていません。