AMD 本能™ MI300 產品分析

1.AMD MI300A 與 GH200 相比的優點是更大的內存，但計算能力尚未經過測試。將來可能會用作 GH200 的替代品。

二.AMD MI300X 的優點也是更大的內存，但它可以減少 GPU 數量和訓練期間由數據遷移引起的電源損失。

三.目前，儘管 AMD 試圖在軟件方面取得突破，但公眾認為它對 NVIDIA 現有軟件服務的影響並不明顯。

AMD 正式推出了其 Instinct MI300 APU，它結合了 24 個 Zen 4 CPU 核心和一個 CDNA 3 GPU 核心以及高達 1530 億晶體管和 128 GB 的 HBM3 內存。

由於其 CPU 和 GPU 共用單一快取記憶體，因此 MI300A 能夠大幅減少 CPU 與 GPU 之間的資料移動。這很重要，因為資料移動通常比實際計算消耗更多的能源，從而導致延遲增加，並降低效能和能源效率。透過最小化資料移動，MI300 能夠提供令人印象深刻的效能，同時將耗電量降至最低。

Instinct MI300A 也使用芯片來實現這樣的 CPU + GPU，但是 NVIDIA 的 GH200 在模塊級別集成，而 Instinct MI300A 採用較小的芯片實現，這是一個優勢。

坎布里亞人工智能研究有限公司創始人兼首席分析師卡爾·弗倫德表示，MI300X 可能成為英維亞 GH200 格雷斯霍珀超級芯片的替代品。OpenAI 和微軟這樣的公司需要有這樣的替代方案，儘管他懷疑 AMD 會提供這些公司無法拒絕的報價，但 AMD 不會從 Nvidia 那裡取得太多的市場份額。

憑藉 AMD Instinct MI300X 的大記憶體，客戶現在可以在單一 MI300X 加速器上安裝大型語言型號，例如 Falcon-40、400 億參數型號。AMD 還推出了 AMD Instinct™ 平台，該平台將八個 MI300X 加速器結合為一個業界標準設計，為人工智慧推理和訓練提供終極解決方案。MI300X 在第三季開始向主要客戶提供樣品。

AMD 本能 MI300X 具有 192 GB 的 HBM3、5.2 TB/ 秒的記憶體頻寬和 896GB/秒的無限網狀架構頻寬。這是一個 1530 億晶體管單元，直接與尼維迪亞的 H100 基準測試。

擁有大量內建記憶體的優點在於 AMD 需要較少的 GPU 才能運行記憶體中的模型，而且無需透過 NVLink 連接到其他 GPU 或 CPU 連結即可在記憶體中執行較大型號。市場上有巨大的機會來運行大型 AI 推論模型和更多 GPU 記憶體，使用更大且更準確的模型可以完全在內存中運行，而無需跨越多個 GPU 的功耗和硬件成本。

儘管 AMD 的新芯片引起了市場各方面的巨大興趣，但與英維亞的 H100 芯片相比，MI300X 面臨一些挑戰，主要在以下四個領域：

首先，Nvidia 的 H100 今天開始全面出貨；迄今為止，Nvidia 仍然擁有人工智能行業中最大的軟件和研究人員生態系統。

其次，雖然 MI300X 芯片提供 192Gb 的 RAM，但 Nvidia 在此時會很快地追趕，甚至可能在同一時間範圍內，因此這並不是一個大優勢。而 MI300X 的價格將非常高，與英維亞的 H100 相比，將沒有顯著的成本優勢。

第三個是真正的關鍵：MI300 沒有像 H100 這樣的變壓器引擎（用於加速 Nvidia GPU 上的變壓器模型的庫），它可以將大語言模型（LLM）的性能提高三倍。如果需要一年來訓練一個使用幾千個（Nvidia）GPU 的新型號，則可能需要另外 2-3 年才能使用 AMD 硬件進行訓練，或者 GPU 數量的三倍來解決問題。

最後，AMD 尚未披露任何基準。但是訓練和運行 LLM 時的性能取決於系統設計和 GPU，因此期待在今年晚些時候與行業競爭對手的比較。

在最新的性能比較中，AMD 證明 Instinct Mi300 在人工智能性能（TFLOP）方面提高了 8 倍，與 Instinct MI250X 相比，每瓦人工智能性能（TFLOP/瓦）提高了 5 倍。AMD 的本能 MI300A APU 加速器現已推出，MI300X 將在 2023 年第三季推出。預計這兩種產品也將在 2023 年第四季投入生產。

事實上，Nvidia 的領導力不僅來自其芯片，還來自它十多年來提供 AI 研究人員的軟件工具。Moor 洞察與策略分析師 Anshel Sag 表示：「儘管 AMD 在硬件性能方面具有競爭力，但人們仍然不相信其軟件解決方案可以與 Nvidia 競爭。