全球之聲 AI 芯片即將到來！英維亞的 H200 性能飆升 90%

週一，英維達宣布了 HGX H200 張力核心 GPU，該 GPU 利用 Hopper 架構來加速人工智能應用程序。 它是去年發布的 H100 GPU 的後續項目，以前是英維亞最強大的 AI GPU 芯片。如果廣泛部署，它可能會在不久的將來導致更強大的 AI 模型，以及 ChatGPT 等現有模型的響應時間更快。

英維亞將以多種形式提供 H200。這包括四向和八向配置的 Nvidia HGX H200 伺服器主機板，與 HGX H100 系統的硬體和軟體兼容。它還將在 Nvidia GH200 格雷斯霍珀超級芯片中提供，該芯片將 CPU 和 GPU 結合在一個包中，可以實現更多的人工智能力（這是一個技術術語）。

亞馬遜 Web 服務、谷歌雲、微軟 Azure 和 Oracle 雲端基礎架構將成為明年開始部署基於 H200 執行個體的雲端服務供應商，而 Nvidia 表示，H200 將從 2024 年第二季開始從「全球系統製造商和雲服務提供商」提供。

在過去一年，缺乏計算能力（通常稱為「運算」）是 AI 進展的主要瓶頸，阻礙了現有 AI 模型的部署，並減緩新模型的開發。缺乏能夠加速 AI 模型的強大 GPU，主要是責任的。 減輕運算瓶頸的一種方法是製造更多芯片，但您也可以使 AI 芯片更強大。第二種方法可能使 H200 成為雲端供應商有吸引力的產品。

讓我們仔細看看 H200 比 H100 的性能改進的反映了哪些地方。

根據英維亞的說法， H200 是該公司第一個使用 HBM3e 記憶體的晶片。 這種類型的內存更快，具有更大的容量，使其更適合大語言模型。 下圖顯示了一系列 AI 推論工作負載上 H100 和 H200 之間的相對效能比較：

可以看到，與 H100 相比 H200 的性能的主要改進是它在大型機型上的推論性能。 在處理 Llama2 70B 等大型語言模型時，H200 與 H100 GPU 相比，推論效能增加倍。

很明顯，在相同功率範圍內實現 2 倍效能增加，意味著實際功耗和整體擁有成本降低 50%。 因此，理論上，NVIDIA 可以與 H100 類似的 H200 GPU 定價。

隨著 H200 的推出，能源效率和總體擁有成本達到新的水平。這項尖端技術提供無與倫比的效能，所有功率都與 H100 張力核心 GPU 相同。 AI 工廠和超級計算系統不僅更快，而且更環保更為環保，提供經濟優勢，推動人工智能和科學社區前進。

由於變壓器引擎、降低浮點精度和更快的 HBM3 記憶體，自今年以來已全面出貨的 H100，GPT-3 175B 型號的推論性能已與 A100 相比增加了 11 倍。H200 擁有更大且更快的 HBM3e 記憶體，無需任何硬體或程式碼變更即可直接提升效能達 18 倍。 即使與 H100 相比，H200 的性能也提高了 1.64 倍，完全是由於記憶體容量和頻寬的增長。

為了防止累積大量 H100 GPU 的客戶不滿意，Nvidia 似乎只有一個解決方案： 配備 141 GB HBM3e 記憶體的 Hopper 價格是 80 GB 或 96 GB HBM3 記憶體版本的 1.5 至 2 倍的價格。 想像一下，如果未來的設備具有 512 GB HBM 內存和 10 TB/s 頻寬，將達到什麼水平的性能？您願意為這款功能齊全的 GPU 支付多少錢？ 最終產品可能以 60,000 美元甚至 90,000 美元的價格出售，因為許多用戶已經願意為目前尚未充分使用的產品支付 30,000 美元。

由於各種技術和經濟原因，數十年來，處理器通常被配置過多的計算能力，但相應的記憶體頻寬相對不足。實際記憶體容量通常取決於裝置和工作負載的需求。在 HPC 模擬/建模，甚至是 AI 訓練/推論領域，即使是最先進的 GPU，即使是最先進的 GPU 的記憶體頻寬和記憶體容量也相對不足，因此無法大幅提高晶片上現有向量和矩陣引擎的利用率。 因此，這些 GPU 只能花很多時間等待數據交付，無法充分利用自己的優勢。

記憶體頻寬對於 HPC 應用程式至關重要，因為它可以更快地傳輸資料並減少複雜的處理瓶頸。 對於模擬、科學研究和人工智能等記憶體密集的 HPC 應用程式，H200 的更高記憶體頻寬可確保資料可以有效率地存取和操作，從而縮短 110 倍的結果時間。

大約一個月前的 Nvidia 財務會議上，該公司發布了其技術藍圖。 據透露，GH200 GPU 和 H200 GPU 加速器將在發布「布萊克韋爾」GB100 GPU 和 B100 GPU 發布之前作為過渡產品，該產品計劃在 2024 年推出。

無論 Nvidia 的 Blackwell B100 GPU 加速器的表現如何，都可以假設它將帶來更強大的推論性能，而這種性能改進可能來自內存的突破，而不是計算層級的升級。以下是 B100 GPU 在 GPT-3 175B 參數模型上的推論性能改進：

在評估芯片行業的競爭環境時，很明顯，Nvidia 面臨多個競爭者和潛在威脅：

AMD：AMD 是一家資金豐富的芯片製造商，具有強大的 GPU 專業知識。 但是，它在軟件方面的相對弱點可能會阻礙其與 Nvidia 有效競爭的能力。

英特爾：儘管英特爾在 AI 加速器或 GPU 方面沒有取得太大成功，但不應忽視它。 作為半導體行業的主要參與者，Intel 擁有在此領域取得重大進步的資源和能力。

來自超擴展商的內部解決方案：谷歌，亞馬遜，微軟和 Meta 平台等公司正在開發他們的內部芯片，例如 TPU，Trainium 和 Inferentia。 雖然這些芯片可能在特定工作負載中表現出色，但在各種應用程序中它們可能無法優於 Nvidia 的 GPU。

雲端運算公司： 雲端供應商將需要提供各種 GPU 和加速器，以滿足執行 AI 工作負載的企業客戶。 雖然 Amazon 和 Google 可能會將其內部晶片用於自己的 AI 模型，但說服廣泛的企業客戶針對這些專有半導體優化他們的 AI 模型可能會導致供應商鎖定，企業通常避免這種情況。

在激烈競爭激烈的 AI 芯片市場中，正如市場質疑 Nvidia 的領先地位將受到挑戰，這種芯片的發布毫無疑問給了 Nvidia 投資者很大的信心。 基於持續的產品創新，Nvidia 仍然在業內同行保持著顯著領先地位。然而，最大的不確定性在於中國。Nvidia 已為其中國市場定制了 H20 芯片，以繞過政府法規。 在下一篇文章中，我將比較 Nvidia 的中文版芯片是否能滿足需求。