マイクロソフトは、Hot Chips 2024カンファレンスで、次世代のGPUアーキテクチャBlackwellの詳細情報と将来の製品のロードマップを発表しました。
会議中、マイクロソフトのアーキテクチャディレクターAjay TirumalaとRaymond Wongは、Blackwellプラットフォームの概要を説明し、これらの技術がエネルギー効率を向上させながら、AIおよび加速計算パフォーマンスに新たな基準を提供する方法について説明しました。
Blackwellの準備をする
マイクロソフトのBlackwellは、汎用計算の完全スタックマトリックスであり、Blackwell GPU、Grace CPU、BlueFieldデータ処理ユニット、ConnectXネットワークインターフェースカード、NVLinkスイッチ、Spectrumイーサネットスイッチ、およびQuantum InfiniBandスイッチなど、複数のマイクロソフトチップで構成されています。
これは、CPUとGPUの計算から、異なる種類のネットワークの接続に使用されるまで、チップからラックまでの全体的な処理をカバーしています。これはGPUだけでなく、AI計算、メモリ帯域幅、およびインターコネクト帯域幅の最強を持つ史上初の単一GPUです。高帯域幅インターフェース（NV-HBI）を使用することで、2つのGPUチップ間で10TB/sの帯域幅を提供することができます。
さらに、マイクロソフトは新しいFP4およびFP6の精度も導入しました。計算精度を低下させることは、パフォーマンスを向上させるための一般的な手法です。マイクロソフトのQuasar量子化システムを使用すると、どの部分を低精度で計算やストレージを削減できるかを見つけることができます。マイクロソフトは、推論に使用されるFP4は、一部のケースではBF16のパフォーマンスに近いと述べています。
NVLink交換機チップとNVLink交換機トレイは、より低い消費電力で大量のデータを転送するために設計されています。NVIDIAはGB200 NVL72とNVL36をデモンストレーションしました。NVL72には36のGrace GPUと72のBlackwell GPUが含まれており、1兆パラメータAIのために特別に設計されています。GB200 NVL 72は、大規模言語モデル（LLM）の推論パフォーマンスを最大30倍向上させる統一システムとして、数兆パラメータモデルをリアルタイムで実行する能力を実現しています。
NVIDIAは、AIモデルのサイズの増加に伴い、複数のGPUでのワークロードの分散が不可欠であると述べています。一方で、Blackwellは専用のGPUでエキスパートモデルを処理することができるほどパワフルです。
最後に、NVIDIAは2024年から2028年の製品ロードマップを披露しました。2026年の1.6T ConnectX-9は、PCIe Gen7の需要を示しているように見えます。なぜなら、PCIe Gen6 x16では1.6Tのネットワーク接続を処理することができないからです。
Blackwellの技術の突破
今年の3月、NVIDIAはGTC 2024開発者会議で新しいGPUアーキテクチャBlackwellを発表しました。Blackwellは、アメリカの数学者デビッド・ブラックウェルにちなんで名付けられた、NVIDIAの最新世代のAIチップとスーパーコンピューティングプラットフォームです。GraceデータセンターCPU、次世代ネットワークチップなどの製品と共に、生成型AIに向けた包括的なソリューションを構成しています。
英伟达は、Blackwellが革命的な6つのテクノロジーを所有しており、最大10兆個のパラメータを持つモデルのAIトレーニングとLLMのリアルタイム推論をサポートすることを述べています。
1. グローバルで最も強力なチップ：BlackwellアーキテクチャGPUは2080億個のトランジスタを搭載し、高度な計算能力と複雑さを確保しています。台湾セミコンダクターマニュファクチャリングの4ナノメートルプロセスを採用しており、集積度が向上し、消費電力と発熱量が低減しています。また、192GBのHBM3Eメモリを搭載し、データ処理能力と効率を大幅に向上させています。
2. 第2世代Transformerエンジン：Blackwell Tensor CoreテクノロジーとTensorRT-LLM、NeMo Megatronフレームワークの先進的なダイナミックレンジ管理アルゴリズムを組み合わせ、Blackwellは新しい4ビット浮動小数点AIをサポートし、計算およびモデルサイズ推論能力を2倍にします。
3. 第5世代NVLink：数兆のパラメータとハイブリッドエキスパートAIモデルのパフォーマンスを向上させるため、最新の英伟达NVLinkは各GPUに1.8TB/sの双方向スループットを提供し、最も複雑なLLMでも576個のGPU間でシームレスな高速通信を実現します。
4. RASエンジン：BlackwellがサポートするGPUには専用エンジンが搭載されており、信頼性、可用性、サービス性を実現しています。さらに、Blackwellアーキテクチャにはチップレベルの機能も追加されており、AIに基づく予防的な保守による信頼性の問題の診断と予測が可能です。これにより、システムの通常運転時間を最大限に延長し、大規模なAIの展開の柔軟性を向上させることができます。
5. セキュア人工知能：先進的な機密計算機能により、AIモデルと顧客データを影響を与えることなく保護し、新しいネイティブインターフェイス暗号プロトコルをサポートし、チップのセキュリティをさらに強化しています。
6. 解凍エンジン：専用の解凍エンジンが最新の形式をサポートし、データベースのクエリを高速化し、データ分析とデータサイエンスのパフォーマンスを最大限に向上させます。
英伟达のCEO、黄仁勲は、Blackwellが単なるチップにとどまらず、まったく新しいプラットフォームであると述べています。それは英伟达の歴史上、そしてコンピューター史上でも最も成功した製品になるでしょう。
Blackwellの市場影響
Blackwellアーキテクチャの導入は、アマゾン、Google、Microsoftなど、世界中の主要なクラウドプロバイダー、サーバーメーカー、トップのAI企業に好評を受けています。NVIDIAによると、Blackwellは世界中の主要なクラウドサービスプロバイダーに採用されています。同時に、AI企業、通信プロバイダー、および他の多くのテクノロジー企業も強力な需要を持っています。
Blackwellの発表は、AIのさらなる画期的な時点の到来を予告しています。リリースと同時に、MicrosoftのCEOサティア・ナデラ、AlphabetのCEOサンダー・ピチャイ、アマゾンのCEOアンディ・ジャッシー、OpenAIのCEOサム・アルトマン、および他の著名なテクノロジーリーダーや有名人の支援を受けました。
Blackwellはより大きなエコシステム戦略の一環です。黄仁勋は、「Blackwellはシステムの中核チップにとどまらず、実際にはプラットフォームでもあります。基本的にはコンピューターシステムです。」と述べています。
Nvidiaは、Blackwellを使用してソフトウェア分野での地位と野心を高める予定です。先進のAI開発者はすでにNVIDIAのCUDAソフトウェアに依存して、同社のプロセッサーで駆動されるアプリケーションを作成していますが、高性能なBlackwellプロセッサーの魅力は、お客様が引き続きそのソフトウェアを使用することを支援するはずです。
この戦略はさらに拡大されています。黄仁勋はGTCの会議で、「ソフトウェアがないと新しい市場を創造することはできませんが、ソフトウェアを実行するためにチップを作成できます。我々の独自性は、私たちが自らの市場を作成できる唯一のチップ会社だと信じています。」と述べています。
Blackwellアーキテクチャに基づいたGPU GB200の発表により、NVIDIAは新しいカテゴリーのAIソフトウェアアプリケーションの開発に道を開いているようです。その結果、このようなソフトウェアの発売、拡大、および持続的な成長は、その超高性能GPUへの需要をさらに高める可能性があります。
ブラックウェルの遅延
先月初めに、エヌビディアの次世代AIチップのブラックウェルシリーズが設計上の問題で発売が遅れることが報告されました。この決定は、メタ、Google、Microsoftなどの大手顧客に影響を与える可能性があります。
ブラックウェルチップの大規模生産は、本来今年の第3四半期に始まり、第4四半期に出荷が予定されていました。しかし、大規模生産の準備が進む中、台湾の半導体製造会社である台积電のエンジニアは設計上の問題を発見し、生産が遅れる原因となりました。
報道によると、台积電のパッケージ技術であるCoWoSの複雑さのため、エヌビディアはブラックウェル GPUの出荷を2025年第1四半期まで延期することになりました。
UBSのアナリストは、エヌビディアの初回のブラックウェルチップの出荷が最大4〜6週間遅れる可能性があり、つまり2025年1月末まで遅れると予想しています。そのため、多くの顧客は出荷時間が短いH200チップを代わりに購入することになるでしょう。
一方、モルガンスタンレーのアナリストは比較的楽観的で、ブラックウェルチップの生産はわずか約2週間の一時停止で済み、2024年第4四半期までに台湾の半導体製造会社の努力によって遅れを取り戻すことができると考えています。
全体的に分析師は、ブラックウェルチップの発売遅延に関する懸念は過大評価されていると考えており、エヌビディアの売上や需要に重大な影響はないと予想しています。
エヌビディアのCEOである黄仁勋は、Blackwell GPUの開発予算は約100億ドルであり、上場後の価格は3〜4万ドルになる予定です。現在のAIのトレーニングと展開の需要が非常に強いことを考慮すると、この価格も市場の予想を上回るものではありません。
“反エヌビディア”連合
Alphabet、クアルコム、およびインテルを含む企業は、エヌビディアのAI分野での独占的な地位の確立を阻止するために「UXL基金会」という組織を設立することに取り組んでいます。
UXL基金会は、より幅広いプロセッサ上でAIアプリケーションを実行し、エヌビディアプラットフォームへの依存を減らすためのソフトウェアスイートの構築を目指しています。
報道によると、UXL基金会は現在、マイクロソフト、アマゾンなどの影響力のあるテクノロジー企業を募集しています。そのため、多くのテクノロジー業界の有名人がBlackwellの能力に興奮している一方で、エヌビディアのエコシステムへの過度な依存に対する抵抗感があるのは理解できます。
ある意味で、UXL基金会の設立は、エヌビディアの現在の競争力がどれほど強いかを示しています。同社はAIおよび他の加速計算アプリケーション向けのgpuチップ市場で約90%のシェアを占めており、Blackwellの導入はそれをさらに維持または拡大するのに役立つ可能性があります。
成長し続ける専用ソフトウェアツールに加え、エヌビディアはAI分野を再構築しており、競合他社や潜在的な競合他社にはまだまだやるべきことがたくさんあります。