本文作者：李笑寅

出典：ハードAI

グローバルなデータセンターは、停滞の危機に直面しています。

盛り上がりを見せるAI波がデータセンターの建設ブームを引き起こしていますが、大モデルの算力に対する要求が日々増加する中で、データセンターのアップグレードのペースが持続的に強いAI需要に追いつかないようです。

著名なテクノロジーメディアThe Informationは最近、高品質なデータが不足しており、データセンターの建設コストが高いため、AI大モデルのアップグレード速度が遅くなっており、これが業種全体やデータセンター建設の進展を妨げる可能性があると報じました。

同時に、マスクはデータセンターの建設に大きく取り組んでおり、「鯰効果」（強者の参入によって弱者が強化されること）により、より高難度の大型データセンター競争が始まろうとしています。データセンターの建設ブームは果たして続くのでしょうか。

「データ飢餓」が大モデルのイテレーション速度を制限しています。

OpenAIの社員がThe Informationに伝えたところによれば、GPTのイテレーションが遅くなっている理由の1つは、大規模モデルの事前学習に必要な高品質なテキストやその他のデータが徐々に減少しているためです。

これらの関係者によれば、過去数年間、LLMはウェブサイトや書籍、その他の出所から公開テキストやその他のデータを使用して事前学習を行ってきましたが、現在ではこのようなデータはほぼ「搾り取られて」しまっています。

次世代のフラッグシップモデル「オリオン」では、OpenAIはトレーニング段階でAI生成データの導入を試み始めていますが、同時にオリオンは最終的に古いモデルの大規模モデルといくつかの点で類似する可能性があるという新たな問題に直面しています。

また、データセンターの高額な建設コストは、イテレーションに必要な膨大な計算能力の要求を支えるのが難しいかもしれません。OpenAIの研究者ノアム・ブラウンは先月のTEDAI会議で、より高度なモデルの開発は経済的に実現不可能かもしれないと述べました。

「本当に数千億ドルまたは数兆ドルのモデルを訓練する必要があるのでしょうか？時には、拡張（スケーリング法則）のパラダイムが崩壊することもあります。」

さらに、大モデルのイテレーションアップグレードがサーバークラスターの規模に対する要求を高めているため、必要な電力も指数的に増加し、熱問題がデータセンターのアップグレードにとって大きな障害となっています。

マスク氏がAIに力を入れ、OpenAIなどが「後から来た者に追い抜かれる」ことを懸念しています。

マスク氏がxAIで「最大のスーパーコンピュータセンター」の約束を果たす速さは、OpenAIなどの大手競合に不安をもたらしています。

今年7月に開催された「GenAI Summit SF 2024」人工知能サミットで、マスクのAIスタートアップxAIは、数ヶ月以内に約10万H100チップのデータセンターを建設する計画を発表し、「世界で最も強力なAIトレーニングクラスター」と主張しました。この目的は、より強力なAIモデルをトレーニングすることです。

同月、マスクのSNSプラットフォーム「X」で、xAI社は「Supercluster」でのトレーニングを開始したと発表しました。このクラスターは、10万台の液冷エヌビディアのH100 GPUで構成されており、単一のリモート直接データアクセス（RDMA）構造上で実行されています。

マスクの賭けは「スケーリング法則」に基づいています：データセンターの規模が大きくなるほど、トレーニングされた大きなモデルが良くなるというものです。

「Supercluster」のクラスター規模は、Metaなどのテクノロジー大手が持つ既存のデータセンターの数倍に及ぶとされています。比較すると、OpenAIがGPT4をトレーニングする際、25000枚のA100 GPUを使用し、これはSuperclusterの1/20に過ぎません。

さらに、エヌビディア側からメディアに明かされた情報によれば、このデータセンターはわずか122日で建設されたとのことです。また、同社のCEOである黄仁勲の話によれば、この規模のGPUクラスターは通常、計画と設計に3年を要し、さらに1年の時間が必要で、稼働を開始することになります。

xAIの人工知能ツールはOpenAIにはまだ遠く及びませんが、データセンターの構築速度はサム・オルトマンの警戒を引き起こしました。ある情報筋がメディアに明かしたところによれば、マスクがXでSuperclusterの完成を発表した後、オルトマンはマイクロソフトのインフラストラクチャ責任者と対立し、xAIの発展速度がマイクロソフトを上回ることを懸念していたとのことです。