Dojoスーパーコンピュータについて$テスラ (TSLA.US)$その重要性は日々高まっています。

Dojoは、特斯ラがクラウドで自動運転モデルをトレーニングするために使用するスーパーコンピューターだけでなく、マスクビジネスエンパイアのAIビジネスの基盤になっています。

大手投資銀行のJPモルガンはDojoを「特斯ラのAWS」と比較し、それが特斯ラの将来最大の価値駆動要因になると述べています。

週末には、科学技術メディアのTechCrunchからRebecca Bellan記者による深い調査報告が発表され、「Tesla Dojo：Elon MuskのAIスーパーコンピューターの作成計画について」と題されたDojoを出発点として、マスクのAI計画が詳しく説明されています。

以下に記事のハイライトを紹介します。

Teslaの純視覚経路（センサーではなくカメラでのみデータをキャプチャ）が、スーパーコンピューターを必要とする主な理由です。

Teslaの目標は、約18ヶ月以内に「半分はTesla AIハードウェア、半分はNVIDIA /その他」を実現することです。 'その他'にはAMDチップが含まれる可能性があります。

Dojo計画の中心は、Teslaの独自のD1チップです。これは、Teslaが将来的にNVIDIAのチップに依存する必要がなく、低コストで大量の計算能力を獲得できることを意味します。

DojoチップはTeslaの保険証であり、利益をもたらす可能性があります。

今年の10月までに、Dojoの総計算能力は100エクサフロップに達する予定であり、約320500ブロックのNVIDIA A100 GPUの計算能力に相当します。今年の年末までに、Dojo1は約8000個のH100と同等のオンライントレーニングを実現する予定です。

全文は以下の通りです。

何年にもわたり、Elon MuskがDojoについて話してきました。これは特斯ラの人工知能の目標の基盤となる人工知能スーパーコンピューターです。このプロジェクトはMuskにとって非常に重要であり、特斯ラがロボットタクシーを10月に発表する準備をしていると、同社の人工知能チームはDojoプロジェクトを推進するために「倍増する」と最近述べました。

しかし、Dojoとは具体的に何でしょうか？特斯ラの長期的な戦略においてなぜ重要なのでしょうか？

簡単に言えば、Dojoは、特斯ラが「完全自動運転」ネットワークをトレーニングするためにカスタマイズされたスーパーコンピューターで、Dojoを向上させ、特斯ラが完全自動運転を実現し、ロボタクシーを市場に投入することが目標となっています。FSDは現在、約200万台の特斯ラ車両でいくつかの自動運転タスクを実行できますが、運転席に人間が注意を払う必要があります。

特斯ラは、ロボタクシーをこれから投入するために8月に発表する予定でしたが、マスクの公開コメントと特斯ラ内部の情報源の両方から、自動運転の目標が消えているわけではないことが伺えます。

特斯ラは、人工知能とDojoに巨額の投資をして、この偉業を達成する準備を整えているようです。

特斯ラDojoの背後にある物語

マスクは、特斯ラが単なる自動車メーカー、太陽光発電板およびエネルギー蓄積システムのプロバイダーに留まることを望んでいません。それらの代わりに、彼は特斯ラを人工知能の会社、自動運転車のコードを解読するために人間の知覚を模倣する会社として確立したいと考えています。

大多数他の自動運転車の開発会社は、世界を感知するために（LIDAR、レーダー、カメラなどの）センサーの組み合わせとHDマップを使用し、車両位置を特定しています。テスラは、視覚データのキャプチャにカメラだけを使用し、それらのデータを処理するための高度なニューラルネットワークを使用して、車両の動きについて迅速に決定することができると考えています。

2021年の同社の最初のAI Dayで前人工知能責任者のアンドレ・カルパシ氏が述べたように、同社は基本的に「合成生物を最初から構築する」ことを目指しています（マスク氏は2019年以来常にDojoを予告していましたが、AI Dayで正式に発表しました）。

AlphabetのWaymoのような会社は、より伝統的なセンサーやマシンラーニングの手法を使用して、SAEが特定の条件下で人間の介入なしに自動運転を定義する商業用4レベルの自動運転車を実現しました。テスラは、まだ人間が関与しなくても自動運転システムを生産していません。

約180万人がテスラのFSDに高額の定期購読料を支払っており、現在の価格は8,000ドルで、最高価格は15,000ドルです。Dojoトレーニングを経て、最終的に更新された人工知能ソフトウェアは、テスラの顧客にリモートでプッシュされると主張されています。また、FSDの拡大規模は、テスラが数百万マイルのビデオクリップを収集してFSDのトレーニングに使用できるようになっていることを意味します。これは、テスラが収集するデータが多ければ多いほど、この自動車メーカーが真の自動運転に近づくことを意味します。

しかし、いくつかの業界の専門家は、モデルにより多くのデータを投入して、より賢くなることを期待する方法には限界があると述べています。

「経済的制約があるため、これを行うことはすぐに費用がかかりすぎる可能性があります。」と普渡大学のシリコンバレー電子およびコンピュータ工学教授のアナンド・ラグナサン氏はTechCrunchに語りました。彼はさらに、「実際、有意義なデータを枯渇させることがあるという意見もあります。より多くのデータは常により多くの情報を意味するわけではありません。つまり、それらのデータが有用な情報を含んでおり、それらの情報をより良いモデルの作成に使用できるか、トレーニングプロセスが本当にこれらの情報をより良いモデルに抽出できるかどうかにかかっています。」と述べています。

Raghunathan氏は、これらの懸念があるとしながらも、現時点ではデータがさらに多くなることが予想されます。より多くのデータは、特斯ラのAIモデルをトレーニングするためにストレージと処理に必要なより多くの計算能力を必要とします。これが超級コンピュータDojoの使命です。

超級コンピュータとは何ですか？

Dojoは、人工知能、特にFSDのトレーニングプログラムとして設計されたテスラの超級コンピューターシステムです。その名前は、武術トレーニング道場の敬意を表しています。

スーパーコンピューターは、数千のノードと呼ばれる小型コンピューターで構成されています。これらのノードにはそれぞれ独自のCPU（中央処理ユニット）とGPU（グラフィックス処理ユニット）が備わっています。前者はノード全体を管理し、後者はタスクを複数の部分に分割して同時に処理するなど、複雑なタスクを処理するために役立ちます。GPUは、機械学習操作にとって極めて重要であり、FSDトレーニングシミュレーションをサポートすることで、機械学習操作をサポートしています。これらはまた、大規模な言語モデルをサポートしています。これが、生成型AIの台頭がNVIDIAを地球上で最も価値のある企業にし、特にFSDのトレーニングをサポートしている理由です。

特斯ラはAIをトレーニングするためにNVIDIAのGPUを購入していると報告されています（後に説明します）。

なぜ特斯ラがスーパーコンピューターを必要とするのですか？

純粋な視覚経路が特斯ラがスーパーコンピューターを必要とする主な理由です。FSDの背後にあるニューラルネットワークは、多くの運転データでトレーニングされ、周囲のオブジェクトを識別して分類し、次に運転決定を行います。これは、FSDが起動されると、ニューラルネットワークが引き続き視覚データを収集し、処理する必要があることを意味します。

つまり、テスラは人間の視覚野と脳機能のデジタル版を作成しようとしています。

この目標を達成するには、特斯ラは世界中の車から収集されたすべてのビデオデータを保存し、処理し、数百万回のシミュレーションを実行して、そのモデルに基づくトレーニングを実行する必要があります。

テスラはDojoに動力を提供するためにNVIDIAのチップを使用しているようですが、価格が高いためすべてのものがそれに依存することは望ましくありません。特斯ラは、帯域幅を増やし、遅延を減らすことで、より良いものを作り出すことを目指しています。そのため、同社のAI部門は、AIモデルをより効率的にトレーニングするための特別なハードウェア計画を発表することにしました。

その計画の中心には、特斯ラがAI作業負荷に最適化されたという専用D1チップがあります。

これらのチップに関する詳細

特斯ラとAppleは、ハードウェアとソフトウェアを一緒に設計する必要があると考えています。これが、特斯ラがDojoを駆動するための標準GPUハードウェアから離れ、独自のチップを設計することを目指している理由です。

テスラは2021年のAI Dayで、手のひらサイズのシリコンブロックであるD1チップを展示しました。今年の5月までに、D1チップは量産に投入されました。中国の半導体メーカー台湾のTSMCが7nmプロセス技術を使用してこれらのチップを製造しています。テスラによると、D1は500億個のトランジスタと645平方mmの大きな面積を持ち、これらがすべてD1が非常に強力で効率的で、複雑なタスクを高速に処理できることを約束しています。

「私たちは計算とデータ伝送を同時に実行でき、カスタムISA（命令セットアーキテクチャ）は完全に機械学習ワークロードに最適化されています」と、テスラ前自動運転ハードウェア上級ディレクターのGanesh Venkataramananは2021年のテスラAI Dayで述べています。「これは純粋な機械学習マシンです。」

それでも、D1チップはエヌビディアのA100チップほど強力ではありません。A100チップもTSMCが7nmプロセス技術を使用して製造しており、540億個のトランジスタと826平方mmのサイズを持っているため、性能的には特斯ラのD1よりもわずかに優れています。

より高い帯域幅と計算能力を得るため、テスラのAIチームは25個のD1チップを統合してブロックを形成し、一体化されたコンピューターシステムとして使用しています。各ブロックには9ペタフロップの計算能力と毎秒36 TBの帯域幅があり、電源、冷却、およびデータ伝送に必要なすべてのハードウェアが含まれています。このブロックを、自給自足のコンピューターである25個の小型コンピューターで構成されていると考えることができます。6つのこれらのブロックが1つのラックを構成し、2つのラックが1つのキャビネットを構成します。10個のキャビネットが1つのExaPODを構成します。テスラは2022年のAI Dayで、Dojoを拡張するために複数のExaPODを展開する予定であると述べています。これらすべてが合わさって、スーパーコンピューターを構成しています。

テスラはまた、情報フローのボトルネック問題を解決するための次世代D2チップの開発を進めています。D2は、各チップを接続するのではなく、Dojoブロック全体を単一のシリコンチップ上に配置します。

テスラは、どのくらいのD1チップを注文し、受け取る予定であるかを確認していません。また、DojoスーパーコンピュータをD1チップ上で実行するためのスケジュールも提供していません。

6月にX上の1つの投稿は、「Elonがテキサスに巨大なGPU冷却器を建設している」と述べています。これに対し、マスクは「私たちの目標は、半分がテスラAIハードウェアで、半分がNVIDIA/その他である、大約18か月以内に達成することです」と回答しました。マスクが1月にコメントしたところでは、「その他」はAMDチップの可能性があります。

Dojoがテスラにとって何を意味するのか？

自社のチップ生産を制御することは、テスラが将来的に大量の計算能力を人工知能トレーニングプロジェクトに低コストで追加できる可能性を意味しています。特に、テスラとTSMCがチップ生産規模を拡大する場合に重要です。

これはまた、テスラが将来英伟达のチップに依存する必要がなくなる可能性があることを意味し、英伟达のチップの価格がますます高くなり、確保がますます困難になっていることを反映しています。

テスラのQ2決算電話会議で、マスクは英伟达のハードウェアに対する需要が「非常に高いため、通常GPUを入手するのは困難です。」彼は、必要に応じて安定してGPUを入手できるようにすることに「かなりの懸念」を抱いていると語り、「このため、Dojoに多くの努力を投入する必要があると考えています。私たちが必要なトレーニング能力を確保するために。」と述べました。

しかし、テスラは今日でもAIをトレーニングするために英伟达のチップを購入しています。6月にマスクはXに投稿しました。

「私が言ったように、テスラが今年行う約100億ドルのAI関連の支出のうち、約半分は内部用途で、主にテスラによって設計されたAI推論計算機と、すべての車に存在するセンサー、およびDojoです。AIトレーニングのスーパークラスタを構築するためのNVIDIAハードウェアは、コストの約2/3を占めています。私の現時点での見積もりでは、テスラが今年英伟达から購入するものは、30億ドルから40億ドルの間になるでしょう」とマスクは述べています。」

推論計算は、テスラ車が実行するリアルタイムのAI計算を指し、Dojoが担当するトレーニング計算とは異なります。

Dojoは冒険的な賭けですが、マスクは数回にわたり、テスラが成功しない可能性があると述べ、この賭けに対してヘッジをかけています。

長期的には、テスラはAI部門を基盤とした新しいビジネスモデルを作成できる可能性があります。マスクは、Dojoの最初のバージョンは、特にFSDやOptimusのトレーニングに最適化されたテスラコンピューターのビジョンタグをカスタマイズするために作成されると述べています。

マスクはまた、Dojoの将来のバージョンがより一般的なAIトレーニングに向けてより傾斜するだろうと発言しています。関連する潜在的な問題の1つは、ほとんどすべての既存のAIソフトウェアがGPU向けに書かれていることです。Dojoを使用して一般的なAIモデルをトレーニングするには、ソフトウェアを書き換える必要があります。

テスラは、AWSおよびAzureがクラウドコンピューティング能力を貸し出すように、その能力を賃貸する可能性もあります。マスクは第2四半期の収益電話会議で、英伟达とDojoの競争を見ていると述べています。

2023年9月の報告によると、モルガンスタンレーはRobotaxiとソフトウェアサービスの新しい収益ストリームを開拓することにより、テスラの時価総額を5000億ドル増加させることができると予測しています。

要するに、Dojoのチップは、自動車メーカーの保険証であり、配当をもたらす可能性があります。

Dojoの進展はどうですか？

ロイター社の昨年の報道によると、テスラは2023年7月からDojoの生産を開始しましたが、マスク氏は2023年6月の記事で、Dojoがすでに「オンラインで有用なタスクを数ヶ月間実行している」と示唆しました。

ほぼ同じ時期に、テスラは2024年2月までにDojoが最も強力な5つのスーパーコンピュータの一つになると発表しましたが、これはまだ公式に公表されていません。

同社はまた、2024年10月までにDojoの合計処理能力が100エキサフロップスに達すると予測しています（1エキサフロップスは毎秒1京回のコンピュータ演算に相当します。1枚のD1が362テラフロップスに達すると仮定すると、テスラはD1を276,000枚以上、または約320,500枚のNVIDIA A100 GPUに必要になります）。

特斯拉は、2024年1月に5億ドルを投資して、ニューヨーク州バッファローのスーパーファクトリーにDojoスーパーコンピューターを建設することを約束しました。

2024年5月、マスク氏は、特斯ラーオースティンスーパーファクトリーの背後には、「超密度水冷スーパーコンピュータクラスター」用に予約されたスペースがあることを指摘しました。

特斯ラの第2四半期の財務報告電話会議の直後、マスク氏はXで投稿し、同社のAIチームが特斯ラHW4 AIコンピュータ（AI4に改名されました）を使用していることを明らかにしました。これは英伟达GPUのトレーニングループに存在します。彼は、約90,000の英伟达H100と40,000のAI4コンピュータで構成された分割があることを示しました。

彼は続けて、「Dojo1は、今年の終わりまでに約8,000個のH100に相当するオンライントレーニングを実現する予定です。それほど多くはありませんが、少なくもありません。」と述べました。

編集/Somer