テスラのDojo、タイムライン。

イーロン・マスクは、テスラが単なる自動車メーカーで終わらせたくない。彼はテスラを、自動車を自動運転できるものにし、「自動運転カーを運転させる方法を突き止めた」AI企業にしたいと考えている。その目標の実現には、テスラのカスタムスーパーコンピュータ「Dojo」が不可欠である。 $テスラ (TSLA.US)$ 彼はテスラを、自動運転できる車を作るだけではなく、自動運転カーを運転させる方法を見出したAI企業にしたいと考えています。

その使命にとってDojoが不可欠であり、テスラ独自のスーパーコンピュータで、フルセルフドライビング（FSD）のニューラルネットワークをトレーニングするように設計されています。 FSDは完全に自動運転ではありませんが、一部の自動運転タスクを実行でき、運転席には注意が必要です。しかし、テスラはより多くのデータ、より多くのコンピューティングパワー、より多くのトレーニングにより、ほとんど自動運転から完全な自動運転に進むことができると考えています。

そしてそれがDojoの出番です。

マスク氏はDojoについてしばらくティーズをしていますが、2024年を通じてスーパーコンピュータについての議論を徐々に増やしています。Dojoはテスラにとって存在的な重要性を持つかもしれません。EVの販売が低迷している中、投資家は、テスラが自律性を実現できるようにする保証が欲しいと考えています。以下は、Dojoに関する言及や約束のタイムラインです。

2019
Dojoに関する最初の言及
4月22日 - テスラのオートノミーデーにて、同社のAIチームがオートパイロットとフルセルフドライビング、およびそれらの両方を支えるAIについて話すために登壇した。同社は、ニューラルネットワークと自動運転車両に特化したカスタムチップについて情報を共有しています。イーロン・マスクは、DojoがAIをトレーニングするスーパーコンピュータであることを示唆し、当時製造されていたすべてのテスラ車に完全自動運転に必要なすべてのハードウェアが搭載されており、ソフトウェアアップデートのみが必要であると述べました。

その際、イーロン・マスクは、AIをトレーニングするためのスーパーコンピュータであるDojoを暴露し、すべてのテスラ車が完全自動運転に必要なハードウェアをすでに搭載しているため、ソフトウェアのアップデートだけが必要であることを説明しました。

2020年
マスク氏がDojoロードショーを開始する
2月2日 - マスク氏は、フルセルフドライビングが必要なセンサーとコンピュートを持ったつながる車がまもなく100万両を超えると述べ、Dojoの能力を讃えました。

“Dojo、わが社のトレーニングスーパーコンピュータは、膨大な量のビデオトレーニングデータを処理し、超空間アレイを高速に実行し、多数のパラメーター、十分なメモリー、コア間の超高帯域幅を持つことができます。後述します。”

8月14日 - マスク氏はTeslaが巨大なビデオデータをプロセスするニューラルネットワークトレーニングコンピュータ、Dojoを開発する計画を繰り返します。「Dojoは、本当に膨大な量のビデオデータを処理するトレーニング用コンピュータを開発するためのプロジェクトで、ビーストです」と呼んでいます。また、Dojoの最初のバージョンは「約1年後」と述べています。これにより、Dojoの発売日は2021年8月頃になります。

12月31日 - イーロンはDojoが必要ないと述べますが、Dojoが自動運転を改善すると考えています。「人間ドライバーよりも安全であるだけでは十分ではなく、オートパイロットは最終的には人間ドライバーよりも10倍以上安全である必要があります」と述べた。

2021
テスラがDojoを正式に発表します。
8月19日 - オートメーカーは、Teslaの初めてのAI DayでDojoを正式に発表し、エンジニアをTeslaのAIチームに引きつけるイベントになるようにと企図されています。 Teslaはまた、Dojoスーパーコンピュータを動作させるために、オートメーカーがNvidiaのGPUとともに使用すると言っているD1チップを紹介します。 Teslaは、AIクラスターが3,000個のD1チップを保有すると述べています。

10月12日 - Teslaは、Dojo Technologyのホワイトペーパー「Teslaの設定可能な浮動小数点形式＆演算のガイド」を発表します。このホワイトペーパーは、深層学習ニューラルネットワークで使用され、完全にソフトウェア、完全にハードウェア、またはソフトウェアとハードウェアのどちらかの組み合わせで実装することができる新しいタイプのバイナリ浮動小数点演算の技術標準を概説しています。

2022
TeslaはDojoの進捗状況を公表しています
8月12日 - Musk氏は、TeslaはDojoを段階的に導入すると述べ、来年は増分GPUを購入する必要がないと語っています。

9月30日 - Teslaの第2回AI Dayで、同社は最初のDojoキャビネットを設置し、2.2メガワットの負荷テストを実施したことを明らかにしました。Teslaは1日に1枚のタイル（25個のD1チップで構成）を作っていました。Teslaは、Dojoをステージ上でデモし、安定した拡散モデルを実行して「地球上にあるサイバートラックが写ったAI生成画像」を作成しました。

重要なことに、同社はPalo Altoに合計7つのExapodsを構築する予定であり、Q1 2023年までに完全なExapodクラスターを完成させる目標日を設定しています。

2023
一長一短の賭け
4月19日 - Musk氏は、Teslaの第1四半期の決算説明会でDojoについて、「トレーニングのコストを桁違いに改善する可能性がある」と述べ、「Amazon Web ServicesがWebサービスを提供するように、他の企業に提供する可能性がある販売サービスになる可能性がある」とも述べています。

Musk氏は、Dojoは"一長一短の賭け"だと発言していますが、"賭ける価値がある"とも述べています。

6月21日 - Tesla AI Xアカウントは、同社のニューラルネットワークがすでに顧客の車に搭載されていることを投稿しています。このスレッドには、Teslaの現在および予測されるコンピュートパワーのタイムラインを示すグラフが含まれており、Dojoの生産開始時期が2023年7月であることが示されていますが、これがD1チップまたはスーパーコンピュータ自体を指すものなのかは明らかではありません。Musk氏は、同じ日にDojoが既にオンラインで、Teslaデータセンターでタスクを実行していると述べています。

同社はまた、Teslaのコンピュートが2024年2月頃に世界トップ5になることを予想しており、Teslaが2024年10月に100エクサフロップに到達すると述べています。

7月19日 - Teslaは、第2四半期の決算報告書でDojoの生産を開始したことを述べています。Musk氏はまた、Teslaが2024年までにDojoに10億ドル以上を費やす計画だと述べています。

Musk氏はXで投稿し、TeslaはAIトレーニングコンピューティングに制限があると述べていますが、NvidiaとDojoが解決策を提供すると述べています。彼は、1日あたり約160億コマのビデオフレームからのデータを管理することは非常に困難であると述べています。 $エヌビディア (NVDA.US)$

2024
1月24日 - Teslaの第4四半期および全年の決算説明会で、Musk氏は再びDojoがハイリスクであり、ハイリターンのプロジェクトであることを認めます。また、Teslaは「NvidiaとDojoの二重の道を追求しており、Dojoは機能しており、トレーニングの仕事をしている」と述べ、Dojo 1.5、Dojo 2、Dojo 3などの計画があると述べています。
1月26日 - Teslaは、BuffaloにDojoスーパーコンピュータを50,000,000ドルで建設する計画を発表しました。Musk氏は、50,000,000ドルは大きな金額であるが、Nvidiaの10,100システムに相当するだけであり、Teslaは今年、それ以上のNvidiaハードウェアにより多くを費やすだろうとXで投稿しています。現在では、AIが競争力を持つためには、少なくとも数十億ドルを年間費やすことが必要です。

1月26日 - テスラは、バッファローにDojoスーパーコンピュータを5000万ドルかけて構築する計画を発表しました。マスク氏はその後、この投資をやや軽視して、5000万ドルは大きな金額だが、Nvidiaの1万H100システムに相当すると投稿し、テスラが今年Nvidiaのハードウェアにより多くのお金を投資すると語りました。「AIで競争力を維持するためのテーブルステークスは、現時点では数十億ドル以上です。」

4月30日 - TSMCの北米技術シンポジウムで、同社はIEEE Spectrumによると、Dojoの次世代トレーニングタイルであるD2がすでに製造されていると発表します。D2は、1つのシリコンウェハーにDojoタイル全体を配置するために、25個のチップを接続する代わりに使用されます。 $台湾セミコンダクター・マニュファクチャリング (TSM.US)$

5月20日 - Musk氏は、Giga Texas工場の拡張部分の後部に"超高密度の、水冷のスーパーコンピュータクラスター"を建設することを明らかにしています。

6月4日 - CNBCのレポートによると、マスクはテスラ用に予約されていた数千のNvidiaチップをXやxAIに転用しました。最初はレポートが誤りであると述べていたマスクは、南テキサスのギガ工場の南延長部分の建設が続いているため、TeslaにはNvidiaチップを動作させる場所がなかったため「倉庫にただ置かれていただけ」とXポストでコメントしました。 彼は、この延長部分が「FSDトレーニングの5万H100を収容する」と述べています。

また、彼は投稿しています：

私が言ったテスラが今年行う人工知能関連の約100億ドルの出費のうち、約半分は内部的で、主にテスラが設計した人工知能推論コンピューターと、すべての車に備わっているセンサー、さらにDojoである。人工知能トレーニング用スーパークラスターを構築するためのNVidiaハードウェアが約3分の2の費用を占めています。私の現在のNVidiaによるテスラへの購入額についての最良の推測は、今年は300億～400億円です。

7月1日、マスクはXで発表しました。現在のテスラの車には、同社の次世代AIモデルに必要な適切なハードウェアが搭載されていない可能性があると述べました。彼は、次世代AIでのパラメーター数の約5倍の増加について、「車の推論コンピュータをアップグレードしないと非常に難しい」と述べました。

NVidiaの供給上の課題
7月23日、テスラの第2四半期の決算説明会で、マスクはNVidiaハードウェアの需要が「非常に高く、GPUを入手することがしばしば困難である」と述べました。

「そのため、必要なトレーニング能力を確保するために、Dojoにさらに多くの努力を傾ける必要があると考えています。そして、DojoによってNVidiaと競争する道が開けると考えています。」

テスラの投資家向けデッキのグラフには、2024年末までにテスラのAIトレーニング能力が約9万H100相当のGPUにまで拡大すると予想され、6月時点で約4万台であることが示されています。その後、マスクはDojo 1が「年末までにおよそ0.8万H100相当のトレーニングオンラインを持つ」と投稿し、スパコンの写真を投稿しました。このスパコンは、テスラのサイバートラックと同様の冷蔵庫のようなステンレスの外装を使用しているようです。

XXX
7月30日、マスクは、「Tesla HW4 / AI4の所有者であり、AI5が登場すると落ち残ったと怒っている」という投稿への返信で、「AI5が量産されるのは18か月ほど先です」と述べています。

8月3日、マスクはXで投稿しました。「テキサスギガ（別名コルテックス）のテスラ超コンピュータクラスタを見学しました。」 彼は、100,000個のH100 / H200 Nvidia GPUで構成され、FSD＆Optimusのビデオトレーニング用の巨大なストレージを備えると述べています。