テスラの道場、タイムライン。

イーロン・マスクはテスラを望んでいません $テスラ (TSLA.US)$ ただの自動車メーカーになります。彼はテスラに、車を自動運転させる方法を考え出したAI企業になることを望んでいます。

その使命に欠かせないのは、完全自動運転（FSD）ニューラルネットワークのトレーニング用に設計されたテスラの特注スーパーコンピューター、Dojoです。FSDは実際には完全自動運転ではありません。一部の自動運転タスクを実行することはできますが、それでも運転には気配りの行き届いた人間が必要です。しかし、テスラは、より多くのデータ、より多くの計算能力、より多くのトレーニングがあれば、ほぼ自動運転から完全自動運転への限界を超えることができると考えています。

そこで、Dojoの出番です。

マスクはしばらくの間Dojoをからかっていますが、幹部は2024年を通してスーパーコンピューターについての議論を活発にしてきました。テスラにとっての道場の重要性は実存的かもしれません。電気自動車の販売が落ち込んでいるため、投資家はテスラが自律性を実現できるという保証を求めています。以下はDojoの言及と約束のタイムラインです。

2019
Dojoについて最初に言及
4月22日 — テスラの自律記念日に、自動車メーカーはAIチームをステージに上がらせ、自動操縦と完全自動運転、そしてそれらを支えるAIについて話しました。同社は、ニューラルネットワークと自動運転車向けに特別に設計されたテスラの特注チップに関する情報を共有しています。

イベント中、マスクはDojoをからかって、それがAIを訓練するためのスーパーコンピューターであることを明らかにしました。また、当時生産されていたすべてのテスラ車には、完全自動運転に必要なすべてのハードウェアが搭載されており、ソフトウェアの更新のみが必要だったとも述べています。

2020
ムスクが道場ロードショーを始める
2月2日 — マスク氏は、テスラはまもなく、完全な自動運転に必要なセンサーとコンピューティングを備えたコネクテッドカーを世界中で100万台以上販売すると言い、Dojoの機能を宣伝しています。

「私たちのトレーニングスーパーコンピューターであるDojoは、膨大な量のビデオトレーニングデータを処理し、膨大な数のパラメーター、十分なメモリ、コア間の超高帯域幅を備えたハイパースペースアレイを効率的に実行できるようになります。これについては後で詳しく説明します。」

8月14日-マスクは、「本当に膨大な量のビデオデータを処理する」Dojoと呼ばれるニューラルネットワークトレーニングコンピューターを開発するというテスラの計画を「獣」と呼んで繰り返します。また、Dojoの最初のバージョンは「約1年後」で、発売日は2021年8月頃になると言っています。

12月31日 — Elonは、道場は必要ないと言っています。しかし、道場があれば自動運転がより良くなるでしょう。「人間のドライバーよりも安全であるだけでは十分ではありません。オートパイロットは最終的に人間のドライバーの10倍以上安全である必要があります。」

2021
テスラは道場を公式にしています
8月19日 — 自動車メーカーは、テスラのAIチームにエンジニアを引き付けることを目的としたイベントであるテスラ初のAI Dayで、Dojoを正式に発表します。テスラはD1チップも発表しました。自動車メーカーは、これをNvidiaのGPUと並んで、Dojoスーパーコンピューターの電源として使用すると述べています。テスラは、自社のAIクラスターには3,000個のD1チップが搭載されると述べています。

10月12日 — テスラはDojo Technologyのホワイトペーパー「テスラの設定可能な浮動小数点形式と算術のガイド」をリリースしました。このホワイトペーパーでは、ディープラーニングニューラルネットワークで使用される新しいタイプの2進浮動小数点演算の技術標準の概要を説明しています。これは、「完全にソフトウェアで、完全にハードウェアで、またはソフトウェアとハードウェアの任意の組み合わせで」実装できます。

2022
テスラが道場の進捗状況を明らかにします
8月12日 — マスクは、テスラは「道場を段階的に導入する」と言っています。来年はそれほど多くのインクリメンタルGPUを購入する必要はありません。」

9月30日 — テスラの2回目のAIデーで、同社は最初のDojoキャビネットを設置し、2.2メガワットの負荷テストを行ったことを明らかにしました。テスラは、1日に1つのタイル（25個のD1チップで構成されています）を作っていたと言います。テスラは、ステーブル・ディフュージョンモデルを実行してAIが生成した「火星のサイバートラック」の画像を作成して、ステージ上で道場のデモを行います。

重要なのは、同社が2023年第1四半期までに完全なExapodクラスターを完成させるという目標を設定し、パロアルトに合計7つのExapodsを建設する予定だということです。

2023
「ロングショットベット」
4月19日 — マスクはテスラの第1四半期決算で、Dojoは「トレーニングコストを大幅に改善する可能性がある」と投資家に、「アマゾンウェブサービスがウェブサービスを提供するのと同じように、他の企業に提供するような販売可能なサービスになる可能性がある」と語りました。

マスク氏はまた、「道場は一種のロングショットの賭けだ」が、「やる価値のある賭け」だと述べています。

6月21日 — Tesla AI Xアカウントは、同社のニューラルネットワークがすでにお客様の車に搭載されていると投稿しています。スレッドには、2023年7月にDojoの生産が開始されるというTeslaの現在および予測される計算能力のタイムラインを含むグラフが含まれていますが、これがD1チップを指すのか、それともスーパーコンピューター自体を指しているのかは明らかではありません。マスクは、同日、Dojoはすでにオンラインになっていて、テスラのデータセンターでタスクを実行していたと言います。

同社はまた、テスラのコンピューティングは2024年2月頃までに全世界のトップ5に入り（これが成功した兆候はありません）、テスラは2024年10月までに100エクサフロップに達すると予測しています。

7月19日 — テスラは第2四半期の決算報告で、道場の生産を開始したと述べています。マスク氏はまた、テスラは2024年までに道場に10億ドル以上を費やす予定だと言います。

9月6日 — マスクは、テスラはAIトレーニングコンピューティングに制限されているが、Nvidiaは、Xに投稿しました $エヌビディア (NVDA.US)$ そしてDojoがそれを修正します。テスラが1日に車から受信する約16,000億フレームのビデオのデータを管理するのは非常に難しいと彼は言います。

2024
規模を拡大する計画
1月24日 — テスラの第4四半期および通期決算説明会で、マスクはDojoがハイリスクでハイリターンのプロジェクトであることを改めて認めました。また、テスラは「NvidiaとDojoのデュアルパス」を追求していて、「Dojoは機能している」、「トレーニングの仕事をしている」とも言っています。彼は、テスラがそれを拡大していて、「道場1.5、道場2、道場3などの計画」があると述べています。

1月26日 — テスラは、バッファローにDojoスーパーコンピューターを建設するために5億ドルを費やす計画を発表しました。その後、マスクは投資をいくらか軽視し、Xに、5億ドルは多額ですが、「Nvidiaの100H1万システムにしか相当しません」と投稿しています。テスラは今年、Nvidiaハードウェアにそれ以上の費用を費やす予定です。現時点では、AIで競争力を維持するための賭け金は、少なくとも年間数十億ドルです。」

4月30日 — TSMCで $タイワン・セミコンダクター・マニュファクチャリング (TSM.US)$ の北米技術シンポジウムによると、IEEE Spectrumによると、Dojoの次世代トレーニングタイル、Dojoの次世代トレーニングタイルであるD2は、25個のチップを接続して1つのタイルを作るのではなく、Dojoタイル全体を1枚のシリコンウェーハの上に置くもので、すでに生産されています。

5月20日 — Muskは、Giga Texas工場拡張の後部には「超高密度の水冷スーパーコンピュータークラスター」の建設が含まれると述べています。

6月4日 — CNBCのレポートによると、マスクはテスラ用に予約されている何千ものNvidiaチップをXとXAiに転用しました。最初に報告は虚偽だと言っていたが、マスクはXに、ギガテキサスの南側の延長線で建設が続いているため、テスラにはNvidiaチップを送って電源を入れる場所がなかったと投稿しました。「倉庫に置いておくだけだったでしょう」。彼は、この拡張により「FSDトレーニング用の5万H100を収容できる」と述べました。

彼はまた投稿します：

「テスラが今年行うと私が言った約100億ドルのAI関連支出のうち、約半分は社内向けで、主にテスラが設計したAI推論コンピューターとすべての車に搭載されているセンサー、そして道場です。AIトレーニングのスーパークラスターを構築する場合、NVidiaハードウェアのコストは約2/3です。テスラによるNvidiaの購入について、私が現在最もよく推測しているのは、今年30億ドルから40億ドルです。」

7月1日 — マスクはXで、現在のテスラ車には同社の次世代AIモデルに適したハードウェアが搭載されていない可能性があることを明らかにしました。彼は、次世代のAIでパラメーター数を約5倍に増やすことは、「車両推論コンピューターをアップグレードしない限り達成するのは非常に難しい」と言います。

Nvidiaの供給に関する課題
7月23日 — テスラの第2四半期の決算発表で、マスク氏は、Nvidiaハードウェアの需要は「非常に高いため、GPUを入手するのが難しいことが多い」と述べています。

「そのため、必要なトレーニング能力を確保するために、Dojoにもっと多くの努力を払う必要があると思います」とマスク氏は言います。「そして、Dojoを使ってNvidiaと競争するための道筋は確かに見えています。」

テスラの投資家向け資料にあるグラフによると、テスラのAIトレーニング能力は、6月の約4万台から、2024年末までに約9万台のH100相当GPUに増加すると予測されています。その日の後半のXに、マスクはDojo 1が「年末までに約0.8万H100分のオンライントレーニングを行う」と投稿しています。また、テスラのサイバートラックと同じ冷蔵庫のようなステンレス鋼の外装を使用しているように見えるスーパーコンピューターの写真も投稿しています。

XXX
7月30日 — AI5は大量生産まであと約18か月です、とマスクは、「AI5が発売されたときに取り残されることに腹を立てているテスラHW4/AI4の所有者」のクラブを始めたと主張する誰かからの投稿への返信で述べています。

8月3日 — マスクはXに、「ギガテキサス（別名Cortex）のテスラスーパーコンピューティングクラスター」のウォークスルーを行ったと投稿しています。彼は、「FSDとオプティマスのビデオトレーニング用の大容量ストレージ」を備えた、およそ100,000個のH100/H200 Nvidia GPUで作られるだろうと述べています。