TeslaのDojo、タイムライン

\n

イーロン・マスクは、テスラを単なる自動車メーカーにしたくありません。彼は、自動車を自動で走行させる方法を見つけたAI企業であるテスラを望んでいます。

\n

その使命にとって重要なのは、Dojoです。これは、テスラが訓練するために設計されたカスタムビルトのスーパーコンピュータであり、フルセルフドライブ(FSD)ニューラルネットワークを訓練します。FSDは実際には完全に自動運転ではありません。一部の自動運転タスクを実行できますが、ハンドルの後ろに気を配る人間が必要です。しかし、テスラは、より多くのデータ、より多くの計算能力、より多くのトレーニングを通じて、ほぼ自動運転から完全な自動運転への境界を越えることができると考えています。

\n\n

それがDojoの役割です。

\n

マスクはかなりの時間Dojoのことをほのめかしてきましたが、2024年中にスーパーコンピュータについての議論を拡大していました。テスラにとってDojoの重要性は存亡にかかわるかもしれません。EVの販売が低迷している中、投資家たちはテスラが自律性を達成できるかどうかを確認したいと考えています。以下は、Dojoの言及と約束のタイムラインです。

\n\n

2019年

\n\n

Dojoについて初めて言及

\n\n

4月22日 - テスラのAutonomy Dayで、自動車メーカーはAIチームをステージに上げて、AutopilotやFull Self-Driving、そしてそれらを支えるAIについて話しました。会社は、ニューラルネットワークと自動運転車両のために特別に設計されたテスラのカスタムチップに関する情報を共有しました。

\n\n

そのイベント中、マスクはDojoをほのめかし、それがAIを訓練するためのスーパーコンピュータであることを明らかにしました。彼はまた、当時生産されていたすべてのテスラ車がフルセルフドライブに必要なすべてのハードウェアを持っており、ソフトウェアアップデートのみが必要だと述べました。

\n\n

2020年

\n\n

Dojoのロードショーが始まる

\n\n

2月2日 - マスクは、テスラが間もなく世界中で100万台以上の接続された車両を持ち、フルセルフドライブに必要なセンサーとコンピュータを搭載する予定であると述べ、Dojoの能力を宣伝しました。

\n\n

「Dojoは、広大な映像訓練データを処理し、膨大なパラメータを効率的に実行できるハイパースペースアレイと、多数のメモリとコア間の超高帯域幅を持つスーパーコンピュータです。後で詳しく説明します。」

\n\n

8月14日 - マスクは、テスラが「Dojoと呼ばれるニューラルネットワークトレーニングコンピュータを開発する計画」を再確認し、「Dojoの第1バージョンは1年後頃になる」と述べました。

\n\n

12月31日 - イーロンはDojoは必要ないと言いますが、自動運転を改善するでしょう。「人間ドライバーよりも安全であることでは十分ではありません。Autopilotは最終的に、人間ドライバーよりも10倍以上の安全性を持つ必要があります。」

\n\n

2021年

\n\n

テスラがDojoを公式化

\n\n

8月19日 - 自動車メーカーは、テスラの最初のAIデイでDojoを正式に発表しました。これは、エンジニアをテスラのAIチームに引き付けるためのイベントです。テスラはまた、D1チップを紹介し、これをエヌビディアのGPUと併用してDojoスーパーコンピュータの動力源とすると述べました。テスラは、AIクラスタに3,000個のD1チップを搭載する予定です。

\n\n

10月12日 - テスラは、Dojoテクノロジーに関するホワイトペーパー「Teslaの設定可能浮動小数点形式と算術のガイド」を発表しました。このホワイトペーパーでは、深層学習ニューラルネットワークで使用される新しいタイプのバイナリ浮動小数点算術の技術的標準が概説され、これはソフトウェア全体、ハードウェア全体、またはソフトウェアとハードウェアの組み合わせで実装できます。

\n\n

2022年

\n\n

テスラがDojoの進化を公表

\n\n

8月12日 - マスクは、「Dojoを段階的に導入する。来年、追加のGPUを買う必要はなくなるだろう。」と述べました。

\n\n

9月30日 - テスラの第2回AIデイで、同社は最初のDojoキャビネットを設置し、2.2メガワットの負荷試験を行っていることを発表しました。テスラは、1日に1つのタイル(25個のD1チップで構成される)を製造していると述べています。テスラは、Dojoをステージ上でデモし、ステーブルディフュージョンモデルを実行して「火星のサイバートラック」のAI生成画像を作成しました。

\n\n

重要なのは、同社が2023年第1四半期までに完全なExapodクラスターを完成させる目標日を設定し、パロアルトに合計7つのExapodを建設する計画であると述べています。

\n\n

2023年

\n\n

「遠目には勝負にならない賭け」

\n\n

4月19日 - マスクは、テスラの第1四半期決算において、Dojoは「訓練のコストを桁違いに改善する可能性があり、また、Amazon Web ServicesがWebサービスを提供しているように、他の企業に提供する可能性がある販売可能なサービスになる可能性がある」と投資家に語りました。

\n\n

マスクはさらに、彼は「Dojoを遠目には勝負にならない賭けと考える」と述べ、「それだけの価値がある賭けである」とも述べました。

\n\n

6月21日 - テスラAI Xアカウントは、同社のニューラルネットワークがすでに顧客車両に搭載されていることを投稿しています。投稿には、テスラの現在のおよび予想されるコンピュートパワーのタイムラインを示すグラフが含まれており、Dojoの生産開始を2023年7月と位置付けていますが、D1チップかスーパーコンピュータそのものかははっきりしていません。同じ日にマスクはDojoが既にオンラインで稼働しており、テスラデータセンターでタスクを実行していると述べています。

\n\n

同社はまた、テスラのコンピュートが2024年2月頃に世界トップ5に到達し、テスラが2024年10月までに100エクサフロップに達すると予測しています。

\n\n

7月19日 - テスラは、第2四半期の決算報告書でDojoの製造を開始したことを報告しています。マスクは、テスラが2024年までにDojoに10億ドル以上を費やす計画だと述べました。

\n\n

9月6日 - マスクはXで投稿し、テスラがAIトレーニングコンピュートに制限されているが、NvidiaとDojoがそれを解決すると述べました。彼は、テスラが毎日車から得る約1600億フレームのビデオデータを管理することが非常に難しいと述べています。

\n\n

2024年

\n\n

スケーリングの計画

\n\n

1月24日 - テスラの第四半期および通年の決算電話会議で、マスクは再びDojoは高リスクで高リターンのプロジェクトであると述べました。また、テスラは「NvidiaとDojoの両方の道を追求しており、Dojoが機能しており、トレーニングジョブを実行している」と述べ、「Dojo 1.5やDojo 2、Dojo 3などの計画がある」と述べました。

\n\n

1月26日 - テスラは、バッファローにDojoスーパーコンピュータを構築するために5億ドルを費やす計画を発表しました。その後、マスクは「5億ドルという額は大きいが、それはNvidiaの10k H100システムに相当するだけであり、テスラはこの年にNvidiaのハードウェアにそれ以上を費やす」と投稿して、少し投資を軽視しました。AI競争力を維持するためには、最低でも数十億ドル以上のコストがかかると述べました。

\n\n

4月30日 - TSMCの北米技術シンポジウムで、同社は、Dojoの次世代トレーニングタイルであるD2を既に生産しており、1枚のシリコンウェーハーに完全なDojoタイルを配置していることをIEEE Spectrumが報告しています。

\n\n

5月20日 - マスクは、Gigaテキサス工場拡張の後部に「超密集度の高い、水冷式のスーパーコンピュータクラスター」を建設する計画を発表しました。

\n\n

6月4日 - CNBCのレポートによると、マスクは数千台のNvidiaチップを予約済みだったテスラからXとxAIに転用しました。最初はその報告は誤りだと言っていましたが、後にマスクはテスラがGigaテキサスの南部延長工事が続いていたため、Nvidiaチップを送信する場所がなく、「倉庫の中でただ待っていただけだった」と述べました。彼は、拡張部分には「FSDトレーニング用に50kのH100が収容されることを示しました。」

\n\n

彼はまた投稿しています:

\n\n

「今年テスラがAI関連の10億ドル弱の支出と言った中で、その半分は主にTeslaが設計したAI推論コンピュータとすべての車に装備されたセンサー、およびDojoを含む内部に向けられています。 AIトレーニングスーパークラスターの構築には、NVidiaハードウェアがコストの約3分の2を占めます。テスラによるNvidiaの購入に関する私の現在の最良の推測は、今年に30億ドルから40億ドルです。」

\n\n

7月1日 - マスクはXで投稿し、現行のテスラ車には次世代AIモデルに適したハードウェアが搭載されていないかもしれないと述べています。彼は、次世代AIにおけるパラメータの約5倍の増加は、「車両推論コンピュータをアップグレードしないと非常に難しいことです」と述べています。

\n\n

Nvidiaの供給課題

\n\n

7月23日 - テスラの第2四半期の決算電話会議中に、マスクはNvidiaハードウェアの需要が「非常に高く、GPUを入手するのが難しいことがよくある」と述べました。

\n\n

「そのため、私たちが必要とするトレーニング能力を確保するためには、Dojoにより多くの努力を惜しまなければ