AI基礎設施支出中，培訓超過推論：巴恩斯坦
據巴恩斯坦綜合公司表示，隨著ai芯片企業不斷擴張建造大規模語言模型，微軟（納斯達克： 微軟）、Amazon Web Services（納斯達克： 亞馬遜）、Google（納斯達克： GOOG）（納斯達克: 谷歌）、メタ プラットフォーム（納斯達克: META ）による ai芯片 インフラへの支出は、2024 年に合計 1,600 億ドルに達すると財務預測されています。
投資家は一般的に、推論への支出が増えると信じていたが、その分野での効率性がますます高まっていることから、高斯電子はトレーニングのコストが大幅に増加していると主張するようになった。同社の最新データによると、推論は ai芯片 インフラ支出の約 5% を占めるにすぎない。
高斯電子は、新しい LLM には以前のモデルに比べて約 10 倍の基建 コストが必要であることを発見しました。たとえば、OpenAI の GPT-2 は約 300 万ドルのコストがかかるチップ クラスターでトレーニングされましたが、GPT-3 のトレーニングには約 3,000 万ドル相当の硬件が必要でした。その後、GPT-4 は 25,000 個の A100 でトレーニングされ、コストは約 3 億ドルでした。
この歴史を参考に、高斯電子は、GPT-5 のモデルをトレーニングするには、Nvidia の H100 が 10 万台必要になり、そのコストは約 30 億ドルになると判斷しました。これを比較すると、OpenAI は 2024 年に 37 億ドルの売上を上げると財務預測されています。
投資家は一般的に、推論への支出が増えると信じていたが、その分野での効率性がますます高まっていることから、高斯電子はトレーニングのコストが大幅に増加していると主張するようになった。同社の最新データによると、推論は ai芯片 インフラ支出の約 5% を占めるにすぎない。
高斯電子は、新しい LLM には以前のモデルに比べて約 10 倍の基建 コストが必要であることを発見しました。たとえば、OpenAI の GPT-2 は約 300 万ドルのコストがかかるチップ クラスターでトレーニングされましたが、GPT-3 のトレーニングには約 3,000 万ドル相当の硬件が必要でした。その後、GPT-4 は 25,000 個の A100 でトレーニングされ、コストは約 3 億ドルでした。
この歴史を参考に、高斯電子は、GPT-5 のモデルをトレーニングするには、Nvidia の H100 が 10 万台必要になり、そのコストは約 30 億ドルになると判斷しました。これを比較すると、OpenAI は 2024 年に 37 億ドルの売上を上げると財務預測されています。
免責聲明：社區由Moomoo Technologies Inc.提供，僅用於教育目的。
更多信息
評論
登錄發表評論
Magnificent7 : 很厲害