share_log

华福证券:如何测算文本大模型AI训练端算力需求?

華福証券:大規模なテキストモデルのAIトレーニングエンドポイントの計算力要件をどのように測定しますか?

智通財経 ·  06/04 07:36

智通財経アプリケーションは、華福証券が研究レポートを公表したと報じています。 両側面サービス提供ニーズ公式によると、需要面仮定産業はScaling Lawを引き続き発展的方向に増加した、提供面はエヌビディアGPUのFP16計算能力、トレーニングマーケット、計算能力使用率を仮定することによって、GPUの需要量を導出しました。エヌビディアHopper/Blackwell/次世代GPUカードのFP16計算能力を基準とすると、同社は、2024-2026年におけるグローバル文本大型AIトレーニングサイドGPUの需要量は271/592/1244万枚であると信じています。計算能力チップやサーバーの産業グループに関心を持つことをお勧めします。

華福証券の主な観点は以下の通りです:

需要側:Scaling Lawによる大規模モデルの計算ニーズは減少しない

Scaling Lawは、現在業界の発展を牽引する重要な基準の1つです。 Scaling Lawの基本原理は、モデルの最終パフォーマンスが主に計算量、モデルパラメータ量、およびデータサイズの3つと相互関係があることです。ほかの2つの要素に制限を受けない場合、モデルのパフォーマンスは、各要素ともべき関係を示します。したがって、モデルのパフォーマンスを向上させるには、モデルパラメータ量とデータサイズを同期して拡大する必要があります。多数の大規模モデルが観測され、最新のAIモデルの大規模リソース需要によって、AI産業界の影響力が徐々に増加しています。 同社は、多くの公に開示された大規模モデルトレーニングデータを統計し、大規模モデルの計算ニーズを考慮に入れました。 GPT-3からGPT-4のパラメータ数は175Bから1.8TBに急増しています(9倍の増加)。トレーニングデータサイズ(トークン数)は同じ方向に急速に増加し、0.3TBから13TBに増加し、(42倍)。絶対値では、同社の不完全な統計によると、国内外の主要な大規模モデルはパラメータ量で基本的に百億以上であり、事前トレーニングデータの規模は個数や十数のTBに達していると考えられています。

供給側:Huang氏の法則により、NVIDIA GPUは高速に発展している

NVIDIA GPUは、AI計算能力の発展を持続的にリードしており、「モー​​ルの法則」は徐々に低下しています。「Huang's Law」はNVIDIA GPUの計算能力を高速に向上させており、NVIDIAはプロセス技術のイテレーション、より大きなHBMキャパシティおよび帯域幅、ダブルダイデザインなどの手法を模索しています。また、データ精度の低下が重要な役割を果たしており、BlackwellはFP4新しいフォーマットをサポートしており、低コスト化によるアプリケーション上の制限があるかもしれませんが、創力向上の信頼性がしっかりとあります。 NVIDIA FP16計算能力のみを考慮すると、A100 / H100 / GB200の製品のFP16計算能力は、前世代の製品の2.5 / 6.3 / 2.5倍になり、数量的に有意義な規模の爆発が継続しています。比較すると、AIの大規模モデルのパラメータ爆発速度はより速く、GPTシリーズモデルは2018年から2023年までに、1億から1,800億のパラメータに増加しています。 Scaling Lawによる大規模モデルのパラメータ爆発に対して、GPUの計算能力の増加速度は改善の余地があります。

結論:2024-2026年にグローバルなテキスト大規模モデルトレーニングサイドGPUの需要は271 / 592 / 1244万枚であると予想されます。

同社は、両側面サービス提供ニーズ公式によると、需要面仮定産業はScaling Lawを前提に発展できるとし、供給面はエヌビディアGPUのFP16計算能力、トレーニングマーケット、計算能力使用率を仮定し、GPUの需要量を導き出しました。エヌビディアHopper / Blackwell /次世代GPUカードのFP16計算能力を基準として、同社は、2024-2026年にグローバルなテキスト大型AIトレーニングサイドGPUの需要量は271 / 592 / 1244万枚であると予想しています。

注目すべき点は以下です:

計算能力チップ:紫光展鋭(688256.SH)、杭州海光(688041.SH)、龍芯中科(688047.SZ)。

サーバー産業グループ:(工業富聯(601138.SH)、沪電股份(002463.SZ)、深南電路(002916.SZ)、勝宏科技(300476.SZ))。

リスクの警告:AI需要が予想を下回るリスク、Scaling Lawが効果を発揮できないリスク、GPU技術のアップグレードが予想されていないリスク、計算モデルの仮定が偏っているリスクがあります。

これらの内容は、情報提供及び投資家教育のためのものであり、いかなる個別株や投資方法を推奨するものではありません。 更に詳しい情報
    コメントする