OpenAI Japanの長崎代表
OpenAI Japanの長崎代表「いずれ出てくる『GPT Next』というAIモデルは、過去の実績から見て100倍近く進化していく。AIというテクノロジーは従来のソフトウェアと違い、指数関数的に成長する。」
明確にスライドには2024"GPT Next"と記載されている。
この100倍というのは恐らく計算資源のスケーリングではなく、アーキテクチャや学習効率の改善を含めた実効計算量+2OOMsをイメージしているのだろう。
今年出るGPT-4 NEXTは小型版のStrawberryを用いておよそGPT-4と同程度の計算資源で訓練され、実効計算量は100倍になっているものを想像している。
最近話題になっているOrionはGPT-4と比較するとH100 10k台相当で数ヶ月訓練され、10倍の計算資源スケールを追加され、+3OOMsとなり来年の何処かでリリースされるのではないかと考えている。
明確にスライドには2024"GPT Next"と記載されている。
この100倍というのは恐らく計算資源のスケーリングではなく、アーキテクチャや学習効率の改善を含めた実効計算量+2OOMsをイメージしているのだろう。
今年出るGPT-4 NEXTは小型版のStrawberryを用いておよそGPT-4と同程度の計算資源で訓練され、実効計算量は100倍になっているものを想像している。
最近話題になっているOrionはGPT-4と比較するとH100 10k台相当で数ヶ月訓練され、10倍の計算資源スケールを追加され、+3OOMsとなり来年の何処かでリリースされるのではないかと考えている。
免責事項：このコミュニティは、Moomoo Technologies Inc.が教育目的でのみ提供するものです。
さらに詳しい情報
コメント
サインインコメントをする
