share_log

大模型一体机成趋势!模型微调重要性凸显 浪潮信息最新入局|行业动态

大規模一体機がトレンドとなっています!モデルの微調整の重要性が明らかになり、inspur electronic information industryの最新参入|業種動向

cls.cn ·  09/29 23:12

①一体機は大規模モデルのビジネス探究プロセスで大きなトレンドとなり、大規模モデルメーカー、ICTサービスプロバイダ、ISVサービスプロバイダがすでに展開しています。②現在のAIプロジェクトの公開入札のうち、ハードウェアとサービスが総額の90%以上を占めており、浪潮情報の一体機はハードウェアと大規模モデル向けソリューションを統合的に提供しています。③業界ではモデルの微調整と推論に関心が集まり、微調整の重要性が際立っています。

財聯社9月30日発表(記者 付静)現在、中国の10億パラメータ以上の大規模モデルは100以上あり、技術は活気づいているものの実際の落地度はまだ向上の余地があります。最近、郑州で開催された2024中国算力大会では、財聯社記者が観測したところ、大規模モデルの実用化は産業連鎖の注目を浴びており、一体機は大規模モデルのビジネス化探索プロセスで大きなトレンドとなりました。算力ハードウェアメーカーである浪潮情報(000977.SZ)もこの大会で元脳企智EPAI(Enterprise Platform of AI)一体機を発表し、「算力+プラットフォーム+サービス」の大規模モデルソリューションを提供しています。

浪潮情報の製品ソリューション開発部の総経理である魏健は、財聯社などメディアの取材を受けた際に、「現状のアプリケーションと市場のトレンドには大きなギャップがあり、企業、特に伝統企業が大規模モデルのアプリケーションを迅速に実現する方法、この背景に基づいて、私たちは大規模モデル一体機を作成しました。」と述べています。

近年、工信部のCCID研究院のデータによると、2023年に中国のAI企業は368社追加され、生成型AI企業の採用率はすでに15%に達しました。製造業、小売業、通信業、医療ヘルスケアの4つの主要業界では、生成型AIの採用率はそれぞれ5%、13%、10%、7%です。2035年までに生成型AIは世界全体で約90兆元の経済価値を生み出す見込みであり、そのうち中国が30兆元を超えることが期待され、全体の約40%を占める予定です。

魏健はインタビューで一連のデータを言及しました:AI市場の公開入札プロジェクトでは、前年全体および今年上半期のハードウェア部門の割合はそれぞれ約60%、61%であり、ソフトウェア部門の割合はそれぞれ約11%、5%であり、今年上半期のサービス部門の割合は昨年の17%から30%以上に増加しました。「実質的には、プロジェクト総額の90%以上をハードウェアとサービスが占めています。」

魏健は、浪潮情報が発売する一体機は、製造、金融などの業界客が対象であり、伝統的なISVやSIの3つのユーザーグループを対象としています。SIの場合、「マルチモデル管理やマルチアルゴリズム管理など、大規模モデルに特化した最適化能力が必要です。 サービスを一体機製品に統合することができます。

元脳企智EPAI一体機は、大規模モデルアプリケーション用に設計された元脳サーバーをベースにしており、NVIDIAの最新HopperアーキテクチャGPU 8基のフルインタコネクトをサポートし、Yuan2.0、Baichuan2、ChatGLM3、Qwen1.5、GLM4、Llama3などの基本モデルがプリインストールされており、データ処理、モデル微調整、RAG構築、モデルデプロイメント、アプリケーション起動、システム運用などの問題を解決することを目的としています。

財联社の記者は、元脑企智EPAI一体機には5つの製品仕様が含まれており、推論、トレーニング+推論、完全なラック構成のクラスタ化デリバリなどのシナリオを主に対象としています。

3X7a0sBOYG.jpg

(被訪者提供画像)

「推論能力は非常に重要な成長分野であり、特にエッジ端の推論にとって。車両と道路の協調、スマートゾーン、高速料金所など、エッジ領域の推論応用では異なる製品形態を注視しています。」とウェイ・ジェンは財聯社の記者に語った。

オーウェン・ジュー氏によると、大規模なモデルは、事前学習、微調整、推論の3つの段階があり、業界の関心は既に微調整と推論に移っており、微調整の重要性がますます明確になっています。」inspur electronic information industryのAIアプリケーションアーキテクトオーウェン・ジュー氏は取材の中で述べています。

オーウェン・ジュー氏は、この度リリースされたオールインワンマシンには、現在の技術動向に合わせた一部の微調整技術が統合されています。彼は例を挙げて、「10億パラメータのモデルには、200-300Gのメモリーが必要な場合がありますが、1台のマシンだと少しツラいかもしれません。30B、40Bのモデルを使っている現在、最低限3~4台のマシンが必要で、敷居がかなり高くなりました。今、いくつかの効率的な微調整技術は、10G未満のメモリーで10Bパラメータのモデルを微調整して実行できます。つまり、新しい技術のいくつかを適用することで、計算力の敷居が下がります。」

コストの観点から、ウェイ・ジェンは財聯社の記者に述べたところ、inspur electronic information industryの大規模モデルオールインワンマシンの単品価格は20万から200万の間にあり、「ユーザーが50万くらいのハードウェア機器の初期投資を行えば、少なくとも100億から300億のパラメータ規模のモデルトレーニングを行い、単一の機器上でより優れた計算力を実現できます。」

同時に、彼女は述べています。「inspur electronic information industryは、ユーザーに提供する価格はオールインワンマシンの総額ですが、しかし、「オールインワンマシンを分解してみると、ハードウェアが80%、ソフトウェアが20%を占めています。私たちは製品企業であり、このビジネスモデルは、主に業界エコシステムの活性化を目的としています。」

「オールインワンマシンのビジネスロジックは正しいですが、顧客に認められるかどうかが鍵です。」と、AI計算力の専門家が財聯社の記者に語りました。

财联社の記者がグローバルで大規模なオールインワンデバイスに対するユーザーの受け入れ意向について質問した際、魏健氏は、「受け入れ意向はかなり強いと理解しています。オールインワンデバイスは、従来のハードウェアユーザーの使用習慣とかなり適合しています。過去3か月から4か月で約100のPOCテストを実施し、アプリケーションのカスタマイズ開発を希望し、データを整理するなどを行うユーザーは実際に30%を占めています。」と述べました。

価値があるのは、業界で大規模なオールインワンデバイスが高い関心を持たれており、智谱AI、商汤科技、中国ソフトウェア国際などの主要なAI大規模モデルメーカー、ICTサービスプロバイダー、ISVサービスプロバイダーがすでにオールインワンデバイス関連製品を提供していることです。

Owen ZHU氏は、「みんながオールインワンデバイスと言っていますが、実はその内容にはかなりの差があります。おそらく最初にオールインワンデバイスの概念を聞いた時はトレーニング向けの話だったことでしょうが、今ではハードウェアと大規模モデル向けの解決策を一体にした提案をしており、それは大規模モデルの開発プラットフォームです。」と述べました。

「大規模モデルメーカーの一部は実際に私たちとパートナーシップを組んでいますが、私たちのオールインワンデバイスは彼らと異なります。大規模モデルメーカーはソフトウェア、アルゴリズムの能力において非常に強いですが、私たちは算力のスケジューリング管理、アルゴリズムのスケジューリングを重視し、異なるモデルに適合させるために、モデルのパラメータについても多く研究しています。実際、ハードウェア性能の優位性をより引き出すためです。」と魏健氏は財联社の記者に語りました。

これらの内容は、情報提供及び投資家教育のためのものであり、いかなる個別株や投資方法を推奨するものではありません。 更に詳しい情報
    コメントする