Network Expert自适应算法等进行升级。两者升级带来的效果叠加，让星脉网络的通信效率提升60%，MoE大模型训练效率提升20%。第一上海は研究レポートを発表し、腾讯（00700）は、独自に開発した星脉高性能計算ネットワークを201日より全面的にアップグレードすることを発表しました。アップグレード版星脉ネットワーク2.0には、腾讯が独自に開発したネットワーク機器とAI算力ネットワークカードが搭載され、10万枚を超える大規模なネットワーク構築をサポートすることができます。前世代と比較して、新しいネットワークの通信効率は60%向上し、大型モデルのトレーニング効率は20%向上しました。
レポートには、腾讯自社開発の星脉ネットワークは、自社開発のネットワーク機器、通信プロトコルTITA、通信ライブラリTCCL、GOM＆GOAオペレーションシステムの4つの重要なコンポーネントから構成されるソフトウェアとハードウェアの協調型高性能ネットワークシステムです。各コンポーネントは、腾讯のコア技術を採用しており、業界で初めてのものです。TITA 2.0は主動的輻雑管制アルゴリズムにアップグレードされ、データパケットの送信速度を自動的に調整して、ネットワークの混雑を回避します。また、輻雑のスマートスケジュールにより、ネットワークの混雑を迅速に自己回復することができます。TCCL通信ライブラリは、NVLINK+NETのHeterogeneous Parallel Communication、Auto-Tune Network Expert Adaptive Algorithmなどがアップグレードされました。両者のアップグレードにより、星脉ネットワークの通信効率が60%向上し、MoEの大規模モデルトレーニング効率が20%向上しました。
明日の天気はどうですか？
エフェクト、TCCL通信ライブラリ、Auto-Tune Network Expert Adaptive Algorithmなどを含むNVLINK+NETのHeterogeneous Parallel Communicationをサポートします。2つのアップグレードがもたらす利点である通信効率の60%向上と、MoEの大規模なモデルトレーニング効率の20%向上が重なって星脉ネットワークが可能になりました。