TSLA
テスラ
-- 410.440 NVDA
エヌビディア
-- 144.470 CRNC
セレンス
-- 19.330 QSI
クアンタム・シイ
-- 4.290 MSTR
マイクロストラテジー クラスA
-- 339.660 
Apple、トークン生成の高速化にNvidiaと提携
世界最大の企業である Apple ( NASDAQ: AAPL ) と Nvidia ( NASDAQ: NVDA ) は、Recurrent Drafter (ReDrafter) と呼ばれる手法を通じて、Nvidia GPU の大規模言語モデル推論を高速化するために協力したと、両社が本日発表しました。
ReDrafter は、再帰型ニューラルネットワーク (RNN) ドラフトモデルを使用し、「ビームサーチと動的ツリーアテンションを組み合わせることで、オープンソースモデルの生成ステップごとに最大 3.5 トークンまで LLM トークン生成を高速化し、従来の投機的デコード技術のパフォーマンスを上回ります」とApple は本日のブログ投稿で述べた。
Apple は Nvidia と協力し、ReDrafter を Nvidia のTensorRT-LLMに統合しました。Nvidia によると、これによりより広範な開発者コミュニティがアクセスできるようになるとのことです。
「NVIDIA GPU 上で数百億のパラメータ生成モデルをベンチマークし、ReDrafter を備えた NVIDIA TensorRT-LLM 推論アクセラレーション フレームワークを使用したところ、貪欲なデコードで 1 秒あたりに生成されるトークンの速度が 2.7 倍向上しました」と Apple は述べています。「これらのベンチマーク結果は、この技術により、ユーザーが経験する可能性のある遅延が大幅に短縮されると同時に、使用する GPU の数と消費電力も削減できることを示しています。」
「NVIDIAとAppleのこのコラボレーションにより、TensorRT-LLMはより強力で柔軟になり、LLMコミュニティはより洗練されたモデルを革新し、それをTensorRT-LLMで簡単に展開して、NVIDIA GPUで比類のないパフォーマンスを実現できるようになりました」とNvidiaは述べています。
ReDrafter は、再帰型ニューラルネットワーク (RNN) ドラフトモデルを使用し、「ビームサーチと動的ツリーアテンションを組み合わせることで、オープンソースモデルの生成ステップごとに最大 3.5 トークンまで LLM トークン生成を高速化し、従来の投機的デコード技術のパフォーマンスを上回ります」とApple は本日のブログ投稿で述べた。
Apple は Nvidia と協力し、ReDrafter を Nvidia のTensorRT-LLMに統合しました。Nvidia によると、これによりより広範な開発者コミュニティがアクセスできるようになるとのことです。
「NVIDIA GPU 上で数百億のパラメータ生成モデルをベンチマークし、ReDrafter を備えた NVIDIA TensorRT-LLM 推論アクセラレーション フレームワークを使用したところ、貪欲なデコードで 1 秒あたりに生成されるトークンの速度が 2.7 倍向上しました」と Apple は述べています。「これらのベンチマーク結果は、この技術により、ユーザーが経験する可能性のある遅延が大幅に短縮されると同時に、使用する GPU の数と消費電力も削減できることを示しています。」
「NVIDIAとAppleのこのコラボレーションにより、TensorRT-LLMはより強力で柔軟になり、LLMコミュニティはより洗練されたモデルを革新し、それをTensorRT-LLMで簡単に展開して、NVIDIA GPUで比類のないパフォーマンスを実現できるようになりました」とNvidiaは述べています。
免責事項：このコミュニティは、Moomoo Technologies Inc.が教育目的でのみ提供するものです。
さらに詳しい情報
コメント
サインインコメントをする
パーマン6号 : 最強タッグ誕生
くどうのぶ : つよいな