アップルの論文によると、8192枚のGoogle TPUv4チップで、大規模なサーバー言語モデル、サーバーAFMをトレーニングし、6.3兆トークンを使用します。 端末側AFMは、2048個のTPUv5pチップでトレーニングされています。 AFMおよびAFMサービスは、「クラウドTPUクラスター」でトレーニングされています。
本文の著者:李丹
出典:ハードAI
公式文書によると、アップルの自己開発の人工知能(AI)システムApple Intelligenceは、カスタムのGoogleチップのサポートなしでは実現できないことが公開されています。
アップルの公式ウェブサイトは7月29日月曜日(アメリカ東部時間)に技術論文を公開し、Apple Intelligenceをサポートするために基礎言語モデル(約30億パラメータモデルを実行するためのデバイス上で高速なモデルである「Apple Basic Model」(AFM)とAppleクラウドAIアーキテクチャ「プライベートクラウドコンピューティング」(Private)。Cloud Compute)のために設計された大規模なサーバー言語モデルであるサーバーAFMを含むいくつかの基礎言語モデルを紹介しました。
論文では、アップルは、端末側AFMとサーバーAFMがアップルが開発した生成モデルの一員であることを紹介し、これらのモデルがユーザーと開発者をサポートするために使用されていることを説明しています。論文によると、トレーニングモデルにはGoogleが開発した第4世代AI ASICチップTPUv4と最新世代のチップTPUv5が使用されています。 論文では次のように述べています。
「我々は8192個のTPUv4チップを使用して、サーバーAFMを新規にトレーニングし、シーケンス長4096とバッチサイズ4096を使用して、6,300億トークンのトレーニングを実行しました。」
「アプローチ侧AFMは、2048個のTPUv5pチップ上でトレーニングされています。」
この47ページにわたる論文では、アップルはGoogleまたはNVIDIAの名前を挙げていませんが、AFMとAFMサービスが「クラウドTPUクラスター」でトレーニングされたことを示しています。これは、アップルが計算を処理するためにクラウドサービスプロバイダーからサーバーを借りたことを意味します。
実際、今年6月のグローバル開発者会議(WWDC)の期間中、メディアは、アップルがAI分野でGoogleを求める別の勝者であることを特定の技術文書の詳細の中で発見しました。 アップルのエンジニアは、会社が独自に開発したフレームワークソフトウェアと多数のハードウェア、Google Cloudでのみ利用可能なテンソル処理ユニット(TPU)を使用して基礎モデルを構築しました。ただし、アップルは、Googleチップやソフトウェアにどの程度依存しているかを明らかにしていません。
このため、今週の月曜日、ソーシャルメディア上には、アップルがGoogleのチップを使用したというニュースがあり、スタックトレーニングの詳細が明らかになりました。
![](https://newsfile.futunn.com/public/NN-PersistNewsContentImage/7781/20240730/0-e4d0a81590f78bb8271179363bcbd1ee-0-9242430df6a7e7d5121fb2e99007827a.jpg/big)
あるコメントによると、アップルはNVIDIA嫌いではなく、TPUの速度が速いため使用したとされています。 また、ある人は「TPUの速度が速いので、アップルがそれを使用する理由があるかもしれない。 もちろん、NVIDIAのチップよりも安価である可能性もあります。」と述べています。
![](https://newsfile.futunn.com/public/NN-PersistNewsContentImage/7781/20240730/0-e4d0a81590f78bb8271179363bcbd1ee-1-05fb6dfa65d8f55bf83756847b047f46.jpg/big)
今週の月曜日、メディアコメントは、GoogleのTPUは最初は内部ワークロード用に作成されたものであり、現在はより多くの使用が見られていると述べています。 アップルがGoogleのチップでモデルをトレーニングする決定は、いくつかのテックジャイアントがNVIDIA AIチップの代替品を探しており、すでに見つけている可能性があることを示しています。
華爾街見聞は、先週、MetaのCEOであるザッカーバーグ氏とAlphabet兼GoogleのCEOであるピチャイ氏は、AIインフラストラクチャに過度に投資し、互いに「AIに過剰投資している」と暗示していましたが、事業リスクが高すぎると認めています。
ザッカーバーグ氏は次のように述べています。、「取り残されることの影響は、将来10〜15年で、最も重要な技術分野で不利な立場に置かれることになります。」
ピチャイ氏は、「テクノロジーでは遅れをとると、あなたは将来10〜15年で最も重要な技術面で不利な立場に立たされることになります」と述べています。
ピチャイ氏は次のように言います。
AIのコストは高いですが、投資不足のリスクの方がはるかに大きいです。GoogleはAIの基盤設備に過剰投資しているかもしれませんが、購入したデータセンターやコンピュータチップはAIのブームが落ち着いたとしても、他の用途にも利用することができます。投資不足のリスクが過剰投資のリスクよりもはるかに大きいです。