Apple WWDCでの大規模モデルの分析と議論：大規模モデルと小規模モデル（バルブ制御）、共同検証、エージェントオーケストレーション、アクセスの見積もり、メモリ、セキュリティ問題

1. 背景

6月10日24日、Apple$Apple（AAPL.US）は24回目のWWDC会議を開催しました。筆者は主に大規模モデルに関連するコンテンツに関心を持っています。プレスカンファレンス後、いくつかのコンテンツが確認できます。

1. AppleとOpen AIが協力し、GPT-4oがIOS 18に進出する

2. Apple自体が小規模モデルの上部を持っている

3. 簡単なタスクには小規模モデルが使用され、複雑なタスクにはクラウドモデルGTP-4oが使用され、オンラインクエリがサポートされます。大規模および小規模モデルの切り替え、つまり大規模モデル機能の閾値制御および切り替えは、固定アプリケーション方法で行われる可能性があり、簡単なアプリケーションシナリオでの小モデル機能の使用

4. 複雑なタスクフローに対しては、オーケストレーションを使用して順に接続されます。大規模モデルの加護を受けたエージェント知能体の機能がさらに発揮され、ワークフロートリガーの起点としてSiriを使用するなどされます

プレスカンファレンスのニュースによると、GPT-40はIOS 18に進出することが確認されました。また、Apple自体が小規模モデルの機能（プレスカンファレンスでいくつか言及された）を使用しています。例えば、メッセージの重要性の反転、コンテンツの書き換えなどがあります。ユーザーは現在自由に使用できます。さらに、GPT-40機能を単独で使用する場合は、APIキーの呼び出しにアクセスできます。

筆者はこれまで、Appleの大規模モデルの状況について分析してきました。

Appleが現在開示している情報に基づくと、複雑なタスクに対してはクラウド大規模モデルの機能（GPT-40）が呼び出され、簡単なタスクにはローカルで実行され、エンドのコンピューティングパワーに制限されるため、ローカルモデルの機能は制限されます。Googleのジェミニであるかどうかはわかりませんが、現在の情報の量に基づくと、これがそうであることを示す情報はどちらの当事者も開示していないため、Googleが排除される可能性が高いです。

また、プレスカンファレンスでいくつかのモデルが言及されたため、エンドサイドマシンは複数のモデルによってマルチモーダルに実現されていると推測されます。単一のモデル（テキスト、写真など）の基礎となるマルチモーダルを統一するのではなく、複数のモデルによって実現されています。

これにより、現在使用されているのがTransformerアーキテクチャなのか、以前の研究結果に基づくモデルなのかを検証する必要があります。Appleの現在の技術とTransformerアーキテクチャの大規模モデルの進化の熟成度から言えば、比較的単純なタスクに対するマルチモーダル「小」モデルを実現することはあまり複雑ではないと思われます。

3. 合併検証について

Appleの大規模モデルがマシンに置かれた期間中、いくつかの噂が広がりました。

アップルがOpen AIと協力して、声に応じたアシスタントのデモをリリースした際、GPT-4oが特に応答速度に重点を置いていることが分かります。この方向にプッシュがあると感じられ、その推測をさらに強化する要因となりました。そして、協力は確認されました。

アップルがGoogleと協力してGoogleの開発した小型モデルGeminiを利用しエンドにプットしたとして噂されています。また、当時の計算力TOPSの予想によると、30億のパラメーター規模であっても、アップルのチップが対応できるとされており、この推測が深まりました。現在、この噂は否定され、協力はまだ達成されていません。

GPT-4oのネットワーク上の問題から、国家安全の制限に適合しない国内のコールに対して、バイドゥと協力する可能性があります。また、アップルによると、異なるバージョンのiOS 18にはAIに違いがあり、このニュースはこの協力の促進につながっています。以前に噂があり、ニュースは確認されていませんでしたが、iOS 18のリリースとともに、AI機能のグレースケールリリースがこの範囲の具体的なニュースを検証することができます。そして、現在の中国における大規模モデルの状況に鑑みると、バイドゥとの協力は最善の選択肢です。

最終的には、アップルは大型言語モデルを使用してスマートアシスタントSiriを最適化する計画ですが、これらの機能が開始されるのは2025年まで待たなければならない可能性が高いため、短期間に正確なニュースがある可能性は非常に低いと予想されます。

エージェントのオーケストレーション、アクセスの推定、メモリメッセージ

現在の大規模モデルの特定の操作を見ると、その能力は驚くほどで、アップルもそれらを統合しました。GoogleやMetaの以前のデモがこの内容を既に示しているため、ここ数日、外部ではソフトウェアとハードウェアの良い組み合わせについて話しています。また、ここで特に指摘することがあります。旅行の利用と計画の実行に関することについて、筆者も大規模モデルを基にいくつかのことを実行しました。プレスカンファレンスから分かるように、大規模モデルGPT-4oの能力とアップルシステムの統合により、全体的な情報量の流れが実現され、タスクの分解、手配、処理、再構築プロセスが実現されました。大規模モデルの反応速度の問題を克服した後、クラウドとローカル間の効率的なコミュニケーションとタスクの解決が可能になりました。ここで言及する必要があるのはエージェントの能力です。タスクの分解後の状況に対して、エージェントの再形成能力を各リンクに注入することは、GPT-4oの全体的な能力向上に対して大きな効果があります。さらに、モバイル上のシーンは比較的固定されたリンク、あるいは比較的固定されたリンクであるため、このモデルの操作モードが可能になりました。Open AIへのアクセスは2022年5月には7.5億回を超えました。

ここに、アップル自身がリリースしたいくつかのデータがあります。

1. Siriユーザが1日に15億回声のリクエストを出しています。

2.世界中で10億人以上のAppleユーザーがいます。

上記のデータに基づいて、以下の問題が議論されます。

1. GPT-4oがどれだけの並行処理をロードでき、その並行処理の応答速度は何ですか？

2. IOSになぜローカルモデルを組み込む必要があるのでしょうか？

問い合わせ1に関して、GPT-4o自体が近く2億人のユーザを抱えており、アップルには10億人のユーザがいるため、アメリカのユーザ数が約1億4千万人であると仮定する。アメリカのリクエスト件数は約2億1千万回になります。

Siriは1日に15億回の声のリクエストを受けます。アメリカのユーザ数を乗じると、アメリカのリクエスト数は次のように推定されます。

(1億4千万人 / 10億人) * 15億回 = 2.1億回

Siriの起動とアクションのそれぞれの割合がGPT-4oのどれだけの部分を使用するのかは確認できませんが、

GPT-4oが1日あたりどのくらいの数のリクエストに応答しているかは具体的ではありません。しかし、最新のデータによると、5月のOpen AIへのアクセス数は7.5億回であり、30日を基準に計算すると、1日あたり約2,500万回になります。

2億4千万回/日の高頻度リクエストを合わせると、実際には合計の数を超える可能性があります。Open AIは耐えられるでしょうか？理由としては、推論速度や全体的な安定性が考慮されます。

問い合わせ1の答えに基づいて、問い合わせ2が提示されます。

筆者はこれがエンドサイドでローカルモデルを行うためのアイデアでもあると推測しています。つまり割り込みです。ローカルモデルの割り込みを行うことで、一方でコールコストを節約し、他方で高い並行性圧力の下でGTP-4oをバッファリングし、詰まりによる悪いユーザーエクスペリエンスを防止できます。

さらに、これはAppleのエンドサイドレイアウトのテストリンクでもあります。このような機会は滅多にないですから。

ただし、メモリ上限の問題が続いています。最新ニュースによると：Apple IOS 18では将来このモデルの機能が提供されますが、メモリの要件が8Gを超えるため、メモリとチップのコンピューティング能力の問題で多くのモデルが使用できなくなる可能性があります。言い換えれば、市場は携帯電話の交換を偽装していますか？ただし、筆者は現在の大規模モデルの配置とAppleシステムの全体的なパフォーマンスから見ると、大規模モデルの機能を試すために携帯電話を変更する価値はないと考えています。

5.セキュリティ問題 Open AIとエンドサイドでクラウドの大規模モデルを組み合わせる解決策については、ユーザー情報のセキュリティリスクが非常に高いです。Muskは朝刊でニュースを打ち破りました:

1.Muskは「同意する」という問題について、Appleのデータ共有条件に同意することが問題であると述べています。実際、ユーザー契約条件を実際に読んでいる人はいないため、ユーザーは知らずに裏切られる可能性があります。

2.ユーザーデータに対する被害は短期的に明らかにならないかもしれませんが、データがある程度蓄積されると非常に大きな被害が発生します（データ→ユーザーの特徴→ユーザーのモニタリング）。また、Open AIのアクセスにより、AppleデータはOpenAIの食料となり、学習と成長を続けます。この点について、Muskは次のように述べています。「AppleがオペレーティングシステムレベルでOpenAIを統合すると、すべてのmy企業でAppleデバイスの使用が禁止されます。これは受け入れられないセキュリティ上の違反です。彼の会社への訪問者は、Appleデバイスをドアでチェックし、これらのデバイスはファラデーケージに保管されます。3.ムスクの視点からは、Appleは自己の人工知能を作るのには賢くないと信じていますが、OpenAIがユーザーのセキュリティとプライバシーを守ることができることは確実です。これは明らかにばかげています！AppleがあなたのデータをOpenAIに与えると一度与えると何が起こるかわかりません。彼らはあなたを売り出しています。」筆者はこの情報に反対します。通常の情報クエリや会話とは異なり、モバイル電話の情報が理由もなくモデルによって抽出され、末端サービスに貯められ、パーソナルな行動が保持されると、Open AIはクラウド上のリアルなデータで個人を完全に形成することができます。Appleが示した大規模なモデル能力はユーザーにとってリスクが大きすぎる価値がありません。国内外の両方のモバイル電話にクラウドがあるため、情報が収集される可能性はありますが、この情報は相互作用には使用されません。さらに、新しい技術のサポートの下での情報統合の結果は常に懸念されます。

6.まとめ 1.このApple側の大規模モデルのラウンドは、市場と筆者の長期的な期待に応えるものでした。市場とApple自体も、この内容を宣伝、チップ、モデルアーキテクチャ、テクノロジーなどの方向性として使用してきました。しかし、GPT-4oやGoogleの開発者会議を経験しても、筆者はあまり驚くことはありませんでした。また、機械自体の能力が十分に開かれていないことから、基本的なものに割引がかかるかどうかはわかりません。2.セキュリティ問題は最も重要な問題の1つです。Open AIの現在のセキュリティの制御の観点から見ると、リスクが増加するのは間違いありません。セキュリティ、スーパーアラインメントチームなどの状況が以前から公の場で報告されています。セキュリティ担当責任者や技術マスターも辞任しました。また、GPT-4oとの対話や将来のGPT-5を含め、すべての情報がクラウドにあります。この問題をどのように解決するか？宣伝だけでは十分ではありません。次に、情報収集後のストレージの問題を含め、データ漏洩が発生しないようにするにはどうすればよいでしょうか？筆者は、これが本書の大規模なモデル側で解決が必要な緊急の問題であると考えています。

$アップル(AAPL.US)$