グーグル「私たちは堀がありません、そしてOpenAIも同じです」

私たちは堀がありません
OpenAIも同じです
OpenAIを見てはばからずに考えました。誰が次のマイルストーンを越えるでしょうか？次の一手は何になるでしょうか？
しかし、不快な真実は、この腕相撲を勝ち抜くことができる立場にいないということです。私たちが口論している間、第3の派閥が私たちの昼食を黙って食べています。
当然のことながら、オープンソースについて話しています。単純に言えば、彼らは私たちよりも優れています。私たちが「主要なオープンな問題」と考えているものは、今日人々の手にあるものです。いくつか例を挙げると：
- PhoneでのLLM：人々はPixel 6でファウンデーションモデルを5トークン/秒で実行しています。
- スケーラブルな個人用人工知能：あなたは1晩で自分だけの人工知能を調整できます。
- 責任あるリリース：これは「解決された」というよりも「明白化された」ものです。制限のないアートモデルがいっぱいのウェブサイトがあり、テキストも遠くありません。
- マルチモダリティ：現在のマルチモーダルScienceQA SOTAは1時間で訓練されました。
私たちのモデルはまだわずかに優位性を持っていますが、その差は驚くほど速く縮まっています。オープンソースのモデルは、より高速で、よりカスタマイズ可能で、よりプライベートで、ふんぎりがつけば容量重視でもあります。彼らは13Bのparamsで$100で私たちが$10Mと540Bで苦労していることをし、それを1週間以内に行います。これは私たちにとって深刻な影響を与えます：
-私たちに秘密のソースはありません。私たちがGoogleの外で他の人々がやっていることを学び、協力することを優先すべきです。3Pの統合を可能にすることを重視すべきです。
-人々は、比較可能な品質の制限のあるモデルよりも、無料かつ制限のない代替品を支払うことはありません。私たちは、私たちの価値をどこに置くべきかを慎重に考える必要があります。
- 巨大なモデルによって私たちは遅れています。長期的には、すばやく繰り返しできるモデルが最も優れたモデルであるべきです。私たちは、<20Bパラメータ領域で何が可能かを知っている今、小さなバリアントを余裕を持って作り出すべきです。