谷歌"我們沒有護城河，OpenAI也沒有"

我們沒有護城河
OpenAI也沒有
我們一直在關注OpenAI。誰將跨越下一個里程碑？下一步該怎麼辦？
但令人不舒服的事實是，我們沒有準備贏得這場軍備競賽，OpenAI也沒有。當我們一直在爭吵的同時，第三方暗地裡一直在蠶食我們的午餐。
當然，我們正在談論開源。坦率地說，它們正在超越我們。我們認為的“重要的公開問題”今天已經得到解決並落入大家手中。只是舉幾個例子：
在手機上運行限制語言模型：人們正在Pixel 6上以每秒5個標記的速度運行基礎模型。
可擴展個人人工智能：您可以在筆記本電腦上在一個晚上微調個性化的人工智能。
負責任的發布：這個問題不是“解決”得如此徹底，而是“不再重要”。有一整個網站充滿了沒有任何限制的藝術模型，而文本也不遠了。
多模態性：當前多模式科學問答的狀態和領先技術是在一小時內訓練完成的。
儘管我們的模型在質量上仍然稍微領先，但差距正在驚人地迅速縮小。開源模型更快速、更可定制、更私密，而且在相同條件下更具能力。它們用130億參數和100美元做到的事情，對我們來說是需要1000萬美元和5400億的努力。而且他們這樣做只需要幾個星期，而不是幾個月。這對我們有深遠的影響：
我們並沒有獨門秘籍。我們最大的希望是從谷歌以外的地方學習並與他人合作。我們應該優先考慮開放第三方整合。
當免費的無限制替代品在質量上可以相媲美時，人們不會為受限模型付費。我們應該考慮我們真正的價值所在。
- 巨型模型正在减慢我们的速度。从长远来看，最好的模型是可以快速迭代的模型。现在我们知道在<200亿参数范围内有什么可能，我们应该将小变体视为重点而不是次要事项。