至少在接下來的兩三年內，「規模法則」在提供超預期表現方面的進度不會有任何放緩。
在近日的一次訪談中，微軟AI主管Mustafa Suleyman深入探討了人工智能領域的最新趨勢。他認爲，未來幾年AI模型將呈現大小模型「齊頭並進」的趨勢。
一方面，大型模型的規模化競賽仍將持續，並融入更多模態的數據，例如視頻、圖像等。另一方面，利用大型模型訓練小型模型的技術（如蒸餾）興起，高效的小型模型將在特定場景中發揮巨大作用。Suleyman補充稱，未來，知識將被濃縮到更小、更便宜的模型中，嵌入各種設備，實現真正的環境感知革命。
對於創業者而言，Suleyman認爲，理解並利用提示工程至關重要。通過提供高質量的指令集，創業者可以引導預訓練模型，使其符合自身品牌價值觀，打造獨特產品。此外，小型模型蘊藏着巨大機會，創業者可以利用其低成本和高效性，開發針對特定用例的應用。
採訪中，Suleyman還強調了數據整合的重要性。合成數據將成爲訓練模型的關鍵，但如何獲取、整合這些數據仍需深入探討。
此外，這位微軟AI主管還談到了新模式的加入，例如視頻和圖像的整合，以及跨複雜數字界面的動作軌跡的理解和數據收集。他認爲，這將帶來許多令人印象深刻的結果。對於企業家來說，如何利用這些新趨勢和技術進行創新，將是未來成功的關鍵。
以下爲全文內容，大家enjoy~ （爲增加可讀性，我們對原文進行了簡要編輯）
Q：未來幾年，在不斷髮展的模型 (models) 格局中，有哪些事情值得關注？
A：模型的規模既在變大，也在變小，這種趨勢幾乎肯定會繼續下去。
去年開始流行一種新方法，稱爲蒸餾。這類方法利用大型、高成本模型來訓練小型模型。這種監督效果相當不錯，目前已有充分的證據支持這一點。
因此，規模仍然是這場競爭中的關鍵因素，未來還有很大的發展空間，數據量也將持續增長。
至少在接下來的兩三年內，「規模法則」在提供超預期表現方面的進度不會有任何放緩。
Q: 還有哪些新的模式可以加入？
A: 人們也在考慮將視頻、圖像以及跨複雜數字界面的動作軌跡等新的模態融入模型中。
但我們真正感興趣的是跨複雜數字界面的動作軌跡，比如從瀏覽器跳到桌面，再轉移到手機，從不同的生態系統中切換，無論是在封閉的花園還是開放的網絡中。
我們試圖理解這些軌跡，收集大量數據，使用監督學習和微調等方法。我認爲這將帶來許多令人印象深刻的結果。
Q: 在數據方面，人們在哪些方面思考得不夠多？
A: 數據的討論角度很多，經典的問題是哪些數據可以使用及其質量。我認爲網上已經有大量討論。
但人們沒有花足夠時間思考新數據的來源，以及如何整合這些數據。
例如，合成數據是一個有趣的領域，如果我們有這樣的數據，可以訓練出更好的小模型和大模型。如何獲取這些數據並確保其整合是一個關鍵問題。但是如何獲取這些數據並確保它們被整合起來，這一點還沒有得到足夠的討論。
Q：在處理模型時，提示 (prompt) 和問題 (question) 之間有什麼區別？
A：提示不僅僅是你問聊天機器人的問題。當你問聊天機器人一個問題，那是一個問題；當你寫一個三頁的風格指南並附上模仿的例子，那是一個提示。
提示是你的高質量指令集，指導預訓練模型以特定方式行爲。令人驚訝的是，模型只需幾頁指令就能表現得非常不同。
爲了讓模型表現出細微、精準和符合品牌價值的行爲，你需要展示成千上萬個良好行爲的例子，並將這些例子微調到模型中。這是預訓練過程的延續，使用高質量且準確的數據。
好消息是，成千上萬個例子對許多細分領域或特定垂直領域來說是非常容易獲得的。這是一個優勢，初創公司在高質量微調預訓練模型方面有很大的空間。
Q：小模型會帶來哪些機會？創業者如何利用它們做一些有趣且獨特的事情？
A：小模型無疑代表着未來。
大型模型在處理查詢時會激活數十億個不相關的神經表示，儘管它們非常高效地進行搜索和引用數億個節點，但並不總是必要的。
我們將把知識濃縮到更小、更便宜的模型中，這些模型可以駐留在各種設備上，如耳塞、可穿戴設備、耳環、植物或傳感器。
這場環境感知革命長期以來一直被人們所期待，它將帶來功能性設備，例如一個冰箱磁鐵，冰箱磁鐵是我能想到的最小的數字設備。它可以在早上迎接你，告訴你天氣情況，告訴你冰箱裏可能有什麼或沒有什麼，並提醒你查看日曆。
它可以在早上歡迎你，告訴你天氣，告訴你冰箱裏可能有什麼或沒有什麼，並提醒你查看日曆。
這種模型可能只有幾千萬個參數。雖然目前還沒有人真正推動這一點，但任何兩人團隊都可以探索這一領域。
Q：人們在接下來的兩天裏應該思考什麼問題？
A：問題是，技術人員需要爲設計一個更加人性化的未來做些什麼。
這包括思考技術如何進化人類，以及我們的情感、激情和同情心如何通過我們與技術不斷變化的關係來表達。
Q：爲什麼說這是一個轉型時刻？
A：我們有足夠的證據表明，過去五十年的大技術轉型重塑了事物的結構。
我認爲這是一個創辦公司、擴展公司、甚至轉變職業的時刻。即使你不是企業家，無論你是活動家、組織者還是學者，現在是關注的時刻。
到2050年，列車將離站，情況會大不相同。我們現在有機會共同塑造和影響未來，沒有什麼是預定的。我們非常幸運能在這個時刻活着，這既是巨大的責任，也是令人振奮的機會。
