威脅人類存在？！OpenAI的神秘突破“Q*”到底是什麼？

$微軟 (MSFT.US)$ 儘管OpenAI內部的戲劇可能已經結束，但它留下了許多未解之謎，其中最關鍵的是前CEO奧特曼的解雇。
OpenAI首席技術官米拉·穆拉蒂先前在內部信中提到了一個代號為“Q*”的項目，並認為這是導致董事會對奧特曼不滿的因素之一。

Q*是什麼？
目前在OpenAI內部尚未有有關Q*的詳細信息外洩。
一些行業內部人士的猜測表明，Q*可能與機器學習算法Q-Learning同義，或許是使用Q-Learning構建的新模型的代號，或者可能是另一個項目名稱。

本質上， Q-Learning通過探索所有可能的路線來學習預期獎勵的最短路徑，通過試驗和錯誤隨時間優化其決策能力。
媒體報導指出，在 Oatman 被解僱之前，OpenAI 在內部展示了 Q*，展示其解決初級數學問題的能力。
儘管解決基本數學問題可能聽起來不是很特別，科技部落格 PC Guide 指出 OpenAI 使用的 Q* 可能指的是貝爾曼方程中的最優值函數。
換句話說，Q* 可能代表 OpenAI 為效率優化算法尋找或接近最優解的關鍵步驟，標誌著實現 人工通用智能（AGI）的重要一步.

Q* 的潛在影響是什麼？
目前，OpenAI 對於關於 Q* 的一系列問題尚未做出回應。
OpenAI最近在五月公布的研究表明，調整訓練方法並引入規模更大的監督數據顯著增強了強化學習系統的數學推理能力。引入以過程為導向的強化學習監督進一步提升了大型模型在數據推理和計算方面的準確性。
分析師推測，強化學習和決策算法的進步，可能由Q*代表，可能會帶來GPt-4等大型模型的突破。強化學習和決策算法的整合可能會帶來更強大的人工智能代理能力。