威胁人类存在？！OpenAI的神秘突破“Q*”究竟是什么？

$微软 (MSFT.US)$ 虽然OpenAI内部的戏剧可能已经结束，但留下了许多未解之谜，其中最关键的是前CEO奥特曼的解雇。
OpenAI首席技术官米拉·穆拉蒂先前在一封内部信中提到了一个代号为“Q*”的项目，并称它是导致董事会对奥特曼不满的因素之一。

Q*是什么？
Q*的发音是Q star，在OpenAI内部目前没有关于Q*的详细信息泄露出来。
一些行业内部人士的猜测表明，Q*可能与机器学习算法Q学习（Q-Learning）相同，也许是使用Q学习构建的新模型的代号，或者可能是另一个项目名称。

从本质上讲， Q学习通过探索所有可能的路径，优化其决策，通过试错法随时间逐渐学习预期回报的最短路径。
媒体报道称，在Oatman被解雇之前，OpenAI内部展示了Q*，展示其解决初级数学问题的能力。
虽然解决基本数学问题可能听起来并不特别，但技术博客PC Guide指出 OpenAI使用的Q*可能是指Bellman方程中的最优值函数。
换句话说，Q*可以代表OpenAI寻找或接近最优解的效率优化算法，这是实现 人工通用智能(AGI)的重要一步.

Q*的潜在影响是什么？
目前，OpenAI还没有回答关于Q*的一系列问题。
OpenAI在五月份发布的最新研究表明，通过调整训练方法并引入更大规模的监督数据，可以显著提升强化学习系统的数学推理能力。引入过程导向的强化学习监督进一步提高了大型模型在数据推理和计算方面的准确性。
分析师的猜测表明，强化学习和决策算法的进展，可能以Q*为代表，可能会突破类似GPt-4这样的大型模型的能力。强化学习和决策算法的整合可能会导致更强大的人工智能代理能力。