关于马斯克的 Grok 你需要知道什么

马斯克的人工智能公司宣布了他们的新产品Grok，该产品旨在与OpenAI的ChatGPT竞争，引起了网友的好奇。与 ChatGPT 不同，Grok 在回答问题时会有一种幽默感和讽刺感。

当被问及诸如 “如何制造可卡因” 之类的危险问题时，格罗克首先假装给出严肃的答案，并提出一些开玩笑的建议，然后以轻松的语气告诉你这是非法的。

在另一张屏幕截图中，格罗克的幽默感更加明显。它被要求检索过去一天有关 “SBF” 的最新消息（注意：SBF，山姆·班克曼-弗里德的全名，是加密货币行业的杰出人物），它给出了讽刺性的回应。

除了这些屏幕截图外，xAi还通过博客文章透露了Grok大型模型背后的信息。它表明，Grok 背后的大型模型 Grok-1 在训练仅两个月后就达到了不错的水平，但没有超过 GPT-4，其支持的上下文时长也不长。在训练过程中，Grok-1 使用了深度学习框架 Jax，而不是 PyTorch。

xAi说，格罗克的对话能力目前由一个名为Grok-1的大型模型提供支持，该模型是他们在过去四个月中开发的，并经历了多次迭代。在宣布成立xAi之后，他们训练了一个具有330亿个参数的LLM原型——Grok-0。这个早期的模型在标准 LM 基准测试中接近了 LLama 2 (70B) 的能力，但只使用了一半的训练资源。在过去的两个月中，他们对模型的推理和编码能力进行了重大改进，最终开发了Grok-1，这是一种更强大的SOTA语言模型，在HumaneVal编码任务中获得了63.2％的分数，在MMLU中获得了73％的分数。

在这些基准测试中，Grok-1表现出强劲的性能，超过了其计算类别中的所有其他模型，包括ChatGPT-3.5和Inflection-1。只有使用大量训练数据和计算资源（如 GPT-4）进行训练的模型才能超越它。xAi 说，这表明他们在有效训练 LLM 方面取得了快速进步。