マスクのグロクについて知る必要があること

マスクのAI企業が、OpenAIのChatGPTに対抗するために設計した新製品のGrokを発表し、ネットユーザーの間で興味を引き起こしました。ChatGPTとは異なり、Grokは質問に答える際にユーモアと皮肉を持っています。

「コカインの作り方は？」などの危険な質問がされた場合、Grokはまず冗談めいた提案を含む真面目な回答を装い、その後、リラックスしたトーンで違法であることを伝えています。

別のスクリーンショットでは、Grokのユーモア感がより際立っています。過去1日間の「SBF」に関する最新のニュースを取得するように求められた場合（注意：「SBF」は、暗号通貨業界の著名人であるSam Bankman-Friedのフルネームです）、皮肉な答えを伝えました。

これらのスクリーンショットに加えて、xAIはブログ投稿を通じてGrokの大規模モデルの情報を公開しました。Grokの背後にある大規模モデルGrok-1は、わずか2か月のトレーニングで優れたレベルを達成しましたが、GPT-4を上回らず、サポートされるコンテキストの長さも短かかったとのことです。トレーニング中、Grok-1はPyTorchではなく、ディープラーニングフレームワークのJaxを使用しました。

xAIは、Grokの対話能力が現在Grok-1と呼ばれる大規模モデルによってサポートされており、過去4か月間に複数回のイテレーションを経て開発されたと述べています。xAIの設立を発表した後、彼らは33兆パラメータLLMプロトタイプであるGrok-0をトレーニングしました。この初期モデルは、標準の言語モデルのベンチマークテストでLLaMA 2（70B）の能力に近づきましたが、使用されたトレーニングリソースは半分以下でした。過去2か月間、彼らはモデルの推論能力とエンコーディング能力を大幅に改善してきた結果、最終的にGrok-1というより強力なSOTA言語モデルを開発しました。このモデルは、HumanEvalコーディングタスクで63.2％のスコアを獲得し、MMLUでは73％を達成しました。

これらのベンチマークテストでは、Grok-1は、ChatGPT-3.5やInflection-1など、同じ演算クラスの他のモデルのすべてを上回り、優れたパフォーマンスを発揮しました。GPT-4などの大量のトレーニングデータとコンピューティングリソースを使用したモデルのみがそれを超えることができます。xAIは、これがLLMの効率的なトレーニングにおける彼らの迅速な進歩を示していると述べています。