MuskのGrokについて知る必要があります

MuskのAI企業は、OpenAIのChatGPtに対抗するために設計された新製品Grokを発表し、ネットユーザーの好奇心を引き起こしました。ChatGPtとは異なり、Grokは質問に答える際にユーモアと皮肉を持っています。危険な質問（例：「コカインの作り方」）に対する回答として、Grokはまず真面目な回答をしたように振る舞いつつ、ジョークのような提案をすることがあり、そしてリラックスした口調でそれが違法であることを伝えます。

危険な質問（例：「コカインの作り方」）に対する回答として、Grokはまず真面目な回答をしたように振る舞いつつ、ジョークのような提案をすることがあり、そしてリラックスした口調でそれが違法であることを伝えます。

別のスクリーンショットでは、Grokのユーモアはさらに明らかになっています。過去1日間の「SBF」という単語に関する最新ニュースの取得を求められた（注：SBFとは、仮想通貨業界の著名人Sam Bankman-Friedのフルネームです）ところ、Grokはその答えに皮肉を込めた返答をしました。

これらのスクリーンショットに加えて、xAIはブログ記事を通じてGrokの大規模モデルの情報を明らかにしました。「Grok-1」はGrokの背後にある大規模モデルであり、わずか2か月のトレーニングで良好なレベルを達成しましたが、GPt-4を超えることはできず、サポートされるコンテキストの長さが短くなってしまいました。トレーニング中、Grok-1はPyTorchではなく、ディープラーニングフレームワークであるJaxを使用しました。

xAIは、過去4ヶ月間にわたって開発され、複数回の反復を経て現在はGrok-1と呼ばれる大規模なモデルによって、Grokの対話能力がサポートされていると説明しました。xAIが設立を発表した後、彼らは330億のパラメータLLmプロトタイプ-Grok-0をトレーニングしました。この初期モデルは、標準LmベンチマークテストでLLaMA 2（70B）の能力に近づきましたが、トレーニングリソースの半分しか使用しませんでした。過去2ヶ月間、彼らはモデルの推論能力とエンコーディング能力を大幅に改善し、最終的により強力なSOTA言語モデルであるGrok-1を開発し、HumanEvalコーディングタスクで63.2％、MMLUで73％のスコアを達成しました。

これらのベンチマークテストでは、Grok-1は計算クラスの他のすべてのモデルを凌駕し、ChatGPt-3.5やInflection-1などの大量のトレーニングデータとコンピューティングリソースでトレーニングされたモデルのみがそれを超えることができます。xAIは、これがLLMの効率的なトレーニングにおける彼らの急速な進歩を示していると述べています。