2024年の世界人工知能会議中、商汤科技は、モーダル情報の統合を通じて、音声、テキスト、画像、動画など多様な形式に基づく全く新しいAIインタラクションモードを実現する。 対話体験をGPT-40に対して向上させる。
例えば、スタッフが「日日新5o」と挨拶するだけで、スタッフの名札の文字列を自動的に認識し、現場が世界人工知能会議会場であると判断してここで「良く学ぶことができる」と表現します。 可愛らしい犬のぬいぐるみに対して、「日日新5o」は正確に犬の外見、表情、および重要な着用物を説明できます。
また、書籍のどのページを開いても、「日日新5o」が自動的に紹介できます。一般的なOCRのみならず、図文を認識し理解し、簡潔な要約を提供してリアルタイムでインタラクションを行う。
聞き、見て、会話を見つけることができる多くのタスクに対応できるこのインタラクションモードは、リアルタイムの対話や音声認識などのアプリケーションに適用できます。1つのモデルで多数のタスクを自然に処理し、コンテキストに基づいて行動と出力を自動的に調整します。 GPT-4oのインタラクティブ体験を提供することができます。 これは、日日新5.5の基礎的なモデル能力の全面的な向上に基づいています。