此外，文生图多模态模型今年上半年参评模型普遍无法生成正确的中文文字，但此次参评的头部模型已经具备中文文字生成能力，但整体普遍存在复杂场景人物变形的情况，针对常识或知识性推理任务，小于3的数量关系任务表现有所提升，大于3的数量关系依然无法处理。评测结果显示，腾讯Hunyuan Image位列第一，字节跳动Doubao image v2.1、Ideogram 2.0分居第二、第三，OpenAI DALL·E 3、快手可图次之。新浪科技訊 12月23日午間消息，近日，智源研究院發佈國內外100餘個開/閉源語言、視覺語言、文生圖、文生視頻大模型綜合及專項評測結果。評測發現，2024年下半年，大模型發展更聚焦綜合能力提升與實際應用。多項評測結果中，字節跳動多項AI能力領先，阿里巴巴、百度等大廠派AI均取得優異表現。
據評測結果，針對一般中文場景的開放式問答或生成任務，語言模型能力已趨於飽和穩定，但是複雜場景任務的表現，國內頭部語言模型仍然與國際一流水平存在顯著差距。在中文能力理解上，字節跳動Doubao-pro-32k-preview、百度ERNIE 4.0 Turbo位居第一、第二，OpenAI o1-preview-2024-09-12、Anthropic Claude-3-5-sonnet-20241022位列第三、第四，阿里巴巴Qwen-Max-0919排名第五。
在視覺語言多模態模型能力評測結果中，一些較好的開源模型在圖文理解任務上正在縮小與頭部閉源模型的能力差距，而長尾視覺知識與文字識別以及複雜圖文數據分析能力仍有提升空間。評測顯示，OpenAI GPT-4o-2024-11-20與字節跳動Doubao-Pro-Vision-32k-241028先後領先於Anthropic Claude-3-5-sonnet-20241022，阿里巴巴Qwen2-VL-72B-Instruct和Google Gemini-1.5-Pro緊隨其後。
此外，文生圖多模態模型今年上半年參評模型普遍無法生成正確的中文文字，但此次參評的頭部模型已經具備中文文字生成能力，但整體普遍存在複雜場景人物變形的情況，針對常識或知識性推理任務，小於3的數量關係任務表現有所提升，大於3的數量關係依然無法處理。評測結果顯示，騰訊Hunyuan Image位列第一，字節跳動Doubao image v2.1、Ideogram 2.0分居第二、第三，OpenAI DALL·E 3、快手可圖次之。
在文生視頻多模態模型，畫質進一步提升，動態性更強，鏡頭語言更豐富，專場更流暢，但普遍存在大幅度動作變形，無法理解物理規律，物體消失、閃現、穿模的情況。評測結果顯示，快手可靈1.5（高品質）、字節跳動即夢P2.0 pro、愛詩科技PixVerse V3、MiniMax海螺AI、Pika 1.5位列前五。
據介紹，本次評測依託智源研究院自2023年6月上線的大模型評測平台FlagEval，經過數次迭代，目前已覆蓋全球800多個開閉源模型，包含20多種任務，90多個評測數據集，超200萬條評測題目。（文猛）
