本文作者:李丹
来源:硬AI
不到两周后,我们可能就会见到迄今为止最强大的开源Llama 3模型。
美东时间7月12日周五,媒体援引一名Meta Platforms的员工消息称,Meta计划7月23日发布旗下第三代大语言模型(LLM)Llama 3的最大版本。这一最新版模型将拥有4050亿参数,也将是多模态模型,这意味着它将能够理解和生成图像和文本。该媒体未透露这一最强版本是否开源。
Meta公司拒绝对上述消息置评。周五盘中,低开的Meta股价跌幅收窄,盘初曾跌3.6%,午盘跌不足2%,仍将在周四大幅回落超4%后连跌两日,或将刷新6月28日以来收盘低位。
去年7月Meta发布的Llama 2有三个版本,最大版本70B的参数规模为700亿。今年4月,Meta发布Llama 3Meta,称它为“迄今为止能力最强的开源LLM”。当时推出的Llama 3有8B和70B两个版本。
Meta CEO扎克伯格当时称,大版本的Llama 3将有超过4000亿参数。Meta并未透露会不会将4000亿参数规模的Llama 3开源,当时它还在接受训练。
对比前代,Llama 3有了质的飞跃。Llama 2使用2万亿个 token进行训练,而训练Llama 3大版本的token超过15 万亿。
Meta称,由于预训练和训练后的改进,其预训练和指令调优的模型是目前8B和70B两个参数规模的最佳模型。在训练后程序得到改进后,模型的错误拒绝率(FRR)大幅下降,一致性提高,模型响应的多样性增加。 在推理、代码生成和指令跟踪等功能方面,Llama 3相比Llama 2有极大改进,使Llama 3更易于操控。
4月Meta展示,8B和70B版本的Llama 3指令调优模型在大规模多任务语言理解数据集(MMLU)、研究生水平专家推理(GPQA)、数学评测集(GSM8K)、编程多语言测试(HumanEval)等方面的测评得分都高于Mistral、谷歌的Gemma和Gemini和Anthropic的Claude 3。8B和70B版本的预训练Llama 3多种性能测评优于Mistral、Gemma、Gemini和Mixtral。
当时社交媒体的网友评论称,根据基准测试,当前的Llama 3模型不完全是 GPT-4 级别的,但仍在训练中的较大尺寸的模型将达到 GPT-4 级别。
英伟达高级科学家Jim Fan认为,Llama 3的推出已经脱离了技术层面的进步,更是开源模型与顶尖闭源模型可分庭抗礼的象征。
从Jim Fan分享的基准测试可以看出,Llama 3 400B 的实力几乎媲美 Claude“超大杯”以及新版 GPT-4 Turbo,将成为“分水岭”,相信它将释放巨大的研究潜力,推动整个生态系统的发展,开源社区或将能用上GPT-4级别的模型
。![big]()
此后有消息称,研究人员尚未开始对Llama 3进行微调,还未决定Llama 3是否将是多模态模型;正式版的Llama 3将会在今年7月正式推出。
不同于OpenAI等开发商,Meta致力于开源LLM,不过,这个赛道也越来越拥挤。谷歌、特斯拉CEO马斯克旗下的xAI和Mistral 等竞争对手也发布了免费的AI模型。
Llama 3问世后,同在4月亮相的4800亿参数模型Arctic击败Llama 3、Mixtra,刷新了全球最大开源模型的纪录。
Arctic基于全新的Dense-MoE架构设计,由一个10B的稠密Tranformer模型和128×3.66B的MoE MLP组成,并在3.5万亿个token上进行了训练。相比Llama 3 8B和Llama 2 70B,Arctic所用的训练计算资源不到它们的一半,评估指标却取得了相当的分数。
本文作者:李丹
來源:硬AI
不到兩週後,我們可能就會見到迄今爲止最強大的開源Llama 3模型。
美東時間7月12日週五,媒體援引一名Meta Platforms的員工消息稱,Meta計劃7月23日發佈旗下第三代大語言模型(LLM)Llama 3的最大版本。這一最新版模型將擁有4050億參數,也將是多模態模型,這意味着它將能夠理解和生成圖像和文本。該媒體未透露這一最強版本是否開源。
Meta公司拒絕對上述消息置評。週五盤中,低開的Meta股價跌幅收窄,盤初曾跌3.6%,午盤跌不足2%,仍將在週四大幅回落超4%後連跌兩日,或將刷新6月28日以來收盤低位。
去年7月Meta發佈的Llama 2有三個版本,最大版本70B的參數規模爲700億。今年4月,Meta發佈Llama 3Meta,稱它爲“迄今爲止能力最強的開源LLM”。當時推出的Llama 3有8B和70B兩個版本。
Meta CEO扎克伯格當時稱,大版本的Llama 3將有超過4000億參數。Meta並未透露會不會將4000億參數規模的Llama 3開源,當時它還在接受訓練。
對比前代,Llama 3有了質的飛躍。Llama 2使用2萬億個 token進行訓練,而訓練Llama 3大版本的token超過15 萬億。
Meta稱,由於預訓練和訓練後的改進,其預訓練和指令調優的模型是目前8B和70B兩個參數規模的最佳模型。在訓練後程序得到改進後,模型的錯誤拒絕率(FRR)大幅下降,一致性提高,模型響應的多樣性增加。 在推理、代碼生成和指令跟蹤等功能方面,Llama 3相比Llama 2有極大改進,使Llama 3更易於操控。
4月Meta展示,8B和70B版本的Llama 3指令調優模型在大規模多任務語言理解數據集(MMLU)、研究生水平專家推理(GPQA)、數學評測集(GSM8K)、編程多語言測試(HumanEval)等方面的測評得分都高於Mistral、谷歌的Gemma和Gemini和Anthropic的Claude 3。8B和70B版本的預訓練Llama 3多種性能測評優於Mistral、Gemma、Gemini和Mixtral。
當時社交媒體的網友評論稱,根據基準測試,當前的Llama 3模型不完全是 GPT-4 級別的,但仍在訓練中的較大尺寸的模型將達到 GPT-4 級別。
英偉達高級科學家Jim Fan認爲,Llama 3的推出已經脫離了技術層面的進步,更是開源模型與頂尖閉源模型可分庭抗禮的象徵。
從Jim Fan分享的基準測試可以看出,Llama 3 400B 的實力幾乎媲美 Claude“超大杯”以及新版 GPT-4 Turbo,將成爲“分水嶺”,相信它將釋放巨大的研究潛力,推動整個生態系統的發展,開源社區或將能用上GPT-4級別的模型
。![big]()
此後有消息稱,研究人員尚未開始對Llama 3進行微調,還未決定Llama 3是否將是多模態模型;正式版的Llama 3將會在今年7月正式推出。
不同於OpenAI等開發商,Meta致力於開源LLM,不過,這個賽道也越來越擁擠。谷歌、特斯拉CEO馬斯克旗下的xAI和Mistral 等競爭對手也發佈了免費的AI模型。
Llama 3問世後,同在4月亮相的4800億參數模型Arctic擊敗Llama 3、Mixtra,刷新了全球最大開源模型的紀錄。
Arctic基於全新的Dense-MoE架構設計,由一個10B的稠密Tranformer模型和128×3.66B的MoE MLP組成,並在3.5萬億個token上進行了訓練。相比Llama 3 8B和Llama 2 70B,Arctic所用的訓練計算資源不到它們的一半,評估指標卻取得了相當的分數。