開源大模型的ChatGPT時刻？備受期待的Llama 3 405B即將發佈

華爾街見聞 · 07/22 23:46

分析认为，Llama 3 405B不仅仅是人工智能能力的又一次提升，对于开源 AI 来说，“这是一个潜在的 ChatGPT 时刻”。在基准测试中，Meta Llama 3.1 在GSM8K、Hellaswag等多项测试中均优于 GPT-4o。

千呼万唤始出来，原定于23日发布的Llama 3 405B就要来了。

作为Llama 3系列中的顶配，405B版本拥有4050亿个参数，是迄今为止最大的开源模型之一。

昨夜凌晨，META突发Llama 3.1-405B评测数据的泄漏事件，有网友预计可能还会同时发布一个Llama 3.1-70B版本，因为“（模型提前泄露）是META的老传统了，去年的Llama模型就干过一次。”

有分析认为，Llama 3 405B不仅仅是人工智能能力的又一次提升，对于开源AI 来说，“这是一个潜在的ChatGPT时刻”，其中最先进的人工智能真正实现民主化并直接交到开发人员手中。

对即将到来的 Llama 3 405B 公告的三个预测

有分析人士从数据质量、模型生态系统、API解决方案三个角度，预测了即将到来的Llama 3 405B公告中的亮点。

首先，Llama 3 405B或许会彻底改变专用模型的数据质量。

对于专注于构建专业AI模型的开发人员来说，他们面临的长期挑战是获取高质量的训练数据。较小的专家模型（1-10B 个参数）通常利用蒸馏技术，利用较大模型的输出来增强其训练数据集。然而，使用来自OpenAI等闭源巨头的此类数据受到严格限制，限制了商业应用。

Llama 3 405B应运而生。作为一款与专有模型实力相媲美的开源巨头，它为开发人员创建丰富、不受限制的数据集提供了新的基础。这意味着开发人员可以自由使用Llama 3 405B的蒸馏输出来训练小众模型，从而大大加快专业领域的创新和部署周期。预计高性能、经过微调的模型的开发将激增，这些模型既强大又符合开源道德规范。

其次，Llama 3 405B将形成新的模型生态系统：从基础模型到专家组合

Llama 3 405B的推出可能会重新定义AI系统的架构。该模型的庞大规模（4050 亿个参数）可能意味着一种一刀切的解决方案，但真正的力量在于它与分层模型系统的集成。这种方法对于使用不同规模AI的开发人员来说尤其具有共鸣。

预计会转向更具动态的模型生态系统，其中Llama 3 405B充当骨干，由小型和中型模型提供支持。这些系统可能会采用推测解码等技术，其中不太复杂的模型处理大部分处理，仅在必要时调用405B模型进行验证和纠错。这不仅可以最大限度地提高效率，而且还为优化实时应用程序中的计算资源和响应时间开辟了新途径，尤其是在针对这些任务优化的SambaNova RDU上运行时。

最后，Llama 3 405B有最高效 API 的竞争

能力越大，责任越大——对于Llama 3 405B而言，部署是一项重大挑战。开发人员和组织需要谨慎应对模型的复杂性和运营需求。AI云提供商之间将展开竞争，以提供部署Llama 3 405B最高效、最具成本效益的API解决方案。

这种情况为开发人员提供了一个独特的机会，可以与不同的平台互动，比较各种API如何处理如此庞大的模型。这个领域的赢家将是那些能够提供API的人，这些API不仅可以有效地管理计算负载，而且不会牺牲模型的准确性或不成比例地增加碳足迹。

总之，Llama 3 405B不仅仅是AI武器库中的又一个工具；更是向着开放、可扩展和高效的 AI 开发的根本转变。分析认为，无论是在微调小众模型、构建复杂的AI系统还是优化部署策略，Llama 3 405B的到来都将为用户打开新的视野。

网友们怎么看？

网友在LocalLLaMA子Reddit板块中发帖，分享了4050亿参数的Meta Llama 3.1信息，从该AI模型在几个关键AI基准测试的结果来看，其性能超越目前的领先者，即OpenAI的GPT-4o，这标志着开源模型可能首次击败目前最先进的闭源LLM模型。

如基准测试所示，Meta Llama 3.1在 GSM8K、Hellaswag、boolq、MMLU-humanities、MMLU-other、MMLU-stem和 winograd等多项测试中均优于 GPT-4o，但是，它在 HumanEval和 MMLU-social sciences方面却落后于 GPT-4o。

宾夕法尼亚大学沃顿商学院副教授伊桑·莫利克（Ethan Mollick）写道：

如果这些统计数据属实，那么可以说顶级 Al 模型将在本周开始免费向所有人开放。
全球每个国家的政府、组织和公司都可以像其他人一样使用相同的人工智能功能。这会很有趣。

有网友总结了Llama 3.1模型的几个亮点：

模型使用了公开来源的15T+tokens进行训练，预训练数据截止日期为2023年12月；
微调数据包括公开可用的指令微调数据集（与Llama 3不同）和1500万个合成样本；
模型支持多语言，包括英语、法语、德语、印地语、意大利语、葡萄牙语、西班牙语和泰语。

有网友表示，这是首次开源模型超越了GPT4o和Claude Sonnet 3.5等闭源模型，在多个benchmark上达到SOTA。

分析認爲，Llama 3 405B不僅僅是人工智能能力的又一次提升，對於開源 AI 來說，“這是一個潛在的 ChatGPT 時刻”。在基準測試中，Meta Llama 3.1 在GSM8K、Hellaswag等多項測試中均優於 GPT-4o。

千呼萬喚始出來，原定於23日發佈的Llama 3 405B就要來了。

作爲Llama 3系列中的頂配，405B版本擁有4050億個參數，是迄今爲止最大的開源模型之一。

昨夜凌晨，META突發Llama 3.1-405B評測數據的泄漏事件，有網友預計可能還會同時發佈一個Llama 3.1-70B版本，因爲“（模型提前泄露）是META的老傳統了，去年的Llama模型就幹過一次。”

有分析認爲，Llama 3 405B不僅僅是人工智能能力的又一次提升，對於開源AI 來說，“這是一個潛在的ChatGPT時刻”，其中最先進的人工智能真正實現民主化並直接交到開發人員手中。

對即將到來的 Llama 3 405B 公告的三個預測

有分析人士從數據質量、模型生態系統、API解決方案三個角度，預測了即將到來的Llama 3 405B公告中的亮點。

首先，Llama 3 405B或許會徹底改變專用模型的數據質量。

對於專注於構建專業AI模型的開發人員來說，他們面臨的長期挑戰是獲取高質量的訓練數據。較小的專家模型（1-10B 個參數）通常利用蒸餾技術，利用較大模型的輸出來增強其訓練數據集。然而，使用來自OpenAI等閉源巨頭的此類數據受到嚴格限制，限制了商業應用。

Llama 3 405B應運而生。作爲一款與專有模型實力相媲美的開源巨頭，它爲開發人員創建豐富、不受限制的數據集提供了新的基礎。這意味着開發人員可以自由使用Llama 3 405B的蒸餾輸出來訓練小衆模型，從而大大加快專業領域的創新和部署週期。預計高性能、經過微調的模型的開發將激增，這些模型既強大又符合開源道德規範。

其次，Llama 3 405B將形成新的模型生態系統：從基礎模型到專家組合

Llama 3 405B的推出可能會重新定義AI系統的架構。該模型的龐大規模（4050 億個參數）可能意味着一種一刀切的解決方案，但真正的力量在於它與分層模型系統的集成。這種方法對於使用不同規模AI的開發人員來說尤其具有共鳴。

預計會轉向更具動態的模型生態系統，其中Llama 3 405B充當骨幹，由小型和中型模型提供支持。這些系統可能會採用推測解碼等技術，其中不太複雜的模型處理大部分處理，僅在必要時調用405B模型進行驗證和糾錯。這不僅可以最大限度地提高效率，而且還爲優化實時應用程序中的計算資源和響應時間開闢了新途徑，尤其是在針對這些任務優化的SambaNova RDU上運行時。

最後，Llama 3 405B有最高效 API 的競爭

能力越大，責任越大——對於Llama 3 405B而言，部署是一項重大挑戰。開發人員和組織需要謹慎應對模型的複雜性和運營需求。AI雲提供商之間將展開競爭，以提供部署Llama 3 405B最高效、最具成本效益的API解決方案。

這種情況爲開發人員提供了一個獨特的機會，可以與不同的平台互動，比較各種API如何處理如此龐大的模型。這個領域的贏家將是那些能夠提供API的人，這些API不僅可以有效地管理計算負載，而且不會犧牲模型的準確性或不成比例地增加碳足跡。

總之，Llama 3 405B不僅僅是AI武器庫中的又一個工具；更是向着開放、可擴展和高效的 AI 開發的根本轉變。分析認爲，無論是在微調小衆模型、構建複雜的AI系統還是優化部署策略，Llama 3 405B的到來都將爲用戶打開新的視野。

網友們怎麼看？

網友在LocalLLaMA子Reddit板塊中發帖，分享了4050億參數的Meta Llama 3.1信息，從該AI模型在幾個關鍵AI基準測試的結果來看，其性能超越目前的領先者，即OpenAI的GPT-4o，這標誌着開源模型可能首次擊敗目前最先進的閉源LLM模型。

如基準測試所示，Meta Llama 3.1在 GSM8K、Hellaswag、boolq、MMLU-humanities、MMLU-other、MMLU-stem和 winograd等多項測試中均優於 GPT-4o，但是，它在 HumanEval和 MMLU-social sciences方面卻落後於 GPT-4o。