NVDA
英偉達
-- 144.470 TSLA
特斯拉
-- 410.440 MSTR
MicroStrategy
-- 339.660 AMD
美國超微公司
-- 125.370 CRNC
Cerence
-- 19.330 
蘋果與英偉達合作加快代幣生成
蘋果，全球最大的公司（納斯達克： AAPL ）和英偉達（納斯達克： NVDA ），兩家公司今天宣佈，他們已合作通過一種名爲循環起草器（redrafter）的方法加快Nvidia GPU的大規模語言模型推斷。
Redrafter 使用遞歸神經網絡 (RNN) 草稿模型，“將光束搜索與動態樹注意力相結合，可加快 LLM 代幣的生成速度，每個開源模型生成步驟最多可提高 3.5 個代幣，超過傳統推測解碼技術的性能。”蘋果我在今天的博客文章中提到了這一點。
蘋果與英偉達合作製作了 Redrafter Nvidia 的Tensorrt-LLM它已集成到.根據Nvidia的說法，這將使其可供更廣泛的開發者社區使用。
蘋果表示：“當我們在NVIDIA GPU上對數百億個參數生成模型進行基準測試並將NVIDIA Tensorrt-LLM推理加速框架與Redrafter一起使用時，我們能夠通過貪婪的解碼將每秒生成代幣的速度提高2.7倍。”“這些基準測試結果表明，這項技術可以顯著減少用戶可能遇到的延遲，同時還可以減少使用的GPU數量和功耗。”
“通過英偉達和蘋果之間的這種合作，Tensorrt-LLM變得更加強大和靈活，LLM社區可以創新更復雜的模型，並使用Tensorrt-LLM輕鬆部署它們，從而在NVIDIA GPU上實現無與倫比的性能。”英偉達我提過了。
Redrafter 使用遞歸神經網絡 (RNN) 草稿模型，“將光束搜索與動態樹注意力相結合，可加快 LLM 代幣的生成速度，每個開源模型生成步驟最多可提高 3.5 個代幣，超過傳統推測解碼技術的性能。”蘋果我在今天的博客文章中提到了這一點。
蘋果與英偉達合作製作了 Redrafter Nvidia 的Tensorrt-LLM它已集成到.根據Nvidia的說法，這將使其可供更廣泛的開發者社區使用。
蘋果表示：“當我們在NVIDIA GPU上對數百億個參數生成模型進行基準測試並將NVIDIA Tensorrt-LLM推理加速框架與Redrafter一起使用時，我們能夠通過貪婪的解碼將每秒生成代幣的速度提高2.7倍。”“這些基準測試結果表明，這項技術可以顯著減少用戶可能遇到的延遲，同時還可以減少使用的GPU數量和功耗。”
“通過英偉達和蘋果之間的這種合作，Tensorrt-LLM變得更加強大和靈活，LLM社區可以創新更復雜的模型，並使用Tensorrt-LLM輕鬆部署它們，從而在NVIDIA GPU上實現無與倫比的性能。”英偉達我提過了。
免責聲明：社區由Moomoo Technologies Inc.提供，僅用於教育目的。
更多信息
評論
登錄發表評論
パーマン6号 : 最強的雙打隊誕生了
くどうのぶ : 太強了