英偉達週二推出了一款名爲Jetson Orin Nano Super的生成式AI超級計算機。英偉達CEO黃仁勳表示,這款開發者套件通過軟件升級實現了更高性能和更低價格,僅售249美元,尺寸小巧,可放在手掌中,可將生成式AI性能提高高達1.7倍。
作者:趙雨荷
來源:硬AI
英偉達週二推出了一款名爲Jetson Orin Nano Super的生成式AI超級計算機。英偉達CEO黃仁勳表示,這款開發者套件通過軟件升級實現了更高性能和更低價格,僅售249美元,尺寸小巧,可放在手掌中,可將生成式AI性能提高高達1.7倍。
該公司表示,這款產品適合商業AI開發者、愛好者和學生,與其前代產品相比,其生成式AI推理性能提升了1.7倍,性能提高了70%,每秒可以執行高達67萬億次的INT8運算(67 INT8 TOPS),內存帶寬也提升了50%,達到了102GB/s。
黃仁勳還特意爲這款產品錄製了一段視頻,如同2021年發佈Hopper H100時一樣,展現英偉達對這款產品的重視。在視頻中,黃仁勳表示,從Xavier開始,英偉達就創造了一種新的處理器,也就是機器人處理器,當時沒人知道他們在做什麼。
新的Jetson Orin Nano Super擁有將近70兆次的運算能力,功率25瓦,價格249美元,可以執行HGX的所有功能,甚至是執行大語言模型。
他表示,無論是創建基於檢索增強生成(Retrieval-Augmented Generation, RAG)的大型語言模型(LLM)聊天機器人,構建視覺AI代理,還是部署基於AI的機器人,Jetson Orin Nano Super都是理想的選擇,這款套件都能以更低的成本提供強大的運算效能,主要由於產品支持低功耗設計,能以7瓦到25瓦的功耗運行,適合各種邊緣設備雲算場景,無論是智能城市、智能農業還是機器人開發。
持續提升的性能和體驗
通過軟件更新,Jetson Orin Nano Super也將爲已有Jetson Orin Nano開發者套件的用戶提升生成式AI性能。
黃仁勳表示,Jetson Orin Nano Super非常適合那些希望在生成式AI、機器人技術或計算機視覺領域發展技能的人士。在AI領域從任務專用模型向基礎模型轉變的趨勢下,它也爲開發者提供了一個將創意變爲現實的易用平台。
爲生成式AI提供強勁性能
Jetson Orin Nano Super性能增強,爲所有流行的生成式AI模型,例如Meta的LLaMA、阿里巴巴的通義千問以及谷歌的Gemma。這款套件基於Transformer的計算機視覺模型帶來了顯著提升,進一步提升效能表現。
該公司表示,開發者套件包括一個Jetson Orin Nano 8GB 系統模塊(SoM)和一個參考載板,爲邊緣設備AI應用的原型設計提供了理想平台。
系統模塊採用NVIDIA Ampere架構GPU,配備張量計算核心(Tensor Cores)和6核 Arm CPU,能夠處理多個並行AI應用管道,並提供高性能推理能力。此外,它還支持最多四個攝像頭,分辨率和幀率均高於前代版本。
英偉達強調,隨着AI技術逐漸從雲端走向終端,實體AI將是下一波發展重點,Jetson Orin Nano Super不僅可以用於開發聊天機器人,也適合簡歷視覺AI代理或部署AI機器人等應用。
廣泛的生成式AI軟件生態系統與社區
此外,英偉達Jetson AI實驗室提供對最新開源社區模型的支持,以及易於使用的教程。開發者還可以從更廣泛的Jetson社區獲得支持,並從其他開發者的項目中獲得靈感。
Jetson支持英偉達的AI軟件,包括用於機器人技術的NVIDIA Isaac、用於視覺AI的NVIDIA Metropolis和用於傳感器處理的NVIDIA Holoscan。通過NVIDIA Omniverse Replicator生成合成數據,以及使用NVIDIA TAO工具包微調來自NGC目錄的預訓練AI模型,開發時間可以大幅縮短。
Jetson生態系統合作伙伴提供額外的AI和系統軟件、開發工具以及定製軟件開發服務。他們還提供與攝像頭及其他傳感器相關的支持,以及載板和產品解決方案的設計服務。
爲所有Jetson Orin用戶解鎖性能提升:Super模式
英偉達也宣佈將爲Jetson Orin NX和Nano系列的系統模塊提供軟件更新,讓它們也能享受到Super模式的性能提升,最高可達70%。這些更新將通過Jetpack SDK管理器發佈在英偉達網站和GitHub上。
Jetson Orin Nano Super Developer Kit預計很快就會通過全球經銷商開始供貨。對於想要入門AI開發的學生、工程師或創客來說,這款開發套件提供了一個經濟實惠且功能強大的平台選擇。
英偉達將Jetson Orin Nano Super Developer Kit定位爲推動生成式AI技術普及化的關鍵產品,希望在智能交通、零售管理以及物聯網(IoT)應用中大放異彩。
本文來自微信公衆號「硬AI」,關注更多AI前沿資訊請移步這裏