本週一英偉達的軟件更新擴大了雲原生微服務NIM的推理微服務庫，涵蓋了物質世界環境、高級視覺建模和各種垂直應用，推動企業大規模部署AI模型。英偉達的深度學習框架fVDB利用現實世界3D數據打造空間智能；開源模塊化框架Isaac Lab提供模擬，加快機器人學習；英偉達爲物質世界的AI量身定製NIM，用NIM和VIA微服務打造VLM驅動的視覺AI代理；英偉達Omniverse Replicator幫助解決限制模型訓練的數據短缺問題。
本文作者：李丹
來源：硬AI
美東時間7月29日週一，在美國丹佛市舉行的計算機圖形學和交互技術年度大會和展會SIGGRAPH 2024上，英偉達亮出新工具。
英偉達CEO黃仁勳在SIGGRAPH 2024透露，本週英偉達發送Blackwell架構的樣品，這是今年首發的新款芯片架構。同時，英偉達公佈了一系列軟件更新，主要涉及用於優化人工智能（AI）推理的雲原生微服務——Nvidia inference micro service（NIM），推動企業大規模部署AI模型。
今年3月英偉達推出NIM時介紹，NIM提供經過優化的推理微服務，旨在縮短上市時間，並簡化生成式 AI 模型在雲、數據中心和 GPU 加速工作站的任何位置的部署。NIM 支持跨多個領域的 AI 用例，包括大語言模型 (LLM)、視覺語言模型 (VLM)，以及用於語音、圖像、視頻、3D、藥物研發、醫學成像等的模型。
開發者可以使用英偉達託管的雲API測試新的生成式 AI 模型，或者通過下載 NIM 來自行託管模型，並在主要雲提供商或本地使用 Kubernetes 快速部署，以減少開發時間、複雜性和成本。NIM微服務通過打包算法、系統和運行時優化並添加行業標準 API 來簡化 AI 模型部署流程。這使開發者能夠將 NIM 集成到其現有應用程序App和基礎設施中，無需大量定製或專業知識。
本週一英偉達宣佈的更新擴大了NIM推理微服務庫，涵蓋了物質世界環境、高級視覺建模和各種垂直應用。英偉達已在預覽版中提供了約 100項NIM推理微服務，現在要發佈完整版本。比如，作爲英偉達的部分新NIM，視覺媒體公司Getty Images Holdings的4K 圖像生成 API 和圖像、影片、音樂等數字內容供應商Shutterstock Inc. 的3D圖像生成器即將上線。兩者都使用英偉達的Nvidia Edify，它是一種用於視覺生成 AI 的多模式架構。
英偉達同日宣佈，與自然語言處理（NLP）工具集和平台Hugging Face合作，推出了推理即服務，幫助開發人員使用託管在 Hugging Face Hub 上的開源AI模型快速製作原型，並將其部署到生產中。評論稱，這一合作將簡化開發者的AI模型部署。
fVDB利用現實世界3D數據打造空間智能
其中，英偉達推出fVDB，利用現實世界的3D數據，打造空間智能。英偉達稱，生成式物質AI模型可以理解並執行物質世界中精細或粗大動作技能的操作。理解物質世界的三維空間並在其中導航需要空間智能。爲了給這種AI提供一個能夠處理現實規模的強大、連貫的框架，英偉達打造了fVDB，這是一個專爲稀疏、大規模和高性能空間智能而設計的深度學習框架。
fVDB建立在OpenVDB上，OpenVDB 是一個行業標準的結構和程序庫，用於模擬和渲染水、火、煙和雲等稀疏體積數據。fVDB 提供的空間規模是以前框架的四倍，性能是以前框架的 3.5 倍，並且可以訪問大量現實世界數據集。它通過組合以前需要多個深度學習庫的功能來簡化流程。
開源模塊化框架Isaac Lab提供模擬 加快機器人學習
英偉達同時推出Isaac Lab，它是一個用於機器人學習的開源模塊化框架，可以解決傳統訓練方法對機器人學習技能的限制。
Isaac Lab 爲不同的訓練環境提供模塊化的高保真模擬，提供物質世界AI功能和 GPU 驅動的物質世界模擬。
Isaac Lab 支持模仿學習（模仿人類）和強化學習（通過反覆試驗學習），爲任何機器人實現提供靈活的訓練方法。它爲訓練場景提供了一個用戶友好的環境，可幫助機器人制造商根據不斷變化的業務需求添加或更新機器人技能。
用英偉達NIM和VIA微服務打造VLM 驅動的視覺AI代理
英偉達爲物質世界的AI量身定製了NIM，支持語音和翻譯、視覺以及逼真的動畫和行爲。英偉達推出VIA微服務，現已可在開發者預覽版中下載。
VIA微服務可以輕鬆與NIM集成，用戶可以在英偉達的模型預覽API和可下載NIM微服務API目錄中靈活使用任何LLM或VLM模型。VIA微服務是英偉達Metropolis微服務的擴展，是雲原生構建塊，可加快VLM和NIM驅動的視覺AI代理開發速度，無論部署在邊緣還是雲端。
藉助生成式 AI、NIM微服務和基礎模型，現在用戶可以用更少的模型，構建具有廣泛感知和豐富上下文理解的App。VLM支持能夠理解自然語言提示並執行視覺問答的視覺 AI 代理。視覺AI代理使用計算機視覺功能來感知物質世界並與其交互、執行推理任務。
這些代理能充分釋放了各行各業應用的可能性，它們能顯著簡化App開發的工作流程，並提供了變革性的新感知功能，例如圖像或視頻摘要、交互式視覺問答和視覺警報。這些視覺AI代理將可以部署在工廠、倉庫、零售店、機場、交通路口等地，將幫助運營團隊利用自然互動中產生的更豐富見解，做出更好的決策。
Omniverse Replicator幫助解決限制模型訓練的數據短缺問題
英偉達介紹瞭如何用NIM微服務爲USD建立自定義合成數據生成 (SDG) 管道，該微服務採用了英偉達的Omniverse Replicator。Omniverse Replicator是基於通用場景描述 (OpenUSD) 和英偉達RTX構建的 SDK。
開發人員可以使用 NIM微服務和 Omniverse Replicator 等來構建支持生成式AI 的SDG管道，解決通常會限制模型訓練的現實世界數據短缺問題。
英偉達的Omniverse和模擬技術副總裁 Rev Lebaredian 說：
“我們構建了世界上第一個能夠理解基於OpenUSD的語言、幾何、材料、物理和空間的生成式AI模型。”
Lebaredian稱，2016 年以來，英偉達一直在投資OpenUSD，使工業企業和物質AI開發人員能夠更輕鬆、更快地開發高性能模型。
英偉達還與共同創立了OpenUSD聯盟的蘋果合作，構建了從英偉達由圖形就緒數據中心組成的網絡——Graphics Delivery Network、到蘋果Apple Vision Pro在內的混合渲染管道流。