本文の著者：李丹

出典：ハードAI

米国デンバー市で開催されたコンピュータグラフィックスとインタラクティブ技術年次大会および展示会SIGGRAPH 2024では、エヌビディアが新しいツールを披露しました。

SIGGRAPH 2024で、エヌビディアのCEO、黄仁勋は、エヌビディアの新しいチップアーキテクチャであるBlackwellアーキテクチャのサンプルを今週送信したことを明らかにしました。同時に、エヌビディアは、主に人工知能（AI）推論を最適化するためのクラウドネイティブマイクロサービスであるNvidia Inference Micro Service（NIM）のソフトウェアの新しいバージョンを公開し、企業のAIモデルの大規模な展開を推進します。

エヌビディアは今年3月に、NIMを発表し、最適化された推論マイクロサービスを提供し、上市時間を短縮し、クラウド、データセンター、およびGPUアクセラレーションワークステーションのあらゆる場所で生成型AIモデルを展開することを目的としています。 NIMは、大規模な言語モデル（LLM）、視覚言語モデル（VLM）を含む、複数のAIユースケースをサポートし、音声、画像、ビデオ、3D、薬剤研究、医療イメージングなどに使用されます。

開発者は、エヌビディアがホスティングするクラウドAPIを使用して、新しい生成型AIモデルをテストしたり、NIMをダウンロードして、主要なクラウドプロバイダーまたはローカルでKubernetesを使用してモデルを自己ホストしたりして、開発時間、複雑性、コストを削減できます。 NIMマイクロサービスは、アルゴリズム、システム、ランタイムをパッケージ化し、業界標準のAPIを追加することで、AIモデルのデプロイメントプロセスを簡素化します。これにより、開発者は、NIMを既存のアプリケーションとインフラストラクチャに統合でき、大量のカスタマイズや専門的な知識なしに、カスタマイズしたり、大規模に展開したりできます。

エヌビディアは、先週発表された更新により、NIMインフェランスマイクロサービスライブラリが拡大し、物質世界環境、高度な視覚モデリング、およびさまざまな垂直アプリケーションをカバーするようになりました。エヌビディアは、100以上のNIM推論マイクロサービスをプレビューバージョンで提供しており、今後、完全なバージョンをリリースする予定です。ビジュアルメディア会社のGetty Images Holdingsの4K画像生成APIや、映像、音楽などのデジタルコンテンツプロバイダのShutterstock Inc.の3D画像生成器など、エヌビディアの一部である新しいNIMとして、様々なサービスを提供する予定です。双方とも、多様なビジュアル生成AIに適用可能な多様なアーキテクチャであるNvidia Edifyを使用しています。

同日、エヌビディアは、自然言語処理（NLP）ツールセットおよびプラットフォームHugging Faceと提携して、推論即サービスを発表し、Hugging Face HubにホストされているオープンソースAIモデルを使用したプロトタイプの迅速な作成と本番環境への展開を支援します。このパートナーシップにより、AIモデルのデプロイメントが簡素化される可能性が高いとされています。

fVDBを使用した現実世界の3Dデータに基づいたスペースインテリジェンスの構築

その中に、エヌビディアは、現実世界の3Dデータを利用して、スペースインテリジェンスを構築するfVDBを発表しました。生成型物質AIモデルは、細かいまたは大胆な操作技能を理解して実行できます。物質世界の3D空間を理解し、そこでのナビゲーションには、スペースインテリジェンスが必要です。このようなAIに対して、実際のスケールで処理できる強力で継続的なフレームワークを提供するために、エヌビディアはfVDBを開発しました。これは、スパース、大規模、高性能の空間インテリジェンスに特化したディープラーニングフレームワークです。

fVDBは、業界標準の構造とプログラムライブラリであるOpenVDB上に構築されており、水、火、煙、雲などのスパース体積データをシミュレートおよびレンダリングするために使用されます。 fVDBは、以前のフレームワークの4倍の空間スケールと、以前のフレームワークの3.5倍のパフォーマンスを提供し、多くの現実世界のデータセットにアクセスできます。これにより、以前は複数のディープラーニングライブラリが必要だった機能を組み合わせることで、プロセスを簡素化しました。

オープンソースモジュール化フレームワークIsaac Labは、ロボットの学習を加速します。

エヌビディアは、ロボット学習用のオープンソースモジュール化フレームワークであるIsaac Labを発表し、従来のトレーニング方法によるロボットスキルの制限を解決することができます。

Isaac Labは、モジュラーで高品質なシミュレーションを提供し、物質世界のAI機能とGPUドライブの物質世界シミュレーションを特集している、ロボット学習のためのオープンソースモジュール化フレームワークです。

Isaac Labは、模倣学習（人間の模倣）および強化学習（反復実験学習）をサポートし、柔軟なトレーニング手法を提供します。変化に富むビジネス要件に応じて、ロボットメーカーは、状況および状況に応じて、ロボットのスキルを追加または更新できる、ユーザーフレンドリーな環境を提供しています。

エヌビディアは物質世界のAIのためにNIMを利用し、言語、翻訳、視覚、逼真のアニメーション、および振る舞いをサポートしています。エヌビディアは、開発者向けのプレビューバージョンでVIAマイクロサービスを発表し、ダウンロード可能なNIMマイクロサービスAPIカタログとエヌビディアモデルプレビューAPIを柔軟に使用できます。

VIAマイクロサービスは、NIMを容易に統合でき、ユーザーは、エヌビディアのモデルプレビューAPIとダウンロード可能なNIMマイクロサービスAPIカタログで、任意のLLMまたはVLMモデルを柔軟に使用できます。VIAマイクロサービスは、エヌビディアMetropolisマイクロサービスの拡張であり、エッジまたはクラウドに展開されたVLMおよびNIMドライブのビジュアルAIエージェントの開発速度を加速するためのクラウドネイティブビルディングブロックです。

生成型AI、NIMマイクロサービス、およびベースモデルを使用することにより、ユーザーは広範な知覚と豊富なコンテキスト理解を備えたアプリを、より少ないモデルで作成できます。 VLMは、自然言語のヒントを理解し、視覚AIエージェントを実行することができます。ビジュアルAIエージェントは、コンピュータビジョン機能を使用して、物質世界を理解し、それとやり取りし、推論タスクを実行します。

生成式AI、NIMマイクロサービス、および基本モデルを使用することにより、現在、ユーザーは豊富なコンテキスト理解力を持つ最小限のモデルを使用して、幅広い認識および理解を持つアプリケーションを作成できます。VLMは、自然言語のヒントを理解して視覚問答を実行するための視覚AIエージェントをサポートします。ビジュアルAIエージェントは、コンピュータビジョン機能により物質世界を感知し、相互作用して推論タスクを実行することができます。

これらの代理は、さまざまな産業のアプリケーションの可能性を最大限に引き出すことができ、App開発のワークフローを著しく簡素化し、画像やビデオの要約、インタラクティブな視覚的質問応答、視覚的な警告などの革新的な新しい知覚機能を提供することができます。これらの視覚AI代理は、工場、倉庫、小売店、空港、交差点などに展開され、自然な相互作用で生成されるより豊富な洞察を運用チームに提供し、より良い意思決定を行うのを支援することができます。

Omniverse Replicatorは、モデルトレーニングを制限するデータ不足の問題を解決するのを支援します

NIMマイクロサービスを使用して、英伟达のOmniverse Replicatorを採用したUSDのカスタム合成データ生成（SDG）パイプラインを構築する方法について、英伟达が紹介しています。Omniverse Replicatorは、汎用シーン記述（OpenUSD）と英伟达RTXで構築されたSDKです。

開発者は、NIMマイクロサービス、Omniverse Replicatorなどを使用して、生成型AIをサポートするSDGパイプラインを構築し、通常モデルトレーニングを制限する現実世界のデータ不足の問題を解決できます。

英伟达のOmniverseおよびシミュレーションテクノロジー副社長のRev Lebaredianは次のように述べています。

「私たちは、OpenUSDをベースにした言語、ジオメトリ、マテリアル、物理、空間を理解できる最初の生成型AIモデルを世界で構築しました。」

Lebaredianは、2016年以来、英伟达はOpenUSDに投資し、産業企業や物質AI開発者が高性能モデルをより簡単に、より速く開発できるようにしていると述べています。

英伟达は、グラフィックスデリバリーネットワークからApple Vision Proに至るまで、グラフィックスレディなデータセンターで構成されるネットワークを構築するために、Appleと共同でOpenUSD Allianceを設立しました。