New Services Accelerate Universal Scene Description-Based Workflows and Development of Industrial Digital Twins and Robotics
DENVER, July 29, 2024 (GLOBE NEWSWIRE) -- SIGGRAPH—$NVIDIA (NVDA.US)$ today announced major advancements to Universal Scene Description, or OpenUSD, that will expand adoption of the universal 3D data interchange framework to robotics, industrial design and engineering, and accelerate developers' abilities to build highly accurate virtual worlds for the next evolution of AI.
Through new OpenUSD-based generative AI and NVIDIA-accelerated development frameworks built on the NVIDIA Omniverse platform, more industries can now develop applications for visualizing industrial design and engineering projects, and for simulating environments to build the next wave of physical AI and robots.
The new offerings include NVIDIA NIM microservices for AI models that can generate OpenUSD language to answer user queries, generate OpenUSD Python code, apply materials to 3D objects, and understand 3D space and physics to help accelerate digital twin development. In addition, new USD connectors to robotics and industrial simulation data formats and developer tools let users stream massive, fully NVIDIA RTX ray-traced datasets to Apple Vision Pro.
"The generative AI boom for heavy industries is here," said Rev Lebaredian, vice president of Omniverse and simulation technology at NVIDIA. "Until recently, digital worlds have been primarily used by creative industries; now, with the enhancements and accessibility NVIDIA NIM microservices are bringing to OpenUSD, industries of all kinds can build physically based virtual worlds and digital twins to drive innovation while preparing for the next wave of AI: robotics."
Generative AI Comes to USD With NVIDIA NIM
The world's first generative AI models for OpenUSD development, developed by NVIDIA, will be available as NVIDIA NIM microservices. The models enable developers to incorporate generative AI copilots and agents into USD workflows, broadening the possibilities in 3D worlds and helping speed the adoption of USD across a new range of industrial sectors, like manufacturing, automotive and robotics.
The microservices available in preview are:
USD Code NIM microservice — answers general knowledge OpenUSD questions and automatically generates OpenUSD-Python code based on text prompts that can then be inputted into an OpenUSD viewing app, such as usdview from Pixar, or an NVIDIA Omniverse Kit-based application to visualize the corresponding 3D data.
USD Search NIM microservice — enables developers to search through massive libraries of OpenUSD, 3D and image data using natural language or image inputs.
USD Validate NIM microservice — checks the compatibility of uploaded files against OpenUSD release versions and generates a fully RTX-rendered, path-traced image, powered by NVIDIA Omniverse Cloud APIs, or application programming interfaces.
Newly announced microservices that will be available soon are:
USD Layout NIM microservice — enables users to assemble OpenUSD-based scenes from a series of text prompts based on spatial intelligence.
USD SmartMaterial NIM microservice — predicts and applies a realistic material to a computer-aided design object.
fVDB Mesh Generation NIM microservice — generates an OpenUSD-based mesh, rendered by Omniverse Cloud APIs, from point-cloud data.
fVDB Physics Super-Res NIM microservice — performs AI super resolution on a frame or sequence of frames to generate an OpenUSD-based, high-resolution physics simulation.
fVDB NeRF-XL NIM microservice — generates large-scale neural radiance fields in OpenUSD using Omniverse Cloud APIs.
Foxconn, a global manufacturing leader with more than 170 factories worldwide, is already benefiting from NVIDIA's computing platform, using NIM microservices and Omniverse to create a digital twin of a factory under development.
"Digital twins will help us accelerate the next wave of industrial manufacturing and autonomous machines," said Zhe Shi, chief digital officer and head of the Smart Manufacturing platform at Foxconn. "NVIDIA Omniverse and the new NIM microservices will democratize the ability to develop digital twins and help our teams build physically based virtual factories faster than ever."
WPP, a world leader in marketing and communications services company, is an early adopter of USD Search and USD Code NIM microservices, implementing them in its generative AI-enabled content creation pipeline, built on NVIDIA Omniverse, for customers such as The Coca-Cola Company.
"The beauty of the innovation is how compatible it is with the way we work, and that it leverages open standards — accelerating not only future work, but allowing us to continue to build on and extend the usefulness of all our previous investments in standards like OpenUSD," said Stephan Pretorius, chief technology officer at WPP. "Using NVIDIA NIM microservices with NVIDIA Omniverse has made it possible for us to launch innovative new production tools with companies like The Coca-Cola Company at unprecedented speed."
USD Connectors Bring Generative AI to More Industries
A series of new USD connectors for robotics data formats and streaming to Apple Vision Pro opens the portals of OpenUSD interoperability and advanced authoring to more industries.
NVIDIA and Siemens, a global leader in industrial automation and software, are extending their collaboration to facilitate more industrial workloads using OpenUSD. Siemens will integrate OpenUSD pipelines with its Simcenter portfolio of simulation technologies to support evidence-based decision-making and collaboration among key stakeholders.
This integration enables high-fidelity, real-time, photorealistic visualization of complex simulation data, providing deeper insights into a product's performance within its real-world operating environment. The work will build on Siemens' efforts to incorporate Omniverse into its Teamcenter Product Lifecycle Management portfolio.
NVIDIA also released a connector from Unified Robotics Description Format to OpenUSD, letting roboticists seamlessly bring their robot data across applications, including for design, simulation and reinforcement learning.
To further advance OpenUSD ecosystem expansion, NVIDIA announced the OpenUSD Exchange software development kit, enabling developers to build their own robust OpenUSD data connectors.
New developer tools and APIs to stream large-scale OpenUSD scenes from an application built on the Omniverse platform to Apple Vision Pro via the NVIDIA Graphics Delivery Network are now available in early access.
"OpenUSD is revolutionizing the way we create and interact with 3D content," said Steve May, chief technology officer of Pixar and chairman of the Alliance for OpenUSD (AOUSD). "Now, with these new services and APIs for OpenUSD built by NVIDIA, we expect to see accelerated growth and adoption of USD, paving the way for new users and industries to more easily engage with our ecosystem."
OpenUSD Ecosystem Momentum
Last year, NVIDIA cofounded the AOUSD along with Pixar, Adobe, Apple and Autodesk. Through AOUSD, NVIDIA and other collaborators have announced a new OpenUSD release, progress on an OpenUSD core specification and new members.
Availability
The USD Search, USD Code and USD Validate NIM microservices are available in preview on the NVIDIA API catalog. The OpenUSD to URDF connector is now available with NVIDIA Isaac Sim.
Developers can get started integrating generative AI into OpenUSD workflows with new Omniverse developer tools and a reference workflow for building a generative AI-enabled synthetic data pipeline with OpenUSD.
Learn more about the latest in generative AI and accelerated computing by tuning in to NVIDIA founder and CEO Jensen Huang's fireside chats at SIGGRAPH, the premier computer graphics conference, running through Aug. 1 in Denver.
新しいサービスが導入され、Universal Scene Descriptionに基づくワークフローと産業用デジタルツインおよびロボティクスの開発が加速されます
DENVER、2024年7月29日 (GLOBE NEWSWIRE)--SIGGRAPH--$エヌビディア (NVDA.US)$今日、ロボット、工業設計、およびエンジニアリングにおける普遍的な3Dデータの相互変換フレームワークであるUniversal Scene DescriptionまたはOpenUSDを拡大する、および次世代のAIのために高精度なバーチャルワールドを構築するために開発者の能力を加速するために、OpenUSDベースのジェネレーティブAIとNVIDIAアクセラレート開発フレームワークの新機能が発表されました。
NVIDIA Omniverseプラットフォームで構築された新しいOpenUSDベースのジェネレーティブAIやNVIDIAアクセラレート開発フレームワークを通じて、さらに多くの産業が、工業設計およびエンジニアリングのプロジェクトを視覚化し、次世代のAIおよびロボットを構築するための環境をシミュレーションできるようになりました。加えて、ロボットおよび工業用シミュレーションデータ形式の新しいUSDコネクタや開発者ツールを使うと、ユーザーは巨大で完全なNVIDIA RTXレイトレースのデータセットをApple Vision Proにストリーミングできます。
新しい提供には、ユーザーのクエリーに答えるためのOpenUSD言語を生成できるAIモデルを持つNVIDIA NImミクロサービス、OpenUSD Pythonコードを生成するNVIDIA NImミクロサービス、3Dオブジェクトに素材を適用するNVIDIA NImミクロサービス、およびデジタルツイン開発を加速するための3D空間および物理を理解するNVIDIA NImミクロサービスが含まれます。さらに、工業用デザインとエンジニアリングのプロジェクトを視覚化するアプリケーションを開発するためのUSDコネクタと開発ツールも新しく追加されました。このツールは、Pixarのusdviewや、NVIDIA Omniverse Kitベースのアプリケーションなど、OpenUSDをサポートするビューアーアプリケーションで使用できます。
"重工業へのジェネレーティブAIのブームが到来しました。"とNVIDIAのOmniverseおよびシミュレーション技術の副社長であるレブ・レバレディアンは述べています。「これまで、デジタル・ワールドは主にクリエイティブ産業で使用されていましたが、NVIDIA NImミクロサービスがOpenUSDにもたらしている改良とアクセシビリティにより、あらゆる産業が物理ベースのバーチャルワールドやデジタルツインを構築し、ロボットを視覚化し、次世代のAIに備えることができるようになりました。」
NVIDIA NIMでジェネレーティブAIがUSDに登場
世界で初めてオープンソースで開発されたNVIDIAによるOpenUSD開発用のジェネレーティブAIモデルがNVIDIA NImミクロサービスとして利用可能になります。これらのモデルにより、開発者は、USDワークフローにジェネレーティブAIコパイロットおよびエージェントを組み込むことができ、3Dワールドの可能性を広げ、新しい産業セクター、例えば製造業、自動車業、ロボットのUSDの採用を促進することができます。
プレビューで利用可能なマイクロサービスは以下のとおりです。
USD Code NIm mikroservice - 一般的な知識のOpenUSDの問いに答え、テキストプロンプトに基づいてOpenUSD-Pythonコードを自動生成し、OpenUSDビューイングアプリケーション(Pixarのusdviewなど)またはNVIDIA Omniverse Kitベースのアプリケーションに入力して対応する3Dデータを視覚化することができるようにするUSDコードNIMマイクロサービス。
USD Search NIm mikroservice - 自然言語または画像の入力を使用して、開発者は大規模なOpenUSD、3D、および画像データライブラリを検索することができるようになりました。
USD Validate NIm mikroservice - アップロードされたファイルの互換性をOpenUSDリリースバージョンに対してチェックし、完全にRTXレンダリングされた、NVIDIA Omniverse Cloud API、またはアプリケーションプログラミングインタフェースによってパスレイトレーシングされたイメージを生成します。
まもなく利用可能になる新しいマイクロサービスは以下のとおりです。
USD Layout NIm mikroservice - 空間知識に基づくテキストプロンプトのシリーズからOpenUSDベースのシーンを組み立てることができます。
USD SmartMaterial NIm mikroservice - コンピュータ支援設計オブジェクトにリアルな素材を予測して適用することができます。
fVDb Mesh Generation NIm mikroservice - 点群データからOpenUSDベースのメッシュを生成し、Omniverse Cloud APIによってレンダリングされたものです。
fVDb Physics Super-Res NIm mikroservice - フレームまたはフレームシーケンスにAIスーパーレゾリューションを実行し、OpenUSDベースの高解像度の物理シミュレーションを生成します。
fVDb NeRF-XL NIm mikroservice - Omniverse Cloud APIを使用してOpenUSDで大規模な神経放射場を生成します。
170以上の工場を持つグローバルな製造リーダーであるFoxconnは、すでにNVIDIAのコンピューティングプラットフォームから利益を得ており、NImマイクロサービスとOmniverseを使用して開発中の工場のデジタルツインを作成しています。
"デジタルツインは、次世代の産業用製造と自律型マシンを加速するのに役立ちます。"とFoxconnのSmart Manufacturingプラットフォームのチーフデジタルオフィサー兼責任者のZhe Shiは述べています。「NVIDIA Omniverseと新しいNImマイクロサービスは、デジタルツインを開発する能力を民主化し、チームが物理ベースのバーチャル工場をより速く構築できるようにしてくれます。"
グローバルのマーケティングおよびコミュニケーションサービス企業であるWPPは、NVIDIA Omniverse上に構築されたジェネレーティブAI対応のコンテンツ作成パイプラインにUSD SearchおよびUSD Code NImマイクロサービスを早期採用してThe Coca-Cola Companyなどの顧客向けに実装しています。
「この革新の美しさは、私たちの仕事の進め方との互換性の高さと、オープンスタンダードを活用していることにあります。Open USDなどの過去の投資を活かして、今後の作業を加速するだけでなく、有用性を拡張し続けることができるようになりました」とWPPの最高技術責任者であるステファン・プレトリウス氏は述べています。「NVIDIA NImマイクロサービスとNVIDIA Omniverseを組み合わせて、The Coca-Cola Companyのような企業と革新的な新しいプロダクションツールを、前例のない速度で発表することができました。」
USDコネクタを使用したジェネレーティブAIが、さらに多くの産業にもたらされます
ロボティクスデータフォーマットやApple Vision Proへのストリーミングに向けた一連の新しいUSDコネクタは、OpenUSDの相互運用性と高度なオーサリングをより多くの産業に開放します。
NVIDIAと産業用自動化およびソフトウェアのグローバルリーダーであるSiemensは、OpenUSDを使用してより多くの産業ワークロードを容易にするために、そのコラボレーションを拡大しています。Siemensは、Simcenterポートフォリオのシミュレーション技術にOpenUSDパイプラインを統合し、重要な利害関係者の協力と裏付けを元にした意思決定をサポートします。
この統合により、製品の実世界での運用環境内でのパフォーマンスに関するより深い洞察を提供する、高精度でリアルタイムな写真的な可視化が可能となります。この作業はSiemensのTeamcenter Product Lifecycle ManagementポートフォリオにOmniverseを統合する取り組みに基づいています。
NVIDIAはまた、Unified Robotics Description FormatからOpenUSDへのコネクタをリリースし、設計、シミュレーション、強化学習などのアプリケーション間でロボットデータをシームレスに移行できるようにしました。
OpenUSDエコシステムの拡大をさらに進めるために、NVIDIAはOpenUSD Exchangeソフトウェア開発キットを発表し、開発者が独自の堅牢なOpenUSDデータコネクタを構築できるようになりました。
大規模なOpenUSDシーンをOmniverseプラットフォーム上に構築されたアプリケーションからNVIDIA Graphics Delivery Networkを介してApple Vision Proにストリーミングするための新しい開発者ツールとAPIが早期アクセスで利用可能です。
「OpenUSDは、3Dコンテンツを作成し、インタラクションする方法を革新しています」と、Pixarの最高技術責任者でありAOUSD(Alliance for OpenUSD)の議長でもあるスティーブ・メイは述べています。「今後、NVIDIAによって構築されたOpenUSDの新しいサービスやAPIを利用することで、USDの成長と普及が加速することを期待し、新しいユーザーや産業が私たちのエコシステムとより簡単に関わるための道を切り拓くことができるでしょう。」
OpenUSDエコシステムの勢い
NVIDIAは昨年、Pixar、Adobe、Apple、AutodeskとともにAOUSDを共同設立しました。AOUSDを通じて、NVIDIAや他のコラボレーターは新しいOpenUSDリリース、OpenUSDコア仕様の進展、および新しいメンバーを発表しました。
入手可能な地域:
USD Search、USD Code、USD Validate NImマイクロサービスはNVIDIA APIカタログのプレビュー版で利用可能です。OpenUSD to URDFコネクタがNVIDIA Isaac Simで利用可能になりました。
新しいOmniverse開発者ツールとOpenUSDワークフローのリファレンスを使用して、開発者はジェネレーティブAIをOpenUSDワークフローに統合できます。
コンピュータグラフィックスの最高峰のカンファレンスであるSIGGRAPHが8月1日までデンバーで開催されているので、最新のジェネレーティブAIと加速コンピューティングについては、NVIDIAの創設者兼CEOであるジェンソン・ファン氏のファイアサイドチャットをチューニングして学びましょう。