Company Management
Jensen Huang - Co-Founder, CEO & President |
Colette Kress - EVP & CFO |
Simona Jankowski - VP, IR
|
Analysts
Joseph Moore - Morgan Stanley |
Vivek Arya - Bank of America |
Toshiya Hari - Goldman Sachs |
Matt Ramsay - Cowen |
Mark Lipacis - Jefferies |
Atif Malik - Citi |
Timothy Arcuri - UBS |
Benjamin Reitzes - Melius |
Stacy Rasgon - Bernstein Research |
Operator
Good afternoon. My name is David, and I'll be your conference operator today. At this time, I'd like to welcome everyone to NVIDIA's Second Quarter Earnings Call. Today's conference is being recorded. All lines have been placed on mute to prevent any background noise. After the speakers’ remarks, there will be a question-and-answer session. [Operator Instructions]
Thank you. Simona Jankowski, you may begin your conference.
Simona Jankowski
Thank you. Good afternoon, everyone and welcome to NVIDIA's conference call for the second quarter of fiscal 2024. With me today from NVIDIA are Jensen Huang, President and Chief Executive Officer; and Colette Kress, Executive Vice President and Chief Financial Officer. I'd like to remind you that our call is being webcast live on NVIDIA's Investor Relations website. The webcast will be available for replay until the conference call to discuss our financial results for the third quarter of fiscal 2024. The content of today's call is NVIDIA's property. It can't be reproduced or transcribed without our prior written consent.
During this call, we may make forward-looking statements based on current expectations. These are subject to a number of significant risks and uncertainties, and our actual results may differ materially. For a discussion of factors that could affect our future financial results and business, please refer to the disclosure in today's earnings release, our most recent Forms 10-K and 10-Q and the reports that we may file on Form 8-K with the Securities and Exchange Commission. All our statements are made as of today, August 23, 2023, based on information currently available to us. Except as required by law, we assume no obligation to update any such statements.
During this call, we will discuss non-GAAP financial measures. You can find a reconciliation of these non-GAAP financial measures to GAAP financial measures in our CFO commentary, which is posted on our website.
And with that, let me turn the call over to Colette.
Colette Kress
Thanks, Simona. We had an exceptional quarter. Record Q2 revenue of $13.51 billion was up 88% sequentially and up 101% year-on-year, and above our outlook of $11 billion.
Let me first start with Data Center. Record revenue of $10.32 billion was up 141% sequentially and up 171% year-on-year. Data Center compute revenue nearly tripled year-on-year, driven primarily by accelerating demand from cloud service providers and large consumer Internet companies for HGX platform, the engine of generative AI and large language models.
Major companies, including AWS, Google Cloud, Meta, Microsoft Azure and Oracle Cloud as well as a growing number of GPU cloud providers are deploying, in volume, HGX systems based on our Hopper and Ampere architecture Tensor Core GPUs. Networking revenue almost doubled year-on-year, driven by our end-to-end InfiniBand networking platform, the gold standard for AI.
There is tremendous demand for NVIDIA accelerated computing and AI platforms. Our supply partners have been exceptional in ramping capacity to support our needs. Our data center supply chain, including HGX with 35,000 parts and highly complex networking has been built up over the past decade. We have also developed and qualified additional capacity and suppliers for key steps in the manufacturing process such as [indiscernible] packaging.
We expect supply to increase each quarter through next year. By geography, data center growth was strongest in the U.S. as customers direct their capital investments to AI and accelerated computing. China demand was within the historical range of 20% to 25% of our Data Center revenue, including compute and networking solutions.
At this time, let me take a moment to address recent reports on the potential for increased regulations on our exports to China. We believe the current regulation is achieving the intended results. Given the strength of demand for our products worldwide, we do not anticipate that additional export restrictions on our Data Center GPUs, if adopted, would have an immediate material impact to our financial results.
However, over the long term, restrictions prohibiting the sale of our Data Center GPUs to China, if implemented, will result in a permanent loss and opportunity for the U.S. industry to compete and lead in one of the world's largest markets.
Our cloud service providers drove exceptional strong demand for HGX systems in the quarter, as they undertake a generational transition to upgrade their data center infrastructure for the new era of accelerated computing and AI. The NVIDIA HGX platform is culminating of nearly two decades of full stack innovation across silicon, systems, interconnects, networking, software and algorithms.
Instances powered by the NVIDIA H100 Tensor Core GPUs are now generally available at AWS, Microsoft Azure and several GPU cloud providers, with others on the way shortly. Consumer Internet companies also drove the very strong demand. Their investments in data center infrastructure purpose-built for AI are already generating significant returns. For example, Meta, recently highlighted that since launching Reels, AI recommendations have driven a more than 24% increase in time spent on Instagram.
Enterprises are also racing to deploy generative AI, driving strong consumption of NVIDIA powered instances in the cloud as well as demand for on-premise infrastructure. Whether we serve customers in the cloud or on-prem through partners or direct, their applications can run seamlessly on NVIDIA AI enterprise software with access to our acceleration libraries, pre-trained models and APIs.
We announced a partnership with Snowflake to provide enterprises with accelerated path to create customized generative AI applications using their own proprietary data, all securely within the Snowflake Data Cloud. With the NVIDIA NeMo platform for developing large language models, enterprises will be able to make custom LLMs for advanced AI services, including chatbot, search and summarization, right from the Snowflake Data Cloud.
Virtually, every industry can benefit from generative AI. For example, AI Copilot such as those just announced by Microsoft can boost the productivity of over 1 billion office workers and tens of millions of software engineers. Billions of professionals in legal services, sales, customer support and education will be available to leverage AI systems trained in their field. AI Copilot and assistants are set to create new multi-hundred billion dollar market opportunities for our customers.
We are seeing some of the earliest applications of generative AI in marketing, media and entertainment. WPP, the world's largest marketing and communication services organization, is developing a content engine using NVIDIA Omniverse to enable artists and designers to integrate generative AI into 3D content creation. WPP designers can create images from text prompts while responsibly trained generative AI tools and content from NVIDIA partners such as Adobe and Getty Images using NVIDIA Picasso, a foundry for custom generative AI models for visual design.
Visual content provider Shutterstock is also using NVIDIA Picasso to build tools and services that enables users to create 3D scene background with the help of generative AI. We've partnered with ServiceNow and Accenture to launch the AI Lighthouse program, fast tracking the development of enterprise AI capabilities. AI Lighthouse unites the ServiceNow enterprise automation platform and engine with NVIDIA accelerated computing and with Accenture consulting and deployment services.
We are collaborating also with Hugging Face to simplify the creation of new and custom AI models for enterprises. Hugging Face will offer a new service for enterprises to train and tune advanced AI models powered by NVIDIA HGX cloud. And just yesterday, VMware and NVIDIA announced a major new enterprise offering called VMware Private AI Foundation with NVIDIA, a fully integrated platform featuring AI software and accelerated computing from NVIDIA with multi-cloud software for enterprises running VMware.
VMware's hundreds of thousands of enterprise customers will have access to the infrastructure, AI and cloud management software needed to customize models and run generative AI applications such as intelligent chatbot, assistants, search and summarization. We also announced new NVIDIA AI enterprise-ready servers featuring the new NVIDIA L40S GPU built for the industry standard data center server ecosystem and BlueField-3 DPU data center infrastructure processor.
L40S is not limited by [indiscernible] supply and is shipping to the world's leading server system makers (ph). L40S is a universal data center processor designed for high volume data center standing out to accelerate the most compute-intensive applications, including AI training and inventing through the designing, visualization, video processing and NVIDIA Omniverse industrial digitalization.
NVIDIA AI enterprise ready servers are fully optimized for VMware, Cloud Foundation and Private AI Foundation. Nearly 100 configurations of NVIDIA AI enterprise ready servers will soon be available from the world's leading enterprise IT computing companies, including Dell, HP and Lenovo. The GH200 Grace Hopper Superchip which combines our ARM-based Grace CPU with Hopper GPU entered full production and will be available this quarter in OEM servers. It is also shipping to multiple supercomputing customers, including Atmos (ph), National Labs and the Swiss National Computing Center.
And NVIDIA and SoftBank are collaborating on a platform based on GH200 for generative AI and 5G/6G applications. The second generation version of our Grace Hopper Superchip with the latest HBM3e memory will be available in Q2 of calendar 2024. We announced the DGX GH200, a new class of large memory AI supercomputer for giant AI language model, recommendator systems and data analytics. This is the first use of the new NVIDIA [indiscernible] switch system, enabling all of its 256 Grace Hopper Superchips to work together as one, a huge jump compared to our prior generation connecting just eight GPUs over [indiscernible]. DGX GH200 systems are expected to be available by the end of the year, Google Cloud, Meta and Microsoft among the first to gain access.
Strong networking growth was driven primarily by InfiniBand infrastructure to connect HGX GPU systems. Thanks to its end-to-end optimization and in-network computing capabilities, InfiniBand delivers more than double the performance of traditional Ethernet for AI. For billions of dollar AI infrastructures, the value from the increased throughput of InfiniBand is worth hundreds of [indiscernible] and pays for the network. In addition, only InfiniBand can scale to hundreds of thousands of GPUs. It is the network of choice for leading AI practitioners.
For Ethernet-based cloud data centers that seek to optimize their AI performance, we announced NVIDIA Spectrum-X, an accelerated networking platform designed to optimize Ethernet for AI workloads. Spectrum-X couples the Spectrum or Ethernet switch with the BlueField-3 DPU, achieving 1.5x better overall AI performance and power efficiency versus traditional Ethernet. BlueField-3 DPU is a major success. It is in qualification with major OEMs and ramping across multiple CSPs and consumer Internet companies.
Now moving to gaming. Gaming revenue of $2.49 billion was up 11% sequentially and 22% year-on-year. Growth was fueled by GeForce RTX 40 Series GPUs for laptops and desktop. End customer demand was solid and consistent with seasonality. We believe global end demand has returned to growth after last year's slowdown. We have a large upgrade opportunity ahead of us. Just 47% of our installed base have upgraded to RTX and about 20% of the GPU with an RTX 3060 or higher performance.
Laptop GPUs posted strong growth in the key back-to-school season, led by RTX 4060 GPUs. NVIDIA's GPU-powered laptops have gained in popularity, and their shipments are now outpacing desktop GPUs from several regions around the world. This is likely to shift the reality of our overall gaming revenue a bit, with Q2 and Q3 as the stronger quarters of the year, reflecting the back-to-school and holiday build schedules for laptops.
In desktop, we launched the GeForce RTX 4060 and the GeForce RTX 4060 TI GPUs, bringing the Ada Lovelace architecture down to price points as low as $299. The ecosystem of RTX and DLSS games continue to expand. 35 new games added to DLSS support, including blockbusters such as Diablo IV and Baldur’s Gate 3.
There's now over 330 RTX accelerated games and apps. We are bringing generative AI to gaming. At COMPUTEX, we announced NVIDIA Avatar Cloud Engine or ACE for games, a custom AI model foundry service. Developers can use this service to bring intelligence to non-player characters. And it harnesses a number of NVIDIA Omniverse and AI technologies, including NeMo, Riva and Audio2Face.
Now moving to Professional Visualization. Revenue of $375 million was up 28% sequentially and down 24% year-on-year. The Ada architecture ramp drove strong growth in Q2, rolling out initially in laptop workstations with a refresh of desktop workstations coming in Q3. These will include powerful new RTX systems with up to 4 NVIDIA RTX 6000 GPUs, providing more than 5,800 teraflops of AI performance and 192 gigabytes of GPU memory. They can be configured with NVIDIA AI enterprise or NVIDIA Omniverse inside.
We also announced three new desktop workstation GPUs based on the Ada generation. The NVIDIA RTX 5000, 4500 and 4000, offering up to 2x the RT core throughput and up to 2x faster AI training performance compared to the previous generation. In addition to traditional workloads such as 3D design and content creation, new workloads in generative AI, large language model development and data science are expanding the opportunity in pro visualization for our RTX technology.
One of the key themes in Jensen's keynote [indiscernible] earlier this month was the conversion of graphics and AI. This is where NVIDIA Omniverse is positioned. Omniverse is OpenUSD's native platform. OpenUSD is a universal interchange that is quickly becoming the standard for the 3D world, much like HTML is the universal language for the 2D [indiscernible]. Together, Adobe, Apple, Autodesk, Pixar and NVIDIA form the Alliance for OpenUSD. Our mission is to accelerate OpenUSD's development and adoption. We announced new and upcoming Omniverse cloud APIs, including RunUSD and ChatUSD to bring generative AI to OpenUSD workload.
Moving to automotive. Revenue was $253 million, down 15% sequentially and up 15% year-on-year. Solid year-on-year growth was driven by the ramp of self-driving platforms based on [indiscernible] or associated with a number of new energy vehicle makers. The sequential decline reflects lower overall automotive demand, particularly in China. We announced a partnership with MediaTek to bring drivers and passengers new experiences inside the car. MediaTek will develop automotive SoCs and integrate a new product line of NVIDIA's GPU chiplet. The partnership covers a wide range of vehicle segments from luxury to entry level.
Moving to the rest of the P&L. GAAP gross margins expanded to 70.1% and non-GAAP gross margin to 71.2%, driven by higher data center sales. Our Data Center products include a significant amount of software and complexity, which is also helping drive our gross margin. Sequential GAAP operating expenses were up 6% and non-GAAP operating expenses were up 5%, primarily reflecting increased compensation and benefits. We returned approximately $3.4 billion to shareholders in the form of share repurchases and cash dividends. Our Board of Directors has just approved an additional $25 billion in stock repurchases to add to our remaining $4 billion of authorization as of the end of Q2.
Let me turn to the outlook for the third quarter of fiscal 2024. Demand for our Data Center platform where AI is tremendous and broad-based across industries on customers. Our demand visibility extends into next year. Our supply over the next several quarters will continue to ramp as we lower cycle times and work with our supply partners to add capacity. Additionally, the new L40S GPU will help address the growing demand for many types of workloads from cloud to enterprise.
For Q3, total revenue is expected to be $16 billion, plus or minus 2%. We expect sequential growth to be driven largely by Data Center with gaming and ProViz also contributing. GAAP and non-GAAP gross margins are expected to be 71.5% and 72.5%, respectively, plus or minus 50 basis points. GAAP and non-GAAP operating expenses are expected to be approximately $2.95 billion and $2 billion, respectively.
GAAP and non-GAAP other income and expenses are expected to be an income of approximately $100 million, excluding gains and losses from non-affiliated investments. GAAP and non-GAAP tax rates are expected to be 14.5%, plus or minus 1%, excluding any discrete items. Further financial details are included in the CFO commentary and other information available on our IR website.
In closing, let me highlight some upcoming events for the financial community. We will attend the Jefferies Tech Summit on August 30 in Chicago, the Goldman Sachs Conference on September 5 in San Francisco, the Evercore Semiconductor Conference on September 6 as well as the Citi Tech Conference on September 7, both in New York. And the BofA Virtual AI conference on September 11. Our earnings call to discuss the results of our third quarter of fiscal 2024 is scheduled for Tuesday, November 21.
Operator, we will now open the call for questions. Could you please poll for questions for us? Thank you.
Question-and-Answer Session
Operator
Thank you. [Operator Instructions] We'll take our first question from Matt Ramsay with TD Cowen. Your line is now open.
Matt Ramsay
Yes. Thank you very much. Good afternoon. Obviously, remarkable results. Jensen, I wanted to ask a question of you regarding the really quickly emerging application of large model inference. So I think it's pretty well understood by the majority of investors that you guys have very much a lockdown share of the training market. A lot of the smaller market -- smaller model inference workloads have been done on ASICs or CPUs in the past.
And with many of these GPT and other really large models, there's this new workload that's accelerating super-duper quickly on large model inference. And I think your Grace Hopper Superchip products and others are pretty well aligned for that. But could you maybe talk to us about how you're seeing the inference market segment between small model inference and large model inference and how your product portfolio is positioned for that? Thanks.
Jensen Huang
Yeah. Thanks a lot. So let's take a quick step back. These large language models are fairly -- are pretty phenomenal. It does several things, of course. It has the ability to understand unstructured language. But at its core, what it has learned is the structure of human language. And it has encoded or within it -- compressed within it a large amount of human knowledge that it has learned by the corpuses that it studied. What happens is, you create these large language models and you create as large as you can, and then you derive from it smaller versions of the model, essentially teacher-student models. It's a process called distillation.
And so when you see these smaller models, it's very likely the case that they were derived from or distilled from or learned from larger models, just as you have professors and teachers and students and so on and so forth. And you're going to see this going forward. And so you start from a very large model and it has a large amount of generality and generalization and what's called zero-shot capability. And so for a lot of applications and questions or skills that you haven't trained it specifically on, these large language models miraculously has the capability to perform them. That's what makes it so magical.
On the other hand, you would like to have these capabilities in all kinds of computing devices, and so what you do is you distill them down. These smaller models might have excellent capabilities on a particular skill, but they don't generalize as well. They don't have what is called as good zero-shot capabilities. And so they all have their own unique capabilities, but you start from very large models.
Operator
Okay. Next, we'll go to Vivek Arya with BofA Securities. Your line is now open.
Vivek Arya
Thank you. Just had a quick clarification and a question. Colette, if you could please clarify how much incremental supply do you expect to come online in the next year? You think it's up 20%, 30%, 40%, 50%? So just any sense of how much supply because you said it's growing every quarter.
And then Jensen, the question for you is, when we look at the overall hyperscaler spending, that buy is not really growing that much. So what is giving you the confidence that they can continue to carve out more of that pie for generative AI? Just give us your sense of how sustainable is this demand as we look over the next one to two years? So if I take your implied Q3 outlook of Data Center, $12 billion, $13 billion, what does that say about how many servers are already AI accelerated? Where is that going? So just give some confidence that the growth that you are seeing is sustainable into the next one to two years.
Colette Kress
So thanks for that question regarding our supply. Yes, we do expect to continue increasing ramping our supply over the next quarters as well as into next fiscal year. In terms of percent, it's not something that we have here. It is a work across so many different suppliers, so many different parts of building an HGX and many of our other new products that are coming to market. But we are very pleased with both the support that we have with our suppliers and the long time that we have spent with them improving their supply.
Jensen Huang
The world has something along the lines of about $1 trillion worth of data centers installed, in the cloud, in enterprise and otherwise. And that $1 trillion of data centers is in the process of transitioning into accelerated computing and generative AI. We're seeing two simultaneous platform shifts at the same time. One is accelerated computing. And the reason for that is because it's the most cost-effective, most energy effective and the most performant way of doing computing now.
So what you're seeing, and then all of a sudden, enabled by generative AI, enabled by accelerated compute and generative AI came along. And this incredible application now gives everyone two reasons to transition to do a platform shift from general purpose computing, the classical way of doing computing, to this new way of doing computing, accelerated computing. It's about $1 trillion worth of data centers, call it, $0.25 trillion of capital spend each year.
You're seeing the data centers around the world are taking that capital spend and focusing it on the two most important trends of computing today, accelerated computing and generative AI. And so I think this is not a near-term thing. This is a long-term industry transition and we're seeing these two platform shifts happening at the same time.
Operator
Next, we go to Stacy Rasgon with Bernstein Research. Your line is open.
Stacy Rasgon
Hi, guys. Thanks for taking my question. I was wondering, Colette, if you could tell me like how much of Data Center in the quarter, maybe even the guide is like systems versus GPU, like DGX versus just the H100? What I'm really trying to get at is, how much is like pricing or content or however you want to define that [indiscernible] versus units actually driving the growth going forward. Can you give us any color around that?
Colette Kress
Sure, Stacy. Let me help. Within the quarter, our HGX systems were a very significant part of our Data Center as well as our Data Center growth that we had seen. Those systems include our HGX of our Hopper architecture, but also our Ampere architecture. Yes, we are still selling both of these architectures in the market. Now when you think about that, what does that mean from both the systems as a unit, of course, is growing quite substantially, and that is driving in terms of the revenue increases. So both of these things are the drivers of the revenue inside Data Center.
Our DGXs are always a portion of additional systems that we will sell. Those are great opportunities for enterprise customers and many other different types of customers that we're seeing even in our consumer Internet companies. The importance there is also coming together with software that we sell with our DGXs, but that's a portion of our sales that we're doing. The rest of the GPUs, we have new GPUs coming to market that we talk about the L40S, and they will add continued growth going forward. But again, the largest driver of our revenue within this last quarter was definitely the HGX system.
Jensen Huang
And Stacy, if I could just add something. You say it’s H100 and I know you know what your mental image in your mind. But the H100 is 35,000 parts, 70 pounds, nearly 1 trillion transistors in combination. Takes a robot to build – well, many robots to build because it’s 70 pounds to lift. And it takes a supercomputer to test a supercomputer. And so these things are technology marvels, and the manufacturing of them is really intensive. And so I think we call it H100 as if it’s a chip that comes off of a fab, but H100s go out really as HGXs sent to the world’s hyperscalers and they’re really, really quite large system components, if you will.
Operator
Next, we go to Mark Lipacis with Jefferies. Your line is now open.
Mark Lipacis
Hi. Thanks for taking my question and congrats on the success. Jensen, it seems like a key part of the success -- your success in the market is delivering the software ecosystem along with the chip and the hardware platform. And I had a two-part question on this. I was wondering if you could just help us understand the evolution of your software ecosystem, the critical elements. And is there a way to quantify your lead on this dimension like how many person years you've invested in building it? And then part two, I was wondering if you would care to share with us your view on the -- what percentage of the value of the NVIDIA platform is hardware differentiation versus software differentiation? Thank you.
A – Jensen Huang
Yeah, Mark, I really appreciate the question. Let me see if I could use some metrics, so we have a run time called AI Enterprise. This is one part of our software stack. And this is, if you will, the run time that just about every company uses for the end-to-end of machine learning from data processing, the training of any model that you like to do on any framework you'd like to do, the inference and the deployment, the scaling it out into a data center. It could be a scale-out for a hyperscale data center. It could be a scale-out for enterprise data center, for example, on VMware.
You can do this on any of our GPUs. We have hundreds of millions of GPUs in the field and millions of GPUs in the cloud and just about every single cloud. And it runs in a single GPU configuration as well as multi-GPU per compute or multi-node. It also has multiple sessions or multiple computing instances per GPU. So from multiple instances per GPU to multiple GPUs, multiple nodes to entire data center scale. So this run time called NVIDIA AI enterprise has something like 4,500 software packages, software libraries and has something like 10,000 dependencies among each other.
And that run time is, as I mentioned, continuously updated and optimized for our installed base for our stack. And that's just one example of what it would take to get accelerated computing to work. The number of code combinations and type of application combinations is really quite insane. And it's taken us two decades to get here. But what I would characterize as probably our -- the elements of our company, if you will, are several. I would say number 1 is architecture.
The flexibility, the versatility and the performance of our architecture makes it possible for us to do all the things that I just said, from data processing to training to inference, for preprocessing of the data before you do the inference to the post processing of the data, tokenizing of languages so that you could then train with it. The amount of -- the workflow is much more intense than just training or inference. But anyways, that's where we'll focus and it's fine. But when people actually use these computing systems, it's quite -- requires a lot of applications. And so the combination of our architecture makes it possible for us to deliver the lowest cost ownership. And the reason for that is because we accelerate so many different things.
The second characteristic of our company is the installed base. You have to ask yourself, why is it that all the software developers come to our platform? And the reason for that is because software developers seek a large installed base so that they can reach the largest number of end users, so that they could build a business or get a return on the investments that they make.
And then the third characteristic is reach. We're in the cloud today, both for public cloud, public-facing cloud because we have so many customers that use -- so many developers and customers that use our platform. CSPs are delighted to put it up in the cloud. They use it for internal consumption to develop and train and to operate recommender systems or search or data processing engines and whatnot all the way to training and inference. And so we're in the cloud, we're in enterprise.
Yesterday, we had a very big announcement. It's really worthwhile to take a look at that. VMware is the operating system of the world's enterprise. And we've been working together for several years now, and we're going to bring together -- together, we're going to bring generative AI to the world's enterprises all the way out to the edge. And so reach is another reason. And because of reach, all of the world's system makers are anxious to put NVIDIA's platform in their systems. And so we have a very broad distribution from all of the world's OEMs and ODMs and so on and so forth because of our reach.
And then lastly, because of our scale and velocity, we were able to sustain this really complex stack of software and hardware, networking and compute and across all of these different usage models and different computing environments. And we're able to do all this while accelerating the velocity of our engineering. It seems like we're introducing a new architecture every two years. Now we're introducing a new architecture, a new product just about every six months. And so these properties make it possible for the ecosystem to build their company and their business on top of us. And so those in combination makes us special.
Operator
Next, we'll go to Atif Malik with Citi. Your line is open.
Atif Malik
Hi. Thank you for taking my question. Great job on results and outlook. Colette, I have a question on the core L40S that you guys talked about. Any idea how much of the supply tightness can L40S help with? And if you can talk about the incremental profitability or gross margin contribution from this product? Thank you.
Jensen Huang
Yeah, Atif. Let me take that for you. The L40S is really designed for a different type of application. H100 is designed for large-scale language models and processing just very large models and a great deal of data. And so that's not L40S' focus. L40S' focus is to be able to fine-tune models, fine-tune pretrained models, and it'll do that incredibly well. It has a transform engine. It's got a lot of performance. You can get multiple GPUs in a server. It's designed for hyperscale scale-out, meaning it's easy to install L40S servers into the world's hyperscale data centers. It comes in a standard rack, standard server, and everything about it is standard and so it's easy to install.
L40S also is with the software stack around it and along with BlueField-3 and all the work that we did with VMware and the work that we did with Snowflakes and ServiceNow and so many other enterprise partners. L40S is designed for the world's enterprise IT systems. And that's the reason why HPE, Dell, and Lenovo and some 20 other system makers building about 100 different configurations of enterprise servers are going to work with us to take generative AI to the world's enterprise. And so L40S is really designed for a different type of scale-out, if you will. It's, of course, large language models. It's, of course, generative AI, but it's a different use case. And so the L40S is going to -- is off to a great start and the world's enterprise and hyperscalers are really clamoring to get L40S deployed.
Operator
Next, we'll go to Joe Moore with Morgan Stanley. Your line is open.
Joseph Moore
Great. Thank you. I guess the thing about these numbers that's so remarkable to me is the amount of demand that remains unfulfilled, talking to some of your customers. As good as these numbers are, you sort of more than tripled your revenue in a couple of quarters. There's a demand, in some cases, for multiples of what people are getting. So can you talk about that? How much unfulfilled demand do you think there is? And you talked about visibility extending into next year. Do you have line of sight into when you get to see supply-demand equilibrium here?
Jensen Huang
Yeah. We have excellent visibility through the year and into next year. And we're already planning the next-generation infrastructure with the leading CSPs and data center builders. The demand – easiest way to think about the demand, the world is transitioning from general-purpose computing to accelerated computing. That's the easiest way to think about the demand. The best way for companies to increase their throughput, improve their energy efficiency, improve their cost efficiency is to divert their capital budget to accelerated computing and generative AI. Because by doing that, you're going to offload so much workload off of the CPUs, but the available CPUs is -- in your data center will get boosted.
And so what you're seeing companies do now is recognizing this -- the tipping point here, recognizing the beginning of this transition and diverting their capital investment to accelerated computing and generative AI. And so that's probably the easiest way to think about the opportunity ahead of us. This isn't a singular application that is driving the demand, but this is a new computing platform, if you will, a new computing transition that's happening. And data centers all over the world are responding to this and shifting in a broad-based way.
Operator
Next, we go to Toshiya Hari with Goldman Sachs. Your line is now open.
Toshiya Hari
Hi. Thank you for taking the question. I had one quick clarification question for Colette and then another one for Jensen. Colette, I think last quarter, you had said CSPs were about 40% of your Data Center revenue, consumer Internet at 30%, enterprise 30%. Based on your remarks, it sounded like CSPs and consumer Internet may have been a larger percentage of your business. If you can kind of clarify that or confirm that, that would be super helpful.
And then Jensen, a question for you. Given your position as the key enabler of AI, the breadth of engagements and the visibility you have into customer projects, I'm curious how confident you are that there will be enough applications or use cases for your customers to generate a reasonable return on their investments. I guess I ask the question because there is a concern out there that there could be a bit of a pause in your demand profile in the out years. Curious if there's enough breadth and depth there to support a sustained increase in your Data Center business going forward. Thank you.
Colette Kress
Okay. So thank you, Toshiya, on the question regarding our types of customers that we have in our Data Center business. And we look at it in terms of combining our compute as well as our networking together. Our CSPs, our large CSPs are contributing a little bit more than 50% of our revenue within Q2. And the next largest category will be our consumer Internet companies. And then the last piece of that will be our enterprise and high performance computing.
Jensen Huang
Toshi, I'm reluctant to guess about the future and so I'll answer the question from the first principle of computer science perspective. It is recognized for some time now that general purpose computing is just not and brute forcing general purpose computing. Using general purpose computing at scale is no longer the best way to go forward. It's too energy costly, it's too expensive, and the performance of the applications are too slow.
And finally, the world has a new way of doing it. It's called accelerated computing and what kicked it into turbocharge is generative AI. But accelerated computing could be used for all kinds of different applications that's already in the data center. And by using it, you offload the CPUs. You save a ton of money in order of magnitude, in cost and order of magnitude and energy and the throughput is higher and that's what the industry is really responding to.
Going forward, the best way to invest in the data center is to divert the capital investment from general purpose computing and focus it on generative AI and accelerated computing. Generative AI provides a new way of generating productivity, a new way of generating new services to offer to your customers, and accelerated computing helps you save money and save power. And the number of applications is, well, tons. Lots of developers, lots of applications, lots of libraries. It's ready to be deployed.
And so I think the data centers around the world recognize this, that this is the best way to deploy resources, deploy capital going forward for data centers. This is true for the world's clouds and you're seeing a whole crop of new GPU specialty -- GPU specialized cloud service providers. One of the famous ones is CoreWeave and they're doing incredibly well. But you're seeing the regional GPU specialist service providers all over the world now. And it's because they all recognize the same thing, that the best way to invest their capital going forward is to put it into accelerated computing and generative AI.
We're also seeing that enterprises want to do that. But in order for enterprises to do it, you have to support the management system, the operating system, the security and software-defined data center approach of enterprises, and that's all VMware. And we've been working several years with VMware to make it possible for VMware to support not just the virtualization of CPUs but a virtualization of GPUs as well as the distributed computing capabilities of GPUs, supporting NVIDIA's BlueField for high-performance networking.
And all of the generative AI libraries that we've been working on is now going to be offered as a special SKU by VMware's sales force, which is, as we all know, quite large because they reach some several hundred thousand VMware customers around the world. And this new SKU is going to be called VMware Private AI Foundation. And this will be a new SKU that makes it possible for enterprises. And in combination with HP, Dell, and Lenovo's new server offerings based on L40S, any enterprise could have a state-of-the-art AI data center and be able to engage generative AI.
And so I think the answer to that question is hard to predict exactly what's going to happen quarter-to-quarter. But I think the trend is very, very clear now that we're seeing a platform shift.
Operator
Next, we'll go to Timothy Arcuri with UBS. Your line is now open.
Timothy Arcuri
Thanks a lot. Can you talk about the attach rate of your networking solutions to your -- to the compute that you're shipping? In other words, is like half of your compute shipping with your networking solutions more than half, less than half? And is this something that maybe you can use to prioritize allocation of the GPUs? Thank you.
Jensen Huang
Well, working backwards, we don't use that to prioritize the allocation of our GPUs. We let customers decide what networking they would like to use. And for the customers that are building very large infrastructure, InfiniBand is, I hate to say it, kind of a no-brainer. And the reason for that because the efficiency of InfiniBand is so significant, some 10%, 15%, 20% higher throughput for $1 billion infrastructure translates to enormous savings. Basically, the networking is free.
And so, if you have a single application, if you will, infrastructure or it’s largely dedicated to large language models or large AI systems, InfiniBand is really a terrific choice. However, if you’re hosting for a lot of different users and Ethernet is really core to the way you manage your data center, we have an excellent solution there that we had just recently announced and it’s called Spectrum-X. Well, we’re going to bring the capabilities, if you will, not all of it, but some of it, of the capabilities of InfiniBand to Ethernet so that we can also, within the environment of Ethernet, allow you to – enable you to get excellent generative AI capabilities.
So Spectrum-X is just ramping now. It requires BlueField-3 and it supports both our Spectrum-2 and Spectrum-3 Ethernet switches. And the additional performance is really spectacular. BlueField-3 makes it possible and a whole bunch of software that goes along with it. BlueField, as all of you know, is a project really dear to my heart, and it’s off to just a tremendous start. I think it’s a home run. This is the concept of in-network computing and putting a lot of software in the computing fabric is being realized with BlueField-3, and it is going to be a home run.
Operator
Our final question comes from the line of Ben Reitzes with Melius. Your line is now open.
Benjamin Reitzes
Hi. Good afternoon. Good evening. Thank you for the question, putting me in here. My question is with regard to DGX Cloud. Can you talk about the reception that you're seeing and how the momentum is going? And then Colette, can you also talk about your software business? What is the run rate right now and the materiality of that business? And it does seem like it's already helping margins a bit. Thank you very much.
Jensen Huang
DGX Cloud's strategy, let me start there. DGX Cloud's strategy is to achieve several things: number one, to enable a really close partnership between us and the world's CSPs. We recognize that many of our -- we work with some 30,000 companies around the world. 15,000 of them are startups. Thousands of them are generative AI companies and the fastest-growing segment, of course, is generative AI. We're working with all of the world's AI start-ups. And ultimately, they would like to be able to land in one of the world's leading clouds. And so we built DGX Cloud as a footprint inside the world's leading clouds so that we could simultaneously work with all of our AI partners and help blend them easily in one of our cloud partners.
The second benefit is that it allows our CSPs and ourselves to work really closely together to improve the performance of hyperscale clouds, which is historically designed for multi-tenancy and not designed for high-performance distributed computing like generative AI. And so to be able to work closely architecturally to have our engineers work hand in hand to improve the networking performance and the computing performance has been really powerful, really terrific.
And then thirdly, of course, NVIDIA uses very large infrastructures ourselves. And our self-driving car team, our NVIDIA research team, our generative AI team, our language model team, the amount of infrastructure that we need is quite significant. And none of our optimizing compilers are possible without our DGX systems. Even compilers these days require AI, and optimizing software and infrastructure software requires AI to even develop. It's been well publicized that our engineering uses AI to design our chips.
And so the internal -- our own consumption of AI, our robotics team, so on and so forth, Omniverse teams, so on and so forth, all needs AI. And so our internal consumption is quite large as well, and we land that in DGX Cloud. And so DGX Cloud has multiple use cases, multiple drivers, and it's been off to just an enormous success. And our CSPs love it, the developers love it and our own internal engineers are clamoring to have more of it. And it's a great way for us to engage and work closely with all of the AI ecosystem around the world.
Colette Kress
And let's see if I can answer your question regarding our software revenue. In part of our opening remarks that we made as well, remember, software is a part of almost all of our products, whether they're our Data Center products, GPU systems or any of our products within gaming and our future automotive products. You're correct, we're also selling it in a standalone business. And that stand-alone software continues to grow where we are providing both the software services, upgrades across there as well.
Now we're seeing, at this point, probably hundreds of millions of dollars annually for our software business, and we are looking at NVIDIA AI enterprise to be included with many of the products that we're selling, such as our DGX, such as our PCIe versions of our H100. And I think we're going to see more availability even with our CSP marketplaces. So we're off to a great start, and I do believe we'll see this continue to grow going forward.
Operator
And that does conclude today's question-and-answer session. I'll turn the call back over to Jensen Huang for any additional or closing remarks.
Jensen Huang
A new computing era has begun. The industry is simultaneously going through 2 platform transitions, accelerated computing and generative AI. Data centers are making a platform shift from general purpose to accelerated computing. The $1 trillion of global data centers will transition to accelerated computing to achieve an order of magnitude better performance, energy efficiency and cost. Accelerated computing enabled generative AI, which is now driving a platform shift in software and enabling new, never-before possible applications. Together, accelerated computing and generative AI are driving a broad-based computer industry platform shift.
Our demand is tremendous. We are significantly expanding our production capacity. Supply will substantially increase for the rest of this year and next year. NVIDIA has been preparing for this for over two decades and has created a new computing platform that the world’s industry -- world’s industries can build upon. What makes NVIDIA special are: one, architecture. NVIDIA accelerates everything from data processing, training, inference, every AI model, real-time speech to computer vision, and giant recommenders to vector databases. The performance and versatility of our architecture translates to the lowest data center TCO and best energy efficiency.
Two, installed base. NVIDIA has hundreds of millions of CUDA-compatible GPUs worldwide. Developers need a large installed base to reach end users and grow their business. NVIDIA is the developer’s preferred platform. More developers create more applications that make NVIDIA more valuable for customers. Three, reach. NVIDIA is in clouds, enterprise data centers, industrial edge, PCs, workstations, instruments and robotics. Each has fundamentally unique computing models and ecosystems. System suppliers like OEMs, computer OEMs can confidently invest in NVIDIA because we offer significant market demand and reach. Scale and velocity. NVIDIA has achieved significant scale and is 100% invested in accelerated computing and generative AI. Our ecosystem partners can trust that we have the expertise, focus and scale to deliver a strong road map and reach to help them grow.
We are accelerating because of the additive results of these capabilities. We’re upgrading and adding new products about every six months versus every two years to address the expanding universe of generative AI. While we increased the output of H100 for training and inference of large language models, we’re ramping up our new L40S universal GPU for scale, for cloud scale-out and enterprise servers. Spectrum-X, which consists of our Ethernet switch, BlueField-3 Super NIC and software helps customers who want the best possible AI performance on Ethernet infrastructures. Customers are already working on next-generation accelerated computing and generative AI with our Grace Hopper.
We’re extending NVIDIA AI to the world’s enterprises that demand generative AI but with the model privacy, security and sovereignty. Together with the world’s leading enterprise IT companies, Accenture, Adobe, Getty, Hugging Face, Snowflake, ServiceNow, VMware and WPP and our enterprise system partners, Dell, HPE, and Lenovo, we are bringing generative AI to the world’s enterprise. We’re building NVIDIA Omniverse to digitalize and enable the world’s multi-trillion dollar heavy industries to use generative AI to automate how they build and operate physical assets and achieve greater productivity. Generative AI starts in the cloud, but the most significant opportunities are in the world’s largest industries, where companies can realize trillions of dollars of productivity gains. It is an exciting time for NVIDIA, our customers, partners and the entire ecosystem to drive this generational shift in computing. We look forward to updating you on our progress next quarter.
Operator
This concludes today's conference call. You may now disconnect.
(Tips:This transcript is converted by recording, we will do our best, but cannot fully guarantee the accuracy of the conversion, it is for reference only.)
会社経営
ジェンセン・フアン-共同創設者、CEO、社長 |
コレット・クレス-EVP兼最高財務責任者 |
シモナ・ヤンコウスキー-IR担当副社長
|
アナリスト
ジョセフ・ムーア-モルガン・スタンレー |
Vivek Arya-バンク・オブ・アメリカ |
トシヤ・ハリ-ゴールドマン・サックス |
マット・ラムゼイ-コーウェン |
マーク・リパシス-ジェフリーズ |
アティフ・マリク-シティ |
ティモシー・アル?$#@$-UBS |
ベンジャミン・ライツェス-メリウス |
ステイシー・ラスゴン-バーンスタイン・リサーチ |
オペレーター
こんにちは。私の名前はデイビッドです。今日はあなたの会議の主催者をします。この機会に、NVIDIAの第2四半期決算発表会に皆さんを歓迎したいと思います。今日の会議は録画中です。周囲の雑音を防ぐため、すべての回線がミュートになっています。スピーカーの発言の後、質疑応答があります。[オペレーターの指示]
ありがとうございます。シモナ・ヤンコウスキー、カンファレンスを始めてもいいですよ。
シモナ・ヤンコウスキー
ありがとうございます。みなさん、こんにちは。2024年度第2四半期のNVIDIAの電話会議へようこそ。今日、NVIDIAから私と一緒にいるのは、社長兼最高経営責任者のJensen Huangと、執行副社長兼最高財務責任者のColette Kressです。私たちの電話会議は、NVIDIAの投資家向け広報ウェブサイトでライブ配信されていることを思い出させてください。このウェブキャストは、2024会計年度第3四半期の決算について話し合う電話会議まで再生できます。今日の電話の内容はNVIDIAの所有物です。事前の書面による同意なしに、複製または転記することはできません。
この電話会議中に、現在の予想に基づいて将来の見通しに関する記述を行う場合があります。これらには多くの重大なリスクと不確実性が伴い、実際の結果は大きく異なる可能性があります。将来の財務結果や事業に影響を与える可能性のある要因については、本日の決算発表の開示、最新のフォーム10-Kと10-Q、およびフォーム8-Kで証券取引委員会に提出する報告書を参照してください。私たちの声明はすべて、現在入手可能な情報に基づいて、本日、2023年8月23日現在のものです。法律で義務付けられている場合を除き、私たちはそのような記述を更新する義務を負いません。
この電話会議では、非GAAP財務指標について話し合います。これらの非GAAP財務指標とGAAP財務指標との調整については、当社のウェブサイトに掲載されているCFOの解説をご覧ください。
それでは、コレットに電話をかけさせてください。
コレット・クレス
ありがとう、シモーナ。私たちは並外れた四半期を過ごしました。第2四半期の記録的な135.1億ドルの収益は、前四半期比88%、前年比101%増で、当社の見通しである110億ドルを上回りました。
まず、データセンターから始めましょう。過去最高の103.2億ドルの収益は、前四半期比で141%増加し、前年比で171%増加しました。データセンターのコンピューティング収益は前年比でほぼ3倍になりました。これは主に、ジェネレーティブAIと大規模言語モデルのエンジンであるHGXプラットフォームに対するクラウドサービスプロバイダーや大規模な消費者向けインターネット企業からの需要の加速によるものです。
AWS、Google Cloud、Meta、Microsoft Azure、Oracle Cloudなどの大手企業や、ますます多くのGPUクラウドプロバイダーが、ホッパーおよびアンペアアーキテクチャのテンソルコアGPUをベースにしたHGXシステムを大量に導入しています。AIのゴールドスタンダードであるエンドツーエンドのInfiniBandネットワークプラットフォームにより、ネットワーキング収益は前年比でほぼ2倍になりました。
NVIDIAアクセラレーテッドコンピューティングとAIプラットフォームには途方もない需要があります。私たちの供給パートナーは、私たちのニーズをサポートするためのキャパシティの増加において並外れた存在でした。35,000個の部品と非常に複雑なネットワークを備えたHGXを含む当社のデータセンターのサプライチェーンは、過去10年間に構築されてきました。また、[見分けがつかない] 包装などの製造プロセスの重要なステップに対応するために、追加の生産能力とサプライヤーを開発し、認定しました。
来年にかけて四半期ごとに供給が増えると予想しています。地域別では、顧客がAIとアクセラレーテッドコンピューティングに設備投資を向けたため、データセンターの成長が最も強かったのは米国です。中国の需要は、コンピューティングとネットワーキングソリューションを含め、データセンターの収益の20%から25%という過去の範囲内でした。
ここで、中国への輸出に対する規制が強化される可能性に関する最近の報告についてお話しします。現在の規制は意図した結果を達成していると私たちは信じています。世界中で当社製品に対する強い需要があることを考えると、データセンターのGPUに追加の輸出制限が採用されても、すぐに業績に重大な影響が及ぶとは考えていません。
しかし、長期的には、データセンターGPUの中国への販売を禁止する制限が実施された場合、永久的な損失となり、米国の業界が世界最大の市場の1つで競争し、主導権を握る機会となります。
当社のクラウドサービスプロバイダーは、アクセラレーテッドコンピューティングとAIの新時代に向けてデータセンターのインフラストラクチャをアップグレードするために世代交代を行う中、この四半期にHGXシステムに対する非常に強い需要を牽引しました。NVIDIA HGXプラットフォームは、シリコン、システム、インターコネクト、ネットワーク、ソフトウェア、アルゴリズムにわたる20年近くにわたるフルスタックの革新の集大成です。
NVIDIA H100 Tensor Core GPUを搭載したインスタンスは、現在、AWS、Microsoft Azure、およびいくつかのGPUクラウドプロバイダーで一般に提供されており、他のプロバイダーも間もなく提供される予定です。消費者向けインターネット企業も非常に強い需要を牽引しました。AI専用に構築されたデータセンターのインフラへの投資は、すでに大きな利益を生み出しています。たとえば、Metaは最近、リールを発売して以来、AIのレコメンデーションによってInstagramでの滞在時間が24%以上増加したことを強調しました。
企業もジェネレーティブAIの導入を競い合っており、クラウドでのNVIDIA搭載インスタンスの好調な消費とオンプレミスインフラストラクチャの需要が高まっています。クラウドでもオンプレミスでも、パートナー経由でも、直接顧客にサービスを提供していても、そのアプリケーションはアクセラレーションライブラリ、事前トレーニング済みのモデル、APIにアクセスして、NVIDIA AIエンタープライズソフトウェア上でシームレスに実行できます。
Snowflakeとのパートナーシップを発表しました。これにより、企業は独自のデータを使用してカスタマイズされたジェネレーティブAIアプリケーションをSnowflake Data Cloud内で安全に作成できるようになります。大規模言語モデルを開発するためのNVIDIA NeMoプラットフォームがあれば、企業はチャットボット、検索、要約などの高度なAIサービス用のカスタムLLMをSnowflakeデータクラウドから直接作成できるようになります。
事実上、どの業界もジェネレーティブAIの恩恵を受けることができます。たとえば、マイクロソフトが発表したばかりのようなAI Copilotは、10億人以上のオフィスワーカーと数千万人のソフトウェアエンジニアの生産性を向上させることができます。法律サービス、営業、カスタマーサポート、教育に携わる何十億人もの専門家が、それぞれの分野で訓練を受けたAIシステムを活用できるようになります。AI Copilotとアシスタントは、お客様に数千億ドル規模の新たな市場機会を創出しようとしています。
マーケティング、メディア、エンターテイメントにおけるジェネレーティブAIの初期の応用例がいくつか見られます。世界最大のマーケティングおよびコミュニケーションサービス組織であるWPPは、アーティストやデザイナーがジェネレーティブAIを3Dコンテンツ制作に統合できるように、NVIDIA Omniverseを使用してコンテンツエンジンを開発しています。WPPデザイナーは、ビジュアルデザイン用のカスタム生成AIモデルのファウンドリであるNVIDIA Picassoを使用して、アドビやゲッティイメージズなどのNVIDIAパートナーのジェネレーティブAIツールやコンテンツを責任を持ってトレーニングしながら、テキストプロンプトから画像を作成できます。
ビジュアルコンテンツプロバイダーのShutterstockもNVIDIA Picassoを使用して、ジェネレーティブAIの助けを借りて3Dシーンの背景を作成できるツールとサービスを構築しています。ServiceNowやアクセンチュアと提携して、エンタープライズAI機能の開発を迅速に進めるAI Lighthouseプログラムを立ち上げました。AI Lighthouseは、ServiceNowのエンタープライズオートメーションプラットフォームとエンジンを、NVIDIAアクセラレーテッドコンピューティングとアクセンチュアのコンサルティングおよび展開サービスと統合します。
また、Hugging Faceと協力して、企業向けの新しいカスタムAIモデルの作成を簡素化しています。Hugging Faceは、企業がNVIDIA HGXクラウドを搭載した高度なAIモデルをトレーニングおよび調整するための新しいサービスを提供します。そしてちょうど昨日、VMwareとNVIDIAは、NVIDIAとのVMware Private AI Foundationと呼ばれる主要な新しいエンタープライズサービスを発表しました。これは、VMwareを実行する企業向けのマルチクラウドソフトウェアを備えたNVIDIAのAIソフトウェアとアクセラレーテッドコンピューティングを特徴とする完全統合プラットフォームです。
VMwareの数十万の企業顧客は、モデルをカスタマイズし、インテリジェントなチャットボット、アシスタント、検索、要約などのジェネレーティブAIアプリケーションを実行するために必要なインフラストラクチャ、AI、クラウド管理ソフトウェアにアクセスできるようになります。また、業界標準のデータセンターサーバーエコシステム用に構築された新しいNVIDIA L40S GPUとBluefield-3 DPUデータセンターインフラストラクチャプロセッサを搭載した新しいNVIDIA AIエンタープライズ対応サーバーも発表しました。
L40Sは [見分けがつかない] 供給量に制限されず、世界をリードするサーバーシステムメーカー(ph)に出荷されています。L40Sは大容量データセンター向けに設計されたユニバーサルデータセンタープロセッサで、設計、視覚化、ビデオ処理、NVIDIA Omniverseの産業デジタル化を通じて、AIのトレーニングや発明など、最も計算量の多いアプリケーションを高速化するのに優れています。
NVIDIA AIエンタープライズ対応サーバーは、VMware、クラウドファンデーション、プライベートAIファンデーション向けに完全に最適化されています。デル、HP、レノボなどの世界有数のエンタープライズITコンピューティング企業から、100種類近くの構成のNVIDIA AIエンタープライズ対応サーバーが間もなく入手可能になります。ARMベースのグレースCPUとホッパーGPUを組み合わせたGH200グレースホッパースーパーチップがフル生産に入り、今四半期にOEMサーバーで発売される予定です。また、Atmos (ph)、国立研究所、スイス国立計算センターなど、複数のスーパーコンピューティング顧客にも出荷されています。
そして、NVIDIAとソフトバンクは、ジェネレーティブAIと5G/6Gアプリケーション向けのGH200ベースのプラットフォームで協力しています。最新のHBM3eメモリを搭載したグレースホッパースーパーチップの第2世代バージョンは、2024年の第2四半期に発売されます。巨大なAI言語モデル、レコメンデーターシステム、データ分析用の新しいクラスの大容量メモリAIスーパーコンピューターであるDGX GH200を発表しました。これは新しいNVIDIA [識別不能] スイッチシステムを初めて使用したもので、256個のグレースホッパースーパーチップすべてが一体となって動作するようになりました。[識別不能] 上でわずか8個のGPUを接続した前世代と比べると大きな進歩です。DGX GH200システムは年末までに利用可能になる予定で、グーグルクラウド、メタ、マイクロソフトが最初にアクセスできるようになっています。
ネットワークの力強い成長は、主にHGX GPUシステムを接続するためのInfiniBandインフラストラクチャによって推進されました。InfiniBandは、エンドツーエンドの最適化とネットワーク内コンピューティング機能のおかげで、AI向けに従来のイーサネットの2倍以上のパフォーマンスを提供します。数十億ドル規模のAIインフラストラクチャにとって、InfiniBandのスループットの向上による価値は何百 [見分けもつかない] 価値があり、ネットワークに利益をもたらします。さらに、数十万のGPUにスケーリングできるのはInfiniBandだけです。これは、主要なAI実践者が選択するネットワークです。
AIパフォーマンスの最適化を求めるイーサネットベースのクラウドデータセンター向けに、AIワークロード向けにイーサネットを最適化するように設計された高速ネットワークプラットフォームであるNVIDIA Spectrum-Xを発表しました。Spectrum-Xは、スペクトラムまたはイーサネットスイッチをBlueField-3 DPUと組み合わせて、従来のイーサネットの1.5倍優れたAIパフォーマンスと電力効率を実現します。ブルーフィールド3 DPUは大成功です。大手OEMの認定を受けており、複数のCSPや消費者向けインターネット企業に広がっています。
今度はゲームに移ります。ゲーム収益は24.9億ドルで、前四半期比で11%、前年比22%増加しました。成長は、ラップトップとデスクトップ用のGeForce RTX 40シリーズGPUによって促進されました。最終顧客の需要は堅調で、季節性にも対応していました。昨年の景気減速の後、世界の最終需要は成長に戻ったと考えています。私たちの前には大きなアップグレードの機会があります。インストールベースのわずか47%がRTXにアップグレードされ、GPUの約 20% がRTX 3060以上のパフォーマンスを備えています。
ノートパソコンのGPUは、RTX 4060 GPUを中心に重要な新学期シーズンに力強い成長を記録しました。NVIDIAのGPU搭載ラップトップは人気が高まっており、その出荷台数は現在、世界中のいくつかの地域のデスクトップGPUを上回っています。これにより、当社のゲーム収益全体の現実が少し変わる可能性があります。ラップトップの新学期と休暇中のビルドスケジュールを反映して、第2四半期と第3四半期が好調な四半期となります。
デスクトップでは、GeForce RTX 4060とGeForce RTX 4060 TI GPUを発売し、Ada Lovelaceアーキテクチャを299ドルという低価格に引き下げました。RTXとDLSSゲームのエコシステムは拡大し続けています。ディアブロIVやバルダーズゲート3などの大ヒット作を含む35の新しいゲームがDLSSサポートに追加されました。
現在、330を超えるRTXアクセラレーションゲームとアプリがあります。私たちはジェネレーティブAIをゲームにもたらしています。COMPUTEXでは、カスタムAIモデルファウンドリサービスであるNVIDIA Avatar Cloud EngineまたはACE for Gamesを発表しました。開発者はこのサービスを利用して、ノンプレイヤーキャラクターに知性をもたらすことができます。また、Nemo、Riva、Audio2Faceなど、多くのNVIDIAオムニバースとAIテクノロジーを利用しています。
今度はプロフェッショナルビジュアライゼーションに移ります。3億7,500万ドルの収益は、前四半期比で28%増加し、前年比で24%減少しました。Adaアーキテクチャの急成長は、第2四半期に力強い成長を牽引しました。当初はラップトップワークステーションで展開され、第3四半期にはデスクトップワークステーションのリニューアルが予定されています。これらには、最大4つのNVIDIA RTX 6000 GPUを搭載した強力な新しいRTXシステムが含まれており、5,800テラフロップス以上のAIパフォーマンスと192ギガバイトのGPUメモリを提供します。内部にはNVIDIA AIエンタープライズまたはNVIDIA Omniverseを設定できます。
また、Ada世代をベースにした3つの新しいデスクトップワークステーションGPUも発表しました。NVIDIA RTX 5000、4500、4000は、前世代と比較して最大2倍のRTコアスループットと最大2倍速いAIトレーニングパフォーマンスを提供します。3Dデザインやコンテンツ作成などの従来のワークロードに加えて、ジェネレーティブAI、大規模言語モデル開発、データサイエンスの新しいワークロードにより、RTXテクノロジーのプロビジュアライゼーションの機会が広がっています。
今月初めのJensenの基調講演 [indiscernible] での重要なテーマの1つは、グラフィックとAIの変換でした。これがNVIDIA Omniverseの位置付けです。OmniverseはOpenUSDのネイティブプラットフォームです。OpenUSDは、HTMLが2Dのユニバーサル言語であるように、急速に3D世界の標準になりつつあるユニバーサルインターチェンジです [識別不能]。アドビ、アップル、オートデスク、ピクサー、NVIDIAが協力してOpenUSDのアライアンスを結成しています。私たちの使命は、OpenUSDの開発と採用を加速することです。OpenUSDのワークロードにジェネレーティブAIをもたらすRunUSDやChatUSDなど、今後リリース予定の新しいOmniverseクラウドAPIを発表しました。
自動車に移ります。収益は2億5300万ドルで、前四半期比で15%減少し、前年比で15%増加しました。前年比で堅調な成長を牽引したのは、[見分けがつかない] またはいくつかの新エネルギー車メーカーに関連する自動運転プラットフォームの台頭です。この連続的な減少は、特に中国における自動車需要全体の減少を反映しています。ドライバーと乗客に車内での新しい体験を提供するために、MediaTekとのパートナーシップを発表しました。MediaTekは自動車用SoCを開発し、NVIDIAのGPUチップレットの新製品ラインを統合します。このパートナーシップは、高級車からエントリーレベルまで幅広い車両セグメントを対象としています。
損益計算書の他の部分に移ります。データセンターの売上の増加により、GAAPベースの売上総利益率は70.1%に、非GAAPベースの売上総利益率は71.2%に拡大しました。当社のデータセンター製品には、大量のソフトウェアと複雑さが含まれており、それが売上総利益の増加にもつながっています。連続したGAAPベースの営業費用は6%増加し、非GAAPベースの営業費用は5%増加しました。これは主に報酬と福利厚生の増加を反映しています。株式の買い戻しと現金配当という形で、約34億ドルを株主に還元しました。私たちの取締役会は、第2四半期末の残りの40億ドルの承認に加えて、さらに250億ドルの自社株買いを承認しました。
2024会計年度第3四半期の見通しについてお話しします。AIが途方もなく広く、業界を超えて顧客に幅広く活用されているデータセンタープラットフォームへの需要があります。私たちの需要の可視性は来年にまで及びます。サイクルタイムを短縮し、供給パートナーと協力して生産能力を増強するにつれて、今後数四半期にわたって供給は増え続けるでしょう。さらに、新しいL40S GPUは、クラウドからエンタープライズまで、さまざまなタイプのワークロードに対する高まる需要に対応するのに役立ちます。
第3四半期の総収益は160億ドル、プラスマイナス2%になると予想されています。連続的な成長は主にデータセンターが牽引し、ゲームとProVizも貢献すると予測しています。GAAPと非GAAPベースの売上総利益率は、それぞれ 71.5% と 72.5% で、プラスマイナス50ベーシスポイントになると予想されます。GAAPと非GAAPベースの営業費用は、それぞれ約29.5億ドルと20億ドルになると予想されています。
GAAPおよび非GAAPベースのその他の収益と費用は、非関連投資からの損益を除いて約1億ドルの収益になると予想されます。GAAPおよび非GAAPの税率は、個別の項目を除き、14.5%、プラスまたはマイナス1%になると予想されます。財務の詳細は、当社のIRサイトで入手できるCFOの解説やその他の情報に記載されています。
最後に、金融界の今後のイベントをいくつか強調させてください。8月30日にシカゴで開催されるジェフリーズ・テック・サミット、9月5日にサンフランシスコで開催されるゴールドマン・サックス・カンファレンス、9月6日にエバーコア・セミコンダクター・カンファレンス、9月7日にニューヨークで開催されるシティ・テック・カンファレンスに出席します。そして、9月11日のBofAバーチャルAIカンファレンス。2024会計年度第3四半期の結果について話し合う当社の決算説明会は、11月21日(火)に予定されています。
オペレーター、ここから質問を受け付けます。投票して質問してもらえますか?ありがとうございます。
質疑応答セッション
オペレーター
ありがとうございます。[オペレーターへの指示] TD Cowenのマット・ラムゼイから最初の質問を受けます。あなたの電話はもう開いています。
マット・ラムゼイ
はい。どうもありがとうございます。こんにちは。明らかに、驚くべき結果です。ジェンセン、最近登場した大規模モデル推論の応用について質問したいです。ですから、あなたたちがトレーニング市場で非常に大きなロックダウンシェアを持っていることは、大多数の投資家によく理解されていると思います。小規模市場の多く--小規模なモデル推論のワークロードは、過去にASICやCPUで行われていました。
そして、これらのGPTやその他の非常に大きなモデルの多くでは、この新しいワークロードが大規模モデルの推論を急速に加速させています。そして、あなたのグレースホッパースーパーチップ製品や他の製品はそれにかなり合っていると思います。しかし、スモールモデル推論とラージモデル推論の間の推論市場セグメントをどのように見ているか、そしてあなたの製品ポートフォリオはそのための位置付けについて教えていただけますか?ありがとう。
ジェンセン・フアン
ええ。どうもありがとう。それでは、少し話を戻しましょう。これらの大規模な言語モデルはかなり-かなり驚異的です。もちろん、いくつかのことをします。非構造化言語を理解する能力があります。しかし、その核となるのは、人間の言語の構造です。そして、研究したコーパスによって学習した大量の人間の知識をコード化または内部に圧縮しています。何が起こるかというと、このような大規模な言語モデルを作成し、できるだけ大きなモデルを作成し、そこからモデルのより小さなバージョン、本質的には教師と生徒のモデルを派生させます。それは蒸留と呼ばれるプロセスです。
したがって、これらの小さなモデルを見ると、教授、教師、学生などと同じように、大きなモデルから派生した、抽出された、またはそこから学んだ可能性が非常に高いです。そして、あなたはこれを今後見ることになるでしょう。そして、あなたは非常に大きなモデルから始めます。そのモデルには大量の一般性と一般化、そしていわゆるゼロショット機能があります。そのため、特にトレーニングしていないアプリケーションや質問、スキルの多くに対して、これらの大規模な言語モデルは奇跡的にそれらを実行することができます。それがそれをとても不思議なものにしているのです。
一方で、あらゆる種類のコンピューティングデバイスにこれらの機能を備えたいと思うので、あなたはそれらを抽出します。これらの小さなモデルは、特定のスキルに関しては優れた能力を備えているかもしれませんが、それほど一般化されていません。いわゆる優れたゼロショット機能はありません。そして、それらはすべて独自の機能を持っていますが、非常に大きなモデルから始めます。
オペレーター
分かりました。次に、BofA証券のVivek Aryaに行きます。あなたの電話はもう開いています。
ビベック・アーヤ
ありがとうございます。ちょっと説明と質問があります。コレット、来年には供給がどれだけ増える予定ですか?20%、30%、40%、50%上昇していると思いますか?四半期ごとに増えていると言っていたので、供給量の感覚を教えてください。
そして、ジェンセン、あなたへの質問は、ハイパースケーラーの全体的な支出を見ると、その購入は実際にはそれほど伸びていないということです。では、彼らがジェネレーティブAIのためにそのパイをさらに切り開くことができるという自信をあなたに与えているのは何ですか?この需要が今後1~2年でどの程度持続可能か、あなたの感想を教えてください。では、暗示されているデータセンターの第3四半期の見通し(120億ドル、130億ドル)を考えてみると、すでにAIアクセラレーションが導入されているサーバーの数についてどう思いますか?それはどこに行くのですか?ですから、あなたが見ている成長は、今後1〜2年は持続可能であるという自信を持ってください。
コレット・クレス
それで、私たちの供給についての質問をありがとう。はい、来会計年度だけでなく、次の四半期も供給を増やし続けると予想しています。パーセントで言うと、ここにはありません。これは、非常に多くの異なるサプライヤー、HGXの製造におけるさまざまな部分、および市場に出回っている他の多くの新製品にわたる作業です。しかし、私たちはサプライヤーへのサポートと、サプライヤーとの長い時間をかけて供給を改善してきたことの両方にとても満足しています。
ジェンセン・フアン
世界には、クラウド、企業など、約1兆ドル相当のデータセンターが設置されています。そして、その1兆ドルのデータセンターは、アクセラレーテッドコンピューティングとジェネレーティブAIへの移行を進めています。同時に2つのプラットフォームシフトが見られます。一つはアクセラレーテッドコンピューティングです。その理由は、それが現在最も費用対効果が高く、最もエネルギー効率が高く、最もパフォーマンスの高いコンピューティング方法だからです。
ご覧のとおり、そして突然、ジェネレーティブAIによって可能になり、アクセラレーテッドコンピューティングとジェネレーティブAIによって可能になりました。そして、この素晴らしいアプリケーションにより、誰もが従来のコンピューティング方法である汎用コンピューティングから、この新しいコンピューティング方法であるアクセラレーテッドコンピューティングへのプラットフォームシフトに移行する2つの理由ができました。これは、約1兆ドル相当のデータセンター、いわば年間0.25兆ドルの資本支出です。
ご覧のとおり、世界中のデータセンターは、その資本支出を今日のコンピューティングにおける最も重要な2つのトレンド、アクセラレーテッドコンピューティングとジェネレーティブAIに集中させています。ですから、これは短期的なことではないと思います。これは長期的な業界の移行であり、この2つのプラットフォームシフトが同時に起こっています。
オペレーター
次に、バーンスタイン・リサーチのステイシー・ラスゴンに行きます。あなたの電話は開いています。
ステイシー・ラスゴン
こんにちは、みんな。私の質問に答えてくれてありがとう。コレット、四半期内のデータセンターの規模を教えてもらえないかと思っていました。ガイドでさえ、システム対GPU、DGX対H100のようなものでしょうか?私が本当に把握しようとしているのは、価格やコンテンツ、あるいはそれをどのように定義するか、それと [見分けがつかない] ことと、実際に今後の成長を牽引するユニットとの比較です。そのあたりの色を教えてもらえますか?
コレット・クレス
もちろん、ステイシー。手伝わせてください。当四半期では、当社のHGXシステムは、当社のデータセンターだけでなく、これまで見てきたデータセンターの成長においても非常に重要な部分を占めました。これらのシステムには、ホッパーアーキテクチャのHGXだけでなく、アンペアアーキテクチャも含まれます。はい、私たちはまだこれらのアーキテクチャを両方とも市場で販売しています。それを考えると、もちろん、両方のシステムが一体となってかなり大きく成長していて、それが収益の増加を牽引しているとはどういう意味ですか。つまり、これら両方がデータセンター内の収益の原動力です。
私たちのDGXは常に、販売する追加システムの一部です。これらは、企業顧客だけでなく、消費者向けインターネット企業にも見られる他の多くの異なるタイプの顧客にとって素晴らしい機会です。DGXと一緒に販売するソフトウェアをまとめることも重要ですが、それは私たちが行っている売上の一部です。残りのGPU、L40Sについて話しているように、新しいGPUが市場に登場し、今後も成長を続けるでしょう。しかし、繰り返しになりますが、この前四半期の収益の最大の要因は、間違いなくHGXシステムでした。
ジェンセン・フアン
そして、ステイシー、何か付け加えることができれば。あなたはそれがH100だと言っています、そして私はあなたが心の中でどのような精神的イメージを抱いているか知っています。しかし、H100は35,000個の部品、70ポンド、合わせて約1兆個のトランジスタです。組み立てにはロボットが必要です。持ち上げるのに70ポンドかかるので、たくさんのロボットを作ります。そして、スーパーコンピューターをテストするにはスーパーコンピューターが必要です。そして、これらは技術の驚異であり、それらの製造は非常に集中的です。それで、私たちはそれをあたかもファブから外れるチップのようにH100と呼んでいると思いますが、H100は実際にはHGXが世界のハイパースケーラーに送られるのと同じように使われていて、本当に、非常に大きなシステムコンポーネントです。
オペレーター
次に、ジェフリーズと一緒にマーク・リパチスのところに行きます。あなたの電話はもう開いています。
マーク・リパシス
こんにちは。私の質問に答えてくれてありがとう、そして成功おめでとうございます。ジェンセン、それは成功の鍵のようです。市場での成功は、チップとハードウェアプラットフォームとともにソフトウェアエコシステムを提供することです。そして、これについて二部構成の質問をしました。あなたのソフトウェアエコシステムの進化、重要な要素を理解するのを手伝ってもらえないかと思っていました。また、この次元でリードを定量化する方法はありますか?たとえば、リードの構築に何年投資したかなどです。そして第二部、NVIDIAプラットフォームの価値のうち、ハードウェアの差別化とソフトウェアの差別化は何パーセントですか? についてのあなたの見解を教えてもらえませんか?ありがとうございます。
A — ジェンセン・フアン
ええ、マーク、私はその質問に本当に感謝します。AI Enterpriseというランタイムを用意するために、いくつかの指標を使用できるか見てみましょう。これは私たちのソフトウェアスタックの一部です。そして、これは、言ってみれば、ほぼすべての企業が、データ処理からの機械学習のエンドツーエンドの実行、実行したいフレームワークでの任意のモデルのトレーニング、推論とデプロイ、データセンターへのスケールアウトに使用しているランタイムです。ハイパースケールデータセンターのスケールアウトかもしれません。たとえば、VMware上のエンタープライズデータセンターのスケールアウトかもしれません。
これはどのGPUでも実行できます。現場には数億のGPU、クラウド、そしてほぼすべてのクラウドには何百万ものGPUがあります。また、単一のGPU構成で動作するだけでなく、コンピュートやマルチノードごとのマルチGPUでも動作します。また、GPUごとに複数のセッションまたは複数のコンピューティングインスタンスがあります。つまり、GPUごとの複数のインスタンスから複数のGPU、複数のノードからデータセンターの規模全体まで。つまり、NVIDIA AI Enterpriseと呼ばれるこのランタイムには、4,500のソフトウェアパッケージ、ソフトウェアライブラリがあり、互いに10,000ほどの依存関係があります。
そして、そのランタイムは、さっきも言ったように、スタックのインストールベースに合わせて継続的に更新され、最適化されています。そして、それはアクセラレーテッドコンピューティングを機能させるために必要なことのほんの一例にすぎません。コードの組み合わせの数とアプリケーションの組み合わせの種類は本当にすごいです。そして、ここにたどり着くまでに20年かかりました。しかし、私がおそらく私たちの会社として特徴づけるのは、言ってみれば、私たちの会社の要素はいくつかあります。1番は建築だと思います。
私たちのアーキテクチャの柔軟性、汎用性、パフォーマンスにより、データ処理からトレーニング、推論、推論を行う前のデータの前処理、データの後処理、そしてそれを使ってトレーニングできるように言語をトークン化することまで、先ほど言ったことをすべて行うことができます。その量--ワークフローは単なるトレーニングや推論よりもはるかに大変です。しかし、とにかく、そこに私たちは焦点を当てます、それで結構です。しかし、人々が実際にこれらのコンピューティングシステムを使用する場合、かなり多くのアプリケーションが必要です。そして、私たちのアーキテクチャの組み合わせにより、最低限の所有コストを実現することが可能になります。その理由は、私たちが非常に多くの異なるものを加速させるからです。
私たちの会社の第二の特徴は、インストールベースです。なぜすべてのソフトウェア開発者が私たちのプラットフォームに来るのかを自問する必要があります。その理由は、ソフトウェア開発者は、ビジネスを構築したり、投資から利益を得たりするために、最大数のエンドユーザーにリーチできる大規模なインストールベースを求めているからです。
そして、3つ目の特徴はリーチです。今日、私たちはパブリッククラウドとパブリックフェーシングクラウドの両方でクラウドを利用しています。なぜなら、私たちのプラットフォームを使用する顧客が非常に多いからです。私たちのプラットフォームを使用する開発者と顧客が非常に多いからです。CSPはそれをクラウドに置くことを喜んでいます。レコメンダーシステムや検索エンジン、データ処理エンジンの開発、訓練、運用、さらには訓練や推論に至るまで、社内消費のために使用しています。そして、私たちはクラウドにいて、エンタープライズにいます。
昨日、非常に重要な発表がありました。それを見るのは本当に価値があります。VMwareは世界の企業のオペレーティングシステムです。そして、私たちは数年前から一緒に仕事をしてきました、そして私たちは一緒になって、ジェネレーティブAIを世界の企業に端まで届けるつもりです。そして、リーチはもう一つの理由です。また、リーチが大きいため、世界中のすべてのシステムメーカーは、NVIDIAのプラットフォームを自社のシステムに組み込むことを切望しています。そのため、私たちのリーチにより、世界中のすべてのOEMやODMなどから非常に幅広い流通を行っています。
そして最後に、私たちの規模とスピードのおかげで、ソフトウェアとハードウェア、ネットワークとコンピューティングの非常に複雑なスタックを、さまざまな使用モデルとさまざまなコンピューティング環境のすべてにわたって維持することができました。そして、エンジニアリングのスピードを加速させながら、これらすべてを行うことができます。2年ごとに新しいアーキテクチャを導入しているようです。現在、私たちは約半年ごとに新しいアーキテクチャ、新製品を導入しています。そして、これらの特性により、エコシステムは私たちの上に会社とビジネスを構築することが可能になります。そして、それらの組み合わせが私たちを特別な存在にします。
オペレーター
次に、シティと一緒にアティフ・マリクに行きます。あなたの電話は開いています。
アティフ・マリク
こんにちは。私の質問に答えてくれてありがとう。結果と見通しについては素晴らしい仕事をしました。コレット、皆さんが話していたコアL40Sについて質問があります。L40Sは供給の密閉性にどの程度役立ちますか?そして、この製品による増収率や粗利益の貢献について教えていただけますか?ありがとうございます。
ジェンセン・フアン
ええ、アティフ。それをあなたのために取らせてください。L40Sは本当に異なるタイプのアプリケーション向けに設計されています。H100は大規模な言語モデル向けに設計されており、非常に大きなモデルと大量のデータだけを処理します。だから、それはL40の焦点ではありません。L40Sの焦点は、モデルを微調整し、事前にトレーニングされたモデルを微調整できるようにすることです。それは信じられないほどうまくいくでしょう。トランスフォームエンジンを搭載しています。パフォーマンスは高いです。サーバーには複数のGPUを搭載できます。ハイパースケールスケールアウト向けに設計されています。つまり、L40Sサーバーを世界のハイパースケールデータセンターに簡単に設置できます。標準ラック、標準サーバーに入っていて、すべてが標準なので、簡単に設置できます。
L40Sには、BlueField-3やVMwareで行ったすべての作業、SnowflakesやServiceNow、その他多くのエンタープライズパートナーと行ったソフトウェアスタックも組み込まれています。L40Sは世界の企業ITシステム向けに設計されています。だからこそ、HPE、デル、レノボ、その他約100種類のエンタープライズサーバーを構築している約20のシステムメーカーが、私たちと協力して、ジェネレーティブAIを世界の企業にもたらそうとしているのです。それで、L40Sは本当に別のタイプのスケールアウト用に設計されています。もちろん、それは大規模な言語モデルです。もちろん、ジェネレーティブAIですが、使用例は異なります。そして、L40Sは順調なスタートを切り、世界の企業やハイパースケーラーはL40Sの導入を強く求めています。
オペレーター
次に、モルガン・スタンレーと一緒にジョー・ムーアに行きます。あなたの電話は開いています。
ジョセフ・ムーア
素晴らしい。ありがとうございます。これらの数字で私にとって非常に驚くべきことは、一部の顧客と話しても、満たされていない需要の量だと思います。これらの数字は良いですが、あなたは数四半期で収益を3倍以上に増やしました。場合によっては、人々が得ているものの倍数に対する需要があります。それで、それについて話していただけますか?満たされない需要はどのくらいあると思いますか?そして、あなたは来年に向けて可視性を拡大することについて話しました。ここで、需要と供給の均衡がいつ実現するかについての見通しはありますか?
ジェンセン・フアン
ええ。一年中、そして来年にかけての視認性は抜群です。そして、私たちはすでに主要なCSPやデータセンタービルダーと共に次世代インフラを計画しています。需要 — 需要について考える最も簡単な方法です。世界は汎用コンピューティングからアクセラレーテッドコンピューティングに移行しつつあります。それが需要について考える最も簡単な方法です。企業がスループットを向上させ、エネルギー効率を改善し、コスト効率を向上させる最善の方法は、資本予算をアクセラレーテッドコンピューティングとジェネレーティブAIに振り向けることです。そうすることで、CPUから多くのワークロードをオフロードすることになりますが、利用可能なCPUは、データセンターでブーストされます。
そして、あなたが今見ているのは、企業がこれを認識していることです。ここの転換点は、この移行の始まりを認識し、設備投資をアクセラレーテッドコンピューティングとジェネレーティブAIに転用することです。そして、それはおそらく私たちの目の前にある機会について考える最も簡単な方法です。これは需要を牽引している単一のアプリケーションではありませんが、これは新しいコンピューティングプラットフォームです。言ってみれば、新しいコンピューティング移行が起こっています。そして、世界中のデータセンターがこれに対応し、広範囲にわたって変化しています。
オペレーター
次に、ゴールドマン・サックスの針敏也に行きます。あなたの電話はもう開いています。
トシヤ・ハリ
こんにちは。質問していただきありがとうございます。Coletteに簡単な説明の質問が1つあり、次にJensenにもう1つ質問がありました。コレット、前四半期に、CSPはデータセンターの収益の約40%、消費者向けインターネットは30%、企業は30%だと言っていたと思います。あなたの発言によると、CSPと消費者向けインターネットがあなたのビジネスのより大きな割合を占めていたように思えます。それを明確にしたり、確認したりできれば、とても助かります。
そして、ジェンセン、あなたへの質問です。AIの主要な実現者としてのあなたの立場、エンゲージメントの幅広さ、顧客プロジェクトに対する可視性を考えると、顧客が妥当な投資収益率を生み出すのに十分なアプリケーションやユースケースがあるとあなたがどれほど確信しているのか知りたいです。私が質問するのは、何年にもわたって需要プロファイルが少し一時停止する可能性があるという懸念があるからです。今後のデータセンター事業の持続的な拡大を支えるのに十分な幅と深さがあるかどうか知りたいです。ありがとうございます。
コレット・クレス
分かりました。Toshiyaさん、データセンター事業におけるお客様のタイプについての質問ありがとうございます。そして、私たちはそれをコンピューティングとネットワークを組み合わせるという観点から見ています。私たちのCSP、大規模なCSPは、第2四半期に収益の50%強を占めています。そして、次に大きなカテゴリーは、消費者向けインターネット企業です。そして、その最後の部分は、私たちのエンタープライズとハイパフォーマンスコンピューティングです。
ジェンセン・フアン
トシ、私は未来について推測するのは気が進まないので、コンピュータサイエンスの第一原理の観点から質問に答えます。汎用コンピューティングはブルートフォース汎用コンピューティングではないことがしばらく前から認識されています。汎用コンピューティングを大規模に使用することは、もはや前進するための最善の方法ではありません。エネルギーコストがかかりすぎ、高すぎ、アプリケーションのパフォーマンスが遅すぎます。
そしてついに、世界には新しいやり方があります。それはアクセラレーテッドコンピューティングと呼ばれ、それを加速させたのはジェネレーティブAIです。しかし、アクセラレーテッドコンピューティングは、すでにデータセンターにあるあらゆる種類の異なるアプリケーションに使用できます。そして、それを使うことで、CPUの負荷を軽減します。桁違い、コスト、エネルギーを大幅に節約でき、スループットも向上し、業界が本当に求めていることです。
今後、データセンターに投資する最善の方法は、汎用コンピューティングから設備投資をそらし、ジェネレーティブAIとアクセラレーテッドコンピューティングに集中させることです。ジェネレーティブAIは、生産性を向上させる新しい方法、顧客に提供する新しいサービスを生み出す新しい方法を提供します。アクセラレーテッドコンピューティングは、コストと電力の節約に役立ちます。そして、アプリケーションの数は、まあ、数え切れないほどです。たくさんの開発者、たくさんのアプリケーション、たくさんのライブラリ。展開する準備ができました。
ですから、世界中のデータセンターはこれを認識していると思います。これが今後、データセンターにリソースを配備し、資本を投入する最良の方法だということです。これは世界のクラウドにも当てはまり、GPUに特化した新しい専門分野、つまりGPUに特化したクラウドサービスプロバイダーがたくさん出てきています。有名なものの一つはCoreWeaveで、彼らは信じられないほどうまくやっています。しかし、あなたは今、世界中の地域のGPU専門サービスプロバイダーを見かけています。そして、それは皆同じことを認識しているからです。今後資本を投資する最善の方法は、アクセラレーテッドコンピューティングとジェネレーティブAIに資金を投入することです。
また、企業がそれを望んでいることもわかりました。しかし、企業がそれを実現するには、企業の管理システム、オペレーティングシステム、セキュリティとソフトウェアデファインドのデータセンターのアプローチをサポートする必要があります。それがすべてVMwareです。また、VMwareと数年間協力して、VMwareがCPUの仮想化だけでなく、GPUの仮想化やGPUの分散コンピューティング機能もサポートできるようにし、高性能ネットワークを実現するNVIDIAのBlueFieldをサポートしてきました。
そして、私たちが取り組んできたジェネレーティブAIライブラリはすべて、VMwareの営業部隊によって特別なSKUとして提供される予定です。これは、ご存知のとおり、世界中の数十万のVMware顧客に届いているため、非常に大きなものです。そして、この新しいSKUはVMwareプライベートAI財団と呼ばれる予定です。そして、これは企業にとってそれを可能にする新しいSKUになります。また、HP、デル、L40SをベースにしたLenovoの新しいサーバー製品と組み合わせれば、どの企業も最先端のAIデータセンターを持ち、ジェネレーティブAIを利用できるようになります。
ですから、その質問に対する答えでは、四半期ごとに何が起こるかを正確に予測するのは難しいと思います。しかし、プラットフォームの変化が見られるようになった今、この傾向は非常にはっきりしていると思います。
オペレーター
次に、UBSのティモシー・アル?$#@$のところに行きます。あなたの電話はもう開いています。
ティモシー・アル?$#@$
どうもありがとう。あなたのネットワークソリューションの、出荷しているコンピューティングへの接続率について教えていただけますか?言い換えれば、ネットワークソリューションとともに出荷されるコンピューティングの半分が半分以上、半分未満ということですか?そして、これはGPUの割り当ての優先順位を決めるのに使えるものですか?ありがとうございます。
ジェンセン・フアン
さて、逆に言えば、GPUの割り当ての優先順位付けにはそれを使用しません。どのネットワークを使いたいかはお客様に決めさせています。そして、非常に大規模なインフラストラクチャを構築している顧客にとって、InfiniBandは、言うまでもありませんが、考えるまでもありません。その理由は、InfiniBandの効率が非常に高いため、10億ドルのインフラストラクチャでスループットが約10%、15%、20%向上すれば、大幅な節約につながります。基本的に、ネットワークは無料です。
したがって、単一のアプリケーション、つまりインフラストラクチャがある場合、またはそれが主に大規模な言語モデルや大規模なAIシステムに特化している場合、InfiniBandは本当に素晴らしい選択肢です。ただし、さまざまなユーザー向けにホスティングしていて、イーサネットがデータセンターの管理方法の中核を成しているなら、最近発表したばかりのSpectrum-Xという優れたソリューションがあります。さて、私たちはInfiniBandの機能のすべてではなく、一部をイーサネットに導入します。そうすれば、イーサネット環境内でも、優れたジェネレーティブAI機能を利用できるようになります。
つまり、Spectrum-Xは今急上昇しているのです。BlueField-3が必要で、当社のSpectrum-2とSpectrum3イーサネットスイッチの両方をサポートしています。そして、追加のパフォーマンスは本当に素晴らしいです。BlueField-3はそれを可能にし、それに伴うソフトウェアもたくさんあります。ご存知のように、BlueFieldは私の心にとって本当に大切なプロジェクトで、素晴らしいスタートを切りました。ホームランだと思います。これはネットワーク内コンピューティングの概念であり、Bluefield-3ではコンピューティングファブリックに多くのソフトウェアを組み込むことが実現されており、ホームランになるでしょう。
オペレーター
最後の質問は、ベン・ライツェスとメリウスの話です。あなたの電話はもう開いています。
ベンジャミン・ライツェス
こんにちは。こんにちは。こんばんは。質問ありがとうございます、ここに入れました。私の質問は、DGX Cloudについてです。あなたが見ているレセプションと、その勢いについて教えていただけますか?それから、コレット、ソフトウェアビジネスについても話してもらえますか?現在の稼働率とそのビジネスの重要性はどれくらいですか?そして、それはすでにマージンを少し助けているようです。どうもありがとうございます。
ジェンセン・フアン
DGX Cloudの戦略、そこから始めましょう。DGX Cloudの戦略は、いくつかのことを達成することです。1つ目は、私たちと世界のCSPとの間で本当に緊密なパートナーシップを築くことです。私たちは、私たちの多くが世界中の約3万社の企業と仕事をしていることを認識しています。そのうち15,000社は新興企業です。そのうち数千社はジェネレーティブAI企業で、最も急成長しているセグメントはもちろんジェネレーティブAIです。私たちは世界中のすべてのAI新興企業と協力しています。そして最終的には、彼らは世界有数の雲の1つに着陸したいと考えています。そこで、私たちはDGX Cloudを世界をリードするクラウド内の足跡として構築しました。これにより、すべてのAIパートナーと同時に連携し、それらをクラウドパートナーの1つに簡単に組み込むことができます。
2つ目の利点は、CSPと私たち自身が緊密に連携して、ハイパースケールクラウドのパフォーマンスを向上させることができることです。ハイパースケールクラウドは、歴史的にマルチテナント向けに設計されており、ジェネレーティブAIのような高性能な分散コンピューティング向けには設計されていません。そのため、アーキテクチャ的に緊密に連携して、エンジニアが協力してネットワークのパフォーマンスとコンピューティングのパフォーマンスを向上させることができたのは、本当にパワフルで、本当に素晴らしいです。
そして第三に、もちろん、NVIDIAは私たち自身も非常に大規模なインフラストラクチャを使用しています。そして、私たちの自動運転車チーム、NVIDIA研究チーム、ジェネレーティブAIチーム、言語モデルチーム、私たちが必要とするインフラストラクチャの量はかなり多いです。そして、私たちの最適化コンパイラーはどれも、私たちのDGXシステムなしでは不可能です。最近のコンパイラでさえAIを必要とし、ソフトウェアやインフラソフトウェアを最適化するには開発にもAIが必要です。私たちのエンジニアリングがAIを使ってチップを設計していることはよく知られています。
そのため、社内、つまり私たち自身のAI消費、ロボティクスチームなど、Omniverseチームなどは、すべてAIを必要としています。そのため、私たちの内部消費量もかなり多く、それをDGX Cloudに当てています。そのため、DGX Cloudには複数のユースケースと複数のドライバーがあり、大成功を収めています。そして、私たちのCSPはそれが大好きで、開発者はそれが大好きで、社内のエンジニアはもっと欲しいと強く求めています。そして、それは私たちが世界中のすべてのAIエコシステムと関わり、緊密に連携するための素晴らしい方法です。
コレット・クレス
そして、私たちのソフトウェア収益に関するあなたの質問に答えられるか見てみましょう。冒頭の発言の一部でも、データセンター製品、GPUシステム、ゲームや将来の自動車製品など、ソフトウェアはほぼすべての製品の一部であることを忘れないでください。その通りです、私たちはそれを独立した事業でも販売しています。そして、そのスタンドアロンソフトウェアは成長を続け、ソフトウェアサービスとアップグレードの両方を提供しています。
現在、この時点で、私たちのソフトウェア事業はおそらく年間数億ドルと見込んでいます。そして、DGX、H100のPCIeバージョンなど、販売している製品の多くにNVIDIA AI Enterpriseが含まれると考えています。また、CSPマーケットプレイスでも入手可能性が高まると思います。それで、私たちは素晴らしいスタートを切りました、そして私はこれが今後も成長し続けると信じています。
オペレーター
これで、今日の質疑応答は終わりです。追加の挨拶や閉会の言葉があれば、Jensen Huangに電話をかけ直します。
ジェンセン・フアン
新しいコンピューティング時代が始まりました。業界は同時に、アクセラレーテッドコンピューティングとジェネレーティブAIという2つのプラットフォーム移行を経験しています。データセンターは、プラットフォームを汎用コンピューティングからアクセラレーテッドコンピューティングに移行しています。1兆ドル規模のグローバルデータセンターは、パフォーマンス、エネルギー効率、コストを桁違いに向上させるために、アクセラレーテッドコンピューティングに移行します。アクセラレーテッドコンピューティングによってジェネレーティブAIが可能になり、現在ではソフトウェアのプラットフォームシフトが推進され、これまで不可能だった新しいアプリケーションが可能になっています。アクセラレーテッドコンピューティングとジェネレーティブAIが一緒になって、広範囲にわたるコンピューター業界のプラットフォームシフトを推進しています。
私たちの需要は途方もないです。生産能力を大幅に拡大しています。今年の残りの期間と来年の供給は大幅に増加するでしょう。NVIDIAは20年以上にわたってこのための準備をしており、世界の業界、つまり世界の産業が構築できる新しいコンピューティングプラットフォームを開発しました。NVIDIAを特別なものにしているのは、一つは建築です。NVIDIAは、データ処理、トレーニング、推論、あらゆるAIモデル、リアルタイムの音声からコンピュータービジョン、巨大なレコメンダーからベクターデータベースまで、あらゆるものを高速化します。当社のアーキテクチャのパフォーマンスと汎用性は、データセンターのTCOを最小限に抑え、エネルギー効率を最大化します。
二、インストールベース。NVIDIAには、世界中で何億ものCUDA互換GPUがあります。開発者がエンドユーザーにリーチしてビジネスを成長させるには、大規模なインストールベースが必要です。NVIDIAは開発者が好むプラットフォームです。より多くの開発者がより多くのアプリケーションを作成し、NVIDIAを顧客にとってより価値のあるものにします。三、リーチ。NVIDIAは、クラウド、エンタープライズデータセンター、インダストリアルエッジ、PC、ワークステーション、機器、ロボティクスの分野です。それぞれが根本的にユニークなコンピューティングモデルとエコシステムを持っています。OEM、コンピューターOEMなどのシステムサプライヤーは、NVIDIAが大きな市場需要とリーチを提供しているため、自信を持ってNVIDIAに投資できます。スケールと速度。NVIDIAはかなりの規模を達成し、アクセラレーテッドコンピューティングとジェネレーティブAIに100%投資しています。私たちのエコシステムパートナーは、私たちが強力なロードマップとリーチを提供して成長を支援する専門知識、焦点、規模を持っていると信頼できます。
これらの機能の相乗効果により、私たちは加速しています。拡大するジェネレーティブAIの世界に対応するため、2年ごとではなく、約6か月ごとに新製品をアップグレードして追加しています。大規模な言語モデルのトレーニングと推論のためにH100の出力を増やしましたが、クラウドのスケールアウトやエンタープライズサーバー向けに、新しいL40SユニバーサルGPUを増やしています。イーサネットスイッチ、BlueField-3 Super NIC、ソフトウェアで構成されるSpectrum-Xは、イーサネットインフラストラクチャ上で可能な限り最高のAIパフォーマンスを求めるお客様に役立ちます。顧客はすでにグレースホッパーを使って次世代のアクセラレーテッドコンピューティングとジェネレーティブAIに取り組んでいます。
私たちは、プライバシー、セキュリティ、主権をモデルにしたジェネレーティブAIを求める世界の企業にNVIDIA AIを拡張しています。アクセンチュア、アドビ、ゲッティ、ハギングフェイス、スノーフレーク、ServiceNow、VMware、WPPなどの世界をリードするエンタープライズIT企業と、エンタープライズシステムパートナーであるデル、HPE、レノボと協力して、ジェネレーティブAIを世界の企業にもたらしています。NVIDIA Omniverseを構築するのは、世界の数兆ドル規模の重工業がジェネレーティブAIを使用して物理的資産の構築と運用を自動化し、生産性を向上させることをデジタル化し、可能にするためです。ジェネレーティブAIはクラウドから始まりますが、最も重要な機会は、企業が数兆ドルの生産性向上を実現できる世界最大の産業にあります。NVIDIA、お客様、パートナー、そしてエコシステム全体にとって、コンピューティングにおけるこの世代交代を推進するのはエキサイティングな時期です。来四半期の進捗状況をお知らせするのを楽しみにしています。
オペレーター
これで今日の電話会議は終わりです。これで接続を切断できます。
(ヒント:このトランスクリプトは録音によって変換されます。最善を尽くしますが、変換の正確性を完全に保証することはできません。あくまでも参考用です。)