share_log

黄仁勋最新万字访谈:AGI即将来临,AI将彻底改变生产力

黃仁勳最新萬字訪談:AGI即將來臨,AI將徹底改變生產力

華爾街見聞 ·  07:52

機器學習的飛輪才是最重要的。僅僅擁有強大的GPU並不能保證一家公司在AI領域取得成功。

10月4日,英偉達首席執行官黃仁勳做客訪談節目Bg2 Pod,與主持人Brad Gerstne和Clark Tang進行了一場廣泛的對話。

他們主要討論瞭如何將智能擴展到AGI、英偉達的競爭優勢、推理與訓練的重要性、AI領域未來的市場動態、AI對各個行業的影響、Elon的孟菲斯超級集群與X.ai、OpenAI等話題。

黃仁勳強調了AI技術的迅速演變,尤其是通向通用人工智能(AGI)道路上的突破。他表示,AGI助理即將以某種形式出現,並且會隨着時間的推移變得更加完善。

黃仁勳還分享了英偉達在計算革命中的領導地位,指出通過降低計算成本和創新硬件架構,英偉達在推動機器學習和AI應用中佔據了顯著優勢。他特別提到英偉達的「護城河」,即其十年積累的軟硬件生態系統,使得競爭者很難通過單一的芯片改進超越。

此外,黃仁勳讚揚了xAI和馬斯克團隊在短短19天內完成十萬個GPU的孟菲斯超級集群建設,稱這是「前所未有」的成就。這一集群無疑是全球最快的超級計算機之一,將在AI推理和訓練任務中發揮重要作用。

談及AI對生產力的影響,黃仁勳樂觀地表示,AI將極大提升企業的效率,帶來更多的增長機會,並不會導致大規模失業。同時,他也呼籲業界加強對AI安全性的關注,確保技術的開發和使用有益於社會。

全文要點總結如下:

  • AGI助理)很快就會以某種形式出現……一開始它會非常有用,但並不完美。然後隨着時間的推移,它會變得越來越完美。
  • 我們在10年內將計算的邊際成本降低了100000倍。我們整個堆棧都在增長,整個堆棧都在創新。
  • 人們認爲設計出更好的芯片的原因在於它有更多的觸發器、更多的位和比特……但機器學習不僅僅是軟件,它關乎整個數據管道。
  • 機器學習的飛輪才是最重要的。你必須考慮如何讓這個飛輪更快。
  • 僅僅擁有強大的GPU並不能保證一家公司在AI領域取得成功。
  • 馬斯克對大型系統的工程和建設以及資源調配的理解是獨一無二的... 十萬個GPU作爲一個集群... 19天內完成。
  • AI不會改變每一項工作,但會對人們的工作方式產生巨大影響。公司使用AI提高生產力時,通常表現爲更好的收益或增長。

AGI和AI助理的演變

Brad Gerstner:

今年的主題是將智能擴展到AGI。兩年前我們做這件事的時候,我們是在AI時代做的,那是在ChatGPT的兩個月前,考慮到所有這些變化,這真是令人難以置信。所以我覺得我們可以用一個思想實驗和一個預測來開始。

如果我把AGI通俗地想象成我口袋裏的私人助理,如果我認爲AGI就是那個口語助理,我已經習慣了。它知道我的一切。它對我有完美的記憶,可以和我交流。他們可以幫我預訂酒店,或者幫我預約醫生。看看當今世界的變化速度,你認爲我們什麼時候才能擁有個人助理?

黃仁勳:

很快就會以某種形式出現。而且隨着時間的推移,這個助理會越來越好。這就是我們所知道的美妙技術。所以我認爲一開始它會非常有用,但並不完美。然後隨着時間的推移,它會變得越來越完美。就像所有的技術一樣。

Brad Gerstner:

當我們看看變化的速度時,我認爲馬斯克說過,真正重要的唯一事情就是變化的速度。我們確實感覺到變化的速度已經急劇加快,這是我們在這些問題上見過的最快變化速度,因爲我們已經在AI領域摸爬滾打了十年,甚至更長。這是你職業生涯中見過的最快變化速度嗎?

黃仁勳:

這是因爲我們重新發明了計算。很多事情之所以發生,是因爲我們在10年內將計算的邊際成本降低了100000倍。摩爾定律應該是100倍左右。我們通過多種方式實現了這一點。首先,我們引入了加速計算,將CPU上效率較低的工作放在GPU上。我們通過發明新的數值精度來實現這一點。我們通過新的架構來實現這一點,發明了張量核心,以系統的方式構建MV Link,以及非常非常快的內存、以及使用MV Link進行擴展並在整個堆棧上工作。基本上,我描述的關於英偉達如何做事的一切都導致了超摩爾定律的創新速度。

現在真正讓人驚奇的是,從此之後,我們從人工編程轉向了機器學習。機器學習的神奇之處在於,機器學習可以學得非常快。事實證明如此。因此,當我們重新制定分配計算的方式時,我們做了很多,各種並行性。張量並行性,各種管道並行性。我們擅長在此基礎上發明新算法和新訓練方法,所有這些技術,所有這些發明都是相互疊加的結果。

回顧過去,如果你看看摩爾定律是如何運作的,軟件是靜態的。它是預編譯的,就像放入商店的收縮筏一樣。它是靜態的,下面的硬件以摩爾定律的速度增長。現在,我們整個堆棧都在增長,整個堆棧都在創新。所以我認爲,現在我們突然看到了擴展。

這當然是非凡的。但我們過去談論的是預訓練模型和在那個層面上的擴展,以及我們如何將模型大小翻倍,因此相應地翻倍,數據大小也翻倍。結果,所需的計算能力每年增加四倍。這是一件大事。但現在我們看到了後訓練的擴展,我們看到了推理的擴展。所以人們過去認爲預訓練很難,推理很容易。現在一切都很難。這很有道理,但認爲人類的所有思維都是一次性的想法有點荒謬。所以,必須有一個快速思考、慢速思考、推理、反思、迭代和模擬等概念。現在它正在出現。

英偉達的競爭護城河

Clark Tang:

我認爲,關於英偉達最容易被誤解的事情之一就是真正的英偉達模式有多深。我認爲有一種觀念,如果有人發明了一種更好的芯片,他們就贏了。但事實是,你花了十年時間構建從GPU到CPU再到網絡的完整堆棧,尤其是支持應用程序的軟件和庫。在英偉達上運行。所以我認爲你談到了這一點,但當你想到英偉達今天的護城河時,,您認爲今天的視頻模式比三四年前大還是小?

黃仁勳:

好吧,我很感謝你認識到計算是如何變化的。事實上,人們認爲(而且很多人現在仍然這樣認爲)設計出更好的芯片的原因在於它有更多的觸發器、更多的位和比特。您明白我的意思嗎?您會看到他們的主題演講幻燈片。它有所有這些觸發器、條形圖和諸如此類的東西。這些都很好。我的意思是,看,馬力確實很重要。是的。所以這些事情從根本上來說很重要。

然而,不幸的是,這都是想法。這都是在軟件是運行在Windows上的某個應用程序並且軟件是靜態的意義上的想法,對嗎?這意味着改進系統的最佳方法就是製造越來越快的船。但我們意識到機器學習不是人類編程。機器學習不僅僅是軟件,這關乎整個數據管道。事實上,機器學習的飛輪才是最重要的。那麼你如何看待我啓用這個飛輪?一方面,讓數據科學家和研究人員在這個飛輪中高效工作,而這個飛輪從一開始就開始了。很多人甚至沒有意識到需要AI來管理數據,來教導AI。而AI本身就相當複雜。

Brad Gerstner:

AI本身在改進嗎?它也在加速嗎?再說一次,當我們考慮競爭優勢時,是的,沒錯。這是所有這些的組合。

黃仁勳:

正是如此,正是因爲有了更聰明的AI來管理數據,才會導致這種情況。我們現在甚至有了合成數據生成和各種不同的數據管理方式,向其呈現數據。所以在你接受培訓之前,你就已經涉及了大量的數據處理。所以人們會想,哦,Pytorch,這是世界的開始,也是世界的終結。這非常重要。

但別忘了,在Pytorch之前和之後,飛輪的意義在於你必須思考的方式,我該如何思考整個飛輪,如何設計一個計算系統,一個計算架構,幫助你利用這個飛輪,讓它儘可能高效。這不是一個應用程序訓練的大小。這說得通嗎?這只是一步。好吧。飛輪上的每一步都很難。所以你應該做的第一件事,不是思考如何讓Excel更快,如何讓doom更快,那是過去的事情,不是嗎?現在你必須考慮如何讓這個飛輪更快?這個飛輪有很多不同的步驟,機器學習並不容易,你們都知道。

OpenAI 或 X 或 Gemini 團隊所做的事情都不容易,他們深思熟慮地思考着我們。我的意思是,他們做的事情並不容易。所以我們決定,你看,這才是你應該考慮的。這是整個過程,你想加速其中的每一部分。你要尊重多爾斯定律,多爾斯定律表明,如果這是30%的時間,而我將其加速了三倍,那麼我並沒有真正加速整個過程。這有道理嗎?你真的想創建一個系統來加速每一步,因爲只有做整個事情,你才能真正實質性地改善週期時間和飛輪,也就是學習率,最終才是導致指數級增長的原因。

所以,我想說的是,我們對公司真正做的事情的看法會體現在產品上。注意,我一直在談論這個飛輪,整個網站。是的,沒錯。我們加速了一切。

現在,主要關注點是視頻。很多人都專注於物理AI和視頻處理。想象一下前端。每秒有TB的數據進入系統。舉個例子,一個管道會接收所有這些數據。首先要準備好訓練。是的,這樣整個過程就可以加速。

Clark Tang:

今天人們只考慮文本模型。是的,但未來是,這個視頻模型,使用一些文本模型,比如o1,在我們到達那裏之前真正處理大量數據。

黃仁勳:

是的。所以語言模型會涉及到一切。但我們,這個行業花費了巨大的技術和精力來訓練語言模型,訓練這些大型語言模型。現在,我們在每一步都使用大型語言形式。這非常了不起。

Brad Gerstner:

我聽到你說的是,在組合系統中,是的,優勢會隨着時間的推移而增長。所以我聽到你說,我們今天的優勢比三到四年前更大,因爲我們正在改進每個組件。這就是組合,當你想到,例如,作爲一個商業案例研究,英特爾,相對於你現在的位置,它擁有主導模式,在堆棧中佔據主導地位。也許,再簡單歸納一下,將你的競爭優勢與他們在其週期高峰期所擁有的競爭優勢進行比較。

黃仁勳:

英特爾之所以與衆不同,是因爲他們可能是第一家在製造工藝工程和製造方面表現出色的公司。製造上面說的就是製造芯片。設計芯片,在x86架構中構建芯片,製造越來越快的x86芯片,這是他們的才華所在,他們將其與製造融合在一起。

我們公司有點不同,我們認識到這一點,事實上,並行處理並不要求每個晶體管都表現出色,串行處理要求每個晶體管都表現出色。並行處理需要大量的晶體管才能更具成本效益。我寧願晶體管多10倍,速度慢20%。然後晶體管少10倍,速度快20%。這有道理嗎?他們想要相反的結果。因此,單線程性能、單線程處理和並行處理非常不同。因此,我們觀察到,事實上,我們的世界並不是越走越好。我們想要做得非常好,儘可能好,但我們的世界真的在不斷進步。

並行計算、並行處理很難,因爲每個算法都需要一種不同的重構方式和重新構建算法的架構。人們沒有意識到的是,你可以有3個不同的 CPU。它們都有自己的C編譯器。你可以將軟件編譯到那個軸上。

這在加速計算中是不可能的。提出架構的公司必須提出自己的 Open GL。所以我們革命性地進行了深度學習,因爲我們的領域特定庫叫做cuDNN(深度神經網絡庫),一個領域特定庫稱爲光學。我們有一個領域特定庫,稱爲 cuQuantum。

Brad Gerstner:

對於位於下方的行業特定算法,您知道,每個人都關注的 Pytorch 層。就像我經常聽到的那樣。

黃仁勳:

如果我們不發明它,上面的任何應用程序都無法工作。你們明白我的意思嗎?所以是英偉達真正擅長的算法。在底層架構之上的科學之間的傳播,這就是我們真正擅長的。

英偉達正在構建一個完整的AI計算平台,包括硬件、軟件和生態系統

Clark Tang:

現在所有的注意力都集中在推理上。但我記得,兩年前,我和Brad共進晚餐時問過你一個問題,你認爲你的護城河在推理方面會像在訓練方面一樣強大嗎?

黃仁勳:

我不確定我是否說過它會更強。

Clark Tang:

你剛才提到了很多這些元素,兩者之間的可組合性,或者,我們不知道整體組合。對於客戶來說,能夠在兩者之間保持靈活性非常重要。但是,既然我們現在已經處於推理時代,你能不能談談?

黃仁勳:

推理訓練就是在那種規模上進行推理。我的意思是,你是對的。所以如果你訓練得當,那麼很有可能你會推理得當,如果你在沒有任何考慮的情況下在這個架構上構建它,它將在這個架構上運行。好吧,你仍然可以去優化它以適應其他架構,但至少,因爲它已經在英偉達上構建了架構,它將在英偉達上運行。

現在,另一個方面當然只是一種資本投資方面,也就是當你訓練新模型時,你希望用你最好的新設備進行訓練。這會留下你昨天使用的設備,而這些設備非常適合推理。所以在新的基礎設施背後有一系列免費的設備可以兼容。因此,我們非常嚴格地確保我們始終兼容,這樣我們留下的一切都將繼續保持卓越。

現在,我們還投入了大量精力不斷重新發明新算法,以便當時間到來時,Hopper架構比他們購買時好兩倍、三倍、四倍,這樣,這個基礎設施就會繼續真正有效。因此,我們所做的所有工作,改進新算法、新框架。請注意,它有助於我們擁有的每一個安裝基礎。Hopper更適合它,Ampere更適合它,甚至Volta也更適合它。

我想Sam Altman剛剛告訴我,他們最近剛剛停用了OpenAI的Volta基礎設施。所以我認爲,我們留下了這條安裝基礎的痕跡,就像所有計算安裝基礎都很重要一樣。英偉達涉足每一個雲端,包括本地和邊緣。

VILA的視覺語言模型在雲端創建,無需修改,在機器人邊緣也能完美運行。它們都具有良好的兼容性。因此,我認爲架構兼容性對於大型設備非常重要,對於 iPhone 和其他設備也是如此。我認爲安裝基礎對於推理非常重要。

黃仁勳:

但真正讓我受益匪淺的是,我們正在努力在新的架構中訓練這些大型語言模型。我們能夠思考,在某一天時機成熟時,如何創建在推理方面表現出色的架構。因此,我們一直在思考推理模型的迭代模型,以及如何爲此創建非常互動的推理體驗,對吧,您的個人代理。您不想說完話後就離開並思考一段時間。您想很快與您互動。那麼我們該如何創建這樣的東西呢?

MVLink這樣我們就可以採用這些非常適合訓練的系統。但是當你完成它時,推理性能會非常出色。所以你想優化這個到第一個Token的時間。而到第一個Token的時間實際上非常難做到,因爲到第一個Token的時間需要大量的帶寬。但如果你的上下文也很豐富,那麼你需要大量FLOPS。因此,你需要無限量的帶寬,同時無限量的FLOPS才能實現幾毫秒的響應時間。所以這個架構真的很難實現。我們爲此發明了偉大的Blackwell MVLink。。

Brad Gerstner:

本週早些時候和 Andy Jassy(亞馬遜總裁兼CEO)一起吃飯,Andy說,我們有 Tranium、Inferentia 即將到來。我認爲大多數人再次將這些視爲英偉達的問題。但接下來,他說英偉達是我們的重要合作伙伴,並且將繼續是我們的重要合作伙伴。就我所見,未來世界將依靠英偉達。

所以當你想到正在構建的定製ASIC時,它們將用於目標應用。也許是Meta的推理加速器,也許是亞馬遜的訓練,或者谷歌的TPU。然後你想想你今天面臨的供應短缺,這些因素會改變這種動態嗎?或者它們會補充他們從你那裏購買的系統?

黃仁勳:

我們只是在做不同的事情。是的,我們試圖完成不同的事情。現在英偉達正在嘗試爲這個新世界、這個機器學習世界、這個生成式AI世界、這個代理式AI世界構建一個計算平台。我們試圖創造,在計算領域,如此深刻的一點是,經過60年的發展,我們重新發明了整個計算堆棧。從編程到機器學習,從CPU到GPU,從軟件到AI,應用程序從軟件到AI。從軟件工具到AI。因此,計算堆棧和技術堆棧的每個方面都發生了變化。

我們想做的是創建一個隨處可用的計算平台。這確實是我們所做工作的複雜性,我們所做工作的複雜性在於,如果你仔細想想我們所做的事情,就會發現我們正在構建整個AI基礎設施,我們把它看作一臺計算機。我之前說過,數據中心現在是計算的單位。對我來說,當我想到計算機時,我考慮的不是芯片。我在考慮這個東西。這是我的思維模型,裏面的所有軟件、所有編排、所有機器,都是我的使命。這就是我的計算機。

我們每年都試圖建造一臺新的。是的,這太瘋狂了。以前從來沒有人這樣做過。我們每年都試圖建造一臺全新的。每年,我們都提供兩到三倍的性能。因此,每年,我們都會將成本降低兩到三倍。每年,我們都會將能源效率提高兩到三倍。因此,我們要求客戶不要一次性購買所有東西,每年只買一點,對嗎?好的。這樣做的原因是,我們希望它們的成本在未來保持平均水平。現在,所有東西在架構上都是兼容的,所以以我們現在的速度單獨構建這些東西是非常困難的。

現在,雙重困難的部分是,我們接受所有這些,而不是將其作爲基礎設施或服務出售,我們不同意所有這些。我們將它集成到GCP、AWS、Azure、X 中。所以每個人的集成都不同。我們必須將我們所有的架構庫、所有算法和所有框架集成到他們的框架中。我們將我們的安全系統集成到他們的系統中,我們將我們的網絡集成到他們的系統中,對嗎?然後我們基本上進行10次集成,現在我們每年都這樣做。這就是奇蹟。

Brad Gerstner:

我們,我的意思是,你每年都試圖這樣做,這太瘋狂了。那麼是什麼驅使你每年都這樣做呢?

黃仁勳:

是的,那就是當你係統地分解它時。你們分解得越多,每個人分解得越多,他們就越驚訝。是的。今天整個電子生態系統如何能夠致力於與我們合作,最終構建出一個集成到所有這些不同生態系統中的計算機立方體,並且協調如此無縫。因此,顯然我們向後傳播的是API、方法、業務流程和設計規則,而向前傳播的是方法、架構和API。

Brad Gerstner:

他們本來就是這樣的。

黃仁勳:

幾十年來,他們一直在努力。是的,而且隨着我們的發展也在不斷髮展。但是,這些 AP 必須整合在一起。

Clark Tang:

有人只需調用 OpenAI API,它就可以工作。就是這樣。

黃仁勳:

對。是的,有點瘋狂。這是一個整體。這就是我們發明的,這個龐大的計算基礎設施,整個星球都在與我們合作。它融入了任何地方。你可以通過戴爾銷售它,也可以通過惠普銷售它。它託管在雲端。它無處不在,無處不在。人們現在在機器人系統中使用它,機器人和人類機器人,它們在自動駕駛汽車中。它們在架構上都是兼容的。相當瘋狂。

Brad Gerstner:

這太瘋狂了。

黃仁勳:

我不想讓你留下我沒有回答問題的印象。事實上,我回答了。當我們真正分層基礎時,我的意思是思考的方式。我們只是在做一些不同的事情。是的,作爲一家公司,我們希望了解情況,我對公司和生態系統周圍的一切都非常了解,對嗎?

我知道所有人都在做其他事情,他們在做什麼。有時這對我們是不利的,有時不是。我非常清楚這一點,但這並沒有改變公司的目標。是的,公司的唯一目標是構建一個可以無處不在的平台架構。這就是我們的目標。

我們不會試圖從任何人那裏奪取任何份額。英偉達是做市商,而不是份額獲取者。如果你看看我們公司沒有展示的幻燈片,你會發現這家公司沒有一天談論市場份額,內部也沒有。我們談論的都是我們如何創造下一個東西?

我們可以在這個飛輪中解決的下一個問題是什麼?我們如何才能更好地爲人們服務?我們如何將過去需要大約一年時間的飛輪縮短到大約一個月?是的。那光速是多少?不是嗎?

所以我們在考慮所有這些不同的事情,但有一件事我們不會,我們不會,我們對所有事情都瞭如指掌,但我們確信我們的使命是非常獨特的。唯一的問題是這個使命是否必要。這有意義嗎?所有公司,所有偉大的公司都應該把這個作爲核心。這是關於你在做什麼?

當然。唯一的問題是,它有必要嗎?它有價值嗎?對。它有影響力嗎?它對人們有幫助嗎?我確信你是一名開發人員,你是一家生成式AI初創公司,你即將決定如何成爲一家公司。

你不必做出的一個選擇是我支持哪一款 A6?如果你只支持CUDA,你可以去任何地方。你以後總是可以改變主意的。但我們是通往AI世界的入口,不是嗎?

一旦你決定加入我們的平台,其他的決定你都可以推遲。你以後可以隨時構建自己的基礎。我們並不反對。我們不會因此而生氣。當我與所有GCP、GCP Azure 合作時,我們會提前幾年向他們展示我們的路線圖。

他們沒有向我們展示他們的基本路線圖,而且這從未冒犯過我們。這有道理嗎?我們創造,我們處於一個。如果你有一個唯一的目標,你的目標有意義,你的使命對你和其他人來說都是珍貴的,那麼你可以透明。請注意,我的路線圖在 GTC 上是透明的。我的路線圖對我們在 Azure、AWS 和其他公司的朋友來說更深入。我們做任何這些事情都沒有問題,即使他們正在構建自己的資產。

Brad Gerstner:

我認爲,當人們觀察業務時,您最近表示對Blackwell的需求非常瘋狂。您說,工作中最困難的部分之一就是在世界缺乏您能夠生產和提供的計算能力的情況下,用情感工具對人們說「不」。但批評者說了這些。稍等片刻。他們說這就像2000年的思科一樣,我們過度建設光纖。這將是繁榮與蕭條的交替。我想到23年初我們吃飯的時候。23年1月的那頓晚餐上,英偉達的預測是,2023年的收入將達到260億美元。你做到了600億美元。

黃仁勳:

就讓事實真相大白吧。這是世界歷史上最大的預測失敗。對。我們至少可以承認。

GPU在AI計算中扮演着越來越重要的角色

Brad Gerstner:

那是,那是我們在11月22日非常興奮,因爲我們有來自Inflection的Mustafa這樣的人,而沒有來自Character的人來我們辦公室談論投資他們的公司。他們說,好吧,如果你不能投資我們的公司,那就買英偉達,因爲世界上每個人都在試圖獲得英偉達芯片來構建這些將改變世界的應用程序。當然,寒武紀時刻發生在ChatGPT上。儘管如此,這25位分析師仍然專注於加密貨幣贏家,以至於他們無法想象世界上正在發生的事情。所以最終規模更大了。用非常通俗的英語來說,對Blackwell的需求是瘋狂的,而且只要你能,只要你能預見,它就會一直這樣下去。當然,未來是未知的,不可知的。但爲什麼批評者會錯得這麼離譜,認爲這不會像思科在2000年那樣過度建設。

黃仁勳:

思考未來的最佳方式是從第一原則出發,對嗎?好的,那麼,對於問題,我們正在做的事情的第一原則是什麼?第一,我們在做什麼?我們正在做的第一件事就是重新發明計算,不是嗎?我們剛才說過,未來計算的方式將是高度機器學習的。是的,高度機器學習的。好的,幾乎我們所做的一切,幾乎每一個應用程序,Word、Excel、Powerpoint、Photoshop、Premier,AutoCAD,你最喜歡的應用程序都是手工設計的。我向你保證,未來它將高度機器學習。對吧?所以所有這些工具都會如此,最重要的是,你會有機器,代理來幫助你使用它們。好的。所以現在我們知道這是事實。對吧?我們已經重新發明了計算。我們不會回頭了。整個計算技術堆棧都在被重新發明。好的。既然我們已經做到了這一點,我們說過軟件會有所不同。軟件能寫的東西會有所不同。我們使用軟件的方式也會有所不同。所以現在讓我們承認這一點。所以這些就是我現在的基本事實。是的。

現在的問題是會發生什麼?讓我們回顧一下過去的家庭計算。過去的計算機投入了1萬億美元。我們看看,只要打開門,看看數據中心,看看它。這些計算機是你想要的未來嗎?答案是否定的。你那裏有所有這些CPU。我們知道它能做什麼,不能做什麼。我們只知道,我們有1萬億美元需要現代化的數據中心。所以現在,在我們說話的時候,如果我們要在未來四五年內對這些舊東西進行現代化改造。這不算不合理。

所以我們有一個趨勢,你正在與那些必須對其進行現代化改造的人進行交談。是的,他們正在GPU上對其進行現代化改造。就是這樣。

我們再做一次測試。你有500億美元的資本支出。你喜歡花選項A,選項B,爲未來建立資本支出,對嗎?

或者像過去一樣建立資本支出,現在你已經擁有了過去的資本支出,對嗎?是的,對。它就在那裏。反正也沒有好轉多少。莫爾斯定律基本結束了。那爲什麼要重建它呢?

我們只拿出500億美元,投入生成式AI,對嗎?所以現在你的公司變得更好了。對嗎?現在你會投入這500億美元中的多少?好吧,我會投入500億美元的100%,因爲我已經有了四年的基礎設施,這是過去的。

所以現在你只是,我只是從某人從第一原理思考的角度來推理,這就是他們正在做的事情。聰明的人在做聰明的事情。現在,第二部分是這樣的。那麼我們就有價值一萬億美元的產能。去吧,比爾。

價值數萬億美元的基礎設施。大概是1500億美元。好的。所以我們有1萬億美元的基礎設施需要在未來四五年內建設。好吧,我們觀察到的第二件事是軟件的編寫方式不同,但軟件的使用方式也不同。

未來,我們會有代理。我們公司會有數字員工。在你的收件箱裏,你會看到這些低矮的面孔上的小點。未來,事情意味着AIS的低矮圖標。對吧?我會把這些發給他們。

我不再用C++編程電腦了,我要用提示來編程AI。對吧?現在,這和我今天早上跟我聊天沒什麼不同。

我來這裏之前寫了很多電子郵件。我當然在提示我的團隊。我會描述背景,描述我所知道的基本限制,描述他們的任務。我會留下足夠的空間,我會給出足夠的方向,讓他們明白我需要什麼。我想盡可能清楚地說明結果應該是什麼,但我留下了足夠的模糊空間,一點創意空間,這樣他們就可以給我驚喜。

對吧?這和我今天提示AI沒什麼不同。是的,這正是我提出AI的方式。因此,我們將要現代化的基礎設施之上,將會有一個新的基礎設施。這個新的基礎設施將是操作這些數字人的AI工廠,它們將全天候運行。

我們將爲世界各地的所有公司提供這些設備。我們將在工廠中擁有它們,我們將在自主系統中擁有它們。對嗎?所以有一整層計算結構。這一整層我稱之爲AI工廠,世界必須製造,但今天根本不存在。

所以問題是,這有多大。目前還不知道。可能有幾萬億美元。我知道現在的情況,但當我們坐在這裏建造時,美妙之處在於,這個新數據中心的現代化架構和AI工廠的架構是一樣的。這是一件好事。

Brad Gerstner:

您能否說清楚,您有一萬億的舊東西。您必須進行現代化。您至少有一萬億的新AI工作負載即將到來。是的,您今年的收入將達到1250億美元。曾經有人告訴過你,這家公司的市值永遠不會超過10億美元。當你今天坐在這裏時,有什麼理由嗎?對,如果你在數萬億的Tam中只有1250億美元,那麼你將來的收入將不會是現在的2倍或3倍。你的收入沒有增長有什麼原因嗎?沒有。

黃仁勳:

正如你所知,並不是所有事情都如此,公司只受魚塘大小的限制,金魚池只能這麼大。所以問題是,我們的魚塘是什麼?我們的池塘是什麼?這需要很多想象力,這就是爲什麼做市商在不創建新魚塘的情況下考慮未來的原因。回顧過去並試圖奪取市場份額很難弄清楚這一點。對。份額獲取者只能這麼大。當然。做市商可以非常大。當然。

所以,我認爲我們公司擁有的好運是,從公司成立之初,我們就必須創造市場,才能在其中暢遊。當時人們沒有意識到這一點,但現在人們已經意識到了,但我們處於創造3D遊戲PC市場的起點。我們基本上發明了這個市場,以及所有的生態系統和顯卡生態系統,我們發明了這一切。因此,需要發明一個新的市場,以便以後爲其服務,這對我們來說是一件非常舒服的事情。

黃仁勳:我爲OpenAI的成功感到高興

Brad Gerstner:

衆所周知,OpenAI 本週以 1500 億美元的估值籌集了 65 億美元。我們都參與了。

黃仁勳:

是的,真的爲他們感到高興,真的很高興他們走到了一起。是的,他們做了一件偉大的事情,團隊也做得很好。

Brad Gerstner:

據報道,他們今年的收入或營業收入將達到50億美元左右,明年可能會達到100億美元。如果你看看今天的業務,它的收入大約是谷歌首次公開募股時的兩倍。他們有2.5億,是的,每週平均用戶數爲2.5億,我們估計這是谷歌首次公開募股時的兩倍。如果你看看這家公司的市盈率,如果你相信明年會有100億美元,那麼它大約是預期收入的15倍,也就是谷歌和Meta在首次公開募股時的市盈率。想象一家22個月前收入爲零、每週平均用戶數爲零的公司。

跟我們談談OpenAI作爲合作伙伴對你的重要性,以及OpenAI作爲推動公衆對AI的認識和使用的力量。

黃仁勳:

好吧,這是我們這個時代最重要的公司之一,一家追求AGI願景的純AI公司。不管它的定義是什麼。我幾乎不認爲定義是什麼完全重要,我也不認爲時機很重要。我知道的一件事是,AI將隨着時間的推移擁有能力路線圖。而這個能力路線圖將非常壯觀、奇特。在此過程中,早在它達到任何人對AGI的定義之前,我們就會充分利用它。

你所要做的就是,現在,在我們說話的時候,去和數字生物學家、氣候技術研究人員、材料研究人員、物理科學家、天體物理學家、量子化學家交談。你可以去問視頻遊戲設計師、製造工程師、機器人專家。選你最喜歡的。無論你想選擇哪個行業,你都要深入研究,和重要的人交談,問他們,AI是否徹底改變了你的工作方式。你收集這些數據點,然後回頭問問自己,你想有多懷疑。因爲他們不是在談論AI的概念優勢。他們現在談論的是將來使用AI。現在,農業技術、材料技術、氣候技術,你選擇你的技術,你選擇你的科學領域。它們正在進步。AI正在幫助他們推進他們的工作。

現在,正如我們所說,每個行業、每個公司、每個高度、每所大學。難以置信。對吧?絕對是這樣。我會以某種方式改變商業。我們知道這一點。我的意思是,我們知道它是如此切實。

今天。它正在發生。它正在發生。所以,我認爲ChatGPT 的覺醒引發了它,這完全令人難以置信。我喜歡他們的速度和他們推動這一領域發展的獨特目標,這真的很重要。

Brad Gerstner:

他們建立了經濟引擎,可以爲下一個模型前沿提供資金。我認爲硅谷正在形成一種共識,即整個模型層、商品化的 Llama 使許多人能夠以非常低廉的價格建立模型。所以早期我們有很多模型公司。這些,特徵、語調和凝聚力都列在清單上。

很多人質疑這些公司是否能夠在經濟引擎上建立逃逸速度,從而繼續資助下一代。我自己的感覺是,這就是你看到整合的原因。OpenAI 顯然達到了速度。他們可以資助自己的未來。我不清楚其他許多公司是否能做到。這是對模型層現狀的公平評估嗎?我們將像在許多其他市場一樣,將這種整合到能夠負擔得起的市場領導者身上,他們擁有經濟引擎和應用程序,可以讓他們繼續投資。

僅僅擁有強大的GPU並不能保證一家公司在AI領域取得成功

黃仁勳:

首先,模型和AI之間存在根本區別。是的。模型是必不可少的要素。對。對於AI來說,它是必要但不充分的。對。所以,AI是一種能力,但用於什麼,對嗎?那麼它的應用是什麼?對嗎?軟件駕駛汽車的AI與人類機器人的AI有關,但並不相同,後者與聊天機器人的AI有關,但並不相同。

所以你必須了解分類法。是的,堆棧的分類法。在堆棧的每一層,都會有機會,但不是堆棧的每一層都爲每個人提供無限的機會。

現在,我剛剛說了一句話,你所做的就是用GPU替換模型這個詞。事實上,這是我們公司 32 年前的一個偉大觀察,即 GPU、圖形芯片或GPU與加速計算之間存在根本區別。加速計算與我們在 AI 基礎設施方面所做的工作不同。它們是相關的,但並不完全相同。它們是相互疊加的。它們並不完全相同。而且這些抽象層中的每一個都需要完全不同的技能。

真正擅長構建GPU的人不知道如何成爲一家加速計算公司。我可以舉例說明,有很多人制造 GPU。我不知道哪一個是後來的,我們發明了 GPU,但你知道我們不是,我們不是今天唯一一家制造GPU的公司,對嗎?到處都有 GPU,但它們不是加速計算公司。有很多人這樣做。他們的加速器可以進行應用程序加速,但這與加速計算公司不同。例如,一個非常專業的AI應用程序,對吧,這可能是一件非常成功的事情,對嗎?

Brad Gerstner:

這就是 MTIA(Mata自研的下一代AI加速芯片)。

黃仁勳:

對。但它可能不是那種帶來影響力和能力的公司。所以你必須決定你想成爲什麼樣的人。所有這些不同領域可能都有機會。但就像建立公司一樣,你必須注意生態系統的變化以及隨着時間的推移哪些東西會被商品化,認識到什麼是功能,什麼是產品,對,什麼是公司。好的。我剛剛講過,好吧,你可以用很多不同的方式來思考這個問題。

xAI和孟菲斯超級計算機集群已經到了「20萬到30萬個GPU集群的時代」

Brad Gerstner:

當然,有一家新進入者有錢、有智慧、有野心。那就是 xAI。是的,對。而且,有報道稱你和 Larry Ellison(甲骨文創始人)和馬斯克共進晚餐。他們說服你放棄 100000個H100芯片。他們去了孟菲斯,在幾個月內就建立了一個大型連貫超級集群。

黃仁勳:

三點,不要劃等號,好嗎?是的,我和他們共進晚餐。

Brad Gerstner:

你認爲他們有能力建立這個超級集群嗎?有傳言說他們想要另外十萬個 H200,對吧,來擴大這個超級集群的規模。首先,跟我們談談 X 和他們的野心以及他們取得的成就,但同時,我們已經到了20萬到30萬個GPU集群的時代了嗎?

黃仁勳:

答案是肯定的。然後首先,承認成就。從概念的那一刻到數據中心準備好讓英偉達在那裏安裝我們的設備,再到我們啓動它、連接好它並進行第一次訓練的那一刻,這一切都值得。

黃仁勳:

好的。所以第一部分就是在這麼短的時間內建造一個巨大的工廠,水冷、通電、獲得許可,我的意思是,這就像超人一樣。是的,據我所知,世界上只有一個人能做到這一點。我的意思是,馬斯克對大型系統的工程和建設以及資源調配的理解是獨一無二的。是的,這真是令人難以置信。當然,他的工程團隊也很出色。我的意思是,軟件團隊很棒,網絡團隊很棒,基礎設施團隊很棒。馬斯克對此深有體會。

從我們決定與工程團隊、網絡團隊或基礎設施計算團隊、軟件團隊一起開始規劃的那一刻起,所有的準備工作都提前了。然後所有的基礎設施、所有的物流、當天運來的技術和設備數量、視頻基礎設施和計算基礎設施,以及培訓所需的所有技術,19 天都懸而未決,你想要什麼嗎?做了。

退一步想想,你知道 19 天是多少天嗎?19 天是幾周嗎?對吧?如果你親眼看看,技術的數量是令人難以置信的。所有的佈線和網絡,英偉達設備的網絡與超大規模數據中心的網絡非常不同。好的,一個節點需要多少根電線。計算機的背面全是電線,而將這一大堆技術和所有軟件集成在一起,真是不可思議。

所以我認爲馬斯克和X團隊所做的,我非常感激他承認我們與他一起進行的工程工作以及規劃工作等等。但他們取得的成就是獨一無二的,以前從未有過。只是從這個角度來看。十萬個 GPU,作爲一個集群,這很容易成爲地球上最快的超級計算機。你建造的超級計算機通常需要三年的規劃時間。然後他們交付設備,需要一年的時間才能讓它們全部運轉起來。是的,我們說的是 19 天。

Clark Tang:

英偉達的功勞是什麼?

黃仁勳:

一切都已經正常運轉了。是的,當然,還有一大堆 X 算法、X 框架、X 堆棧等等。我們說我們有大量逆向集成要做,但規劃非常出色。只是預先規劃。

大規模分佈式計算是未來AI發展的重要方向

Brad Gerstner:

一端是正確的。馬斯克是一端。是的,你,但你回答這個問題時一開始就說,是的,這裏有 20到 30萬個GPU集群。是的,對。這能擴展到 50萬個嗎?能擴展到 100 萬個嗎?你的產品需求是否取決於它擴展到 200 萬個?

黃仁勳:

最後一部分是否定的。我的感覺是分佈式訓練必須有效。我的感覺是分佈式計算將被髮明。某種形式的聯邦學習和分佈式計算,異步分佈式計算將被發現。

我對此非常熱衷和樂觀,當然,要意識到的是,縮放定律過去是關於預訓練的。現在我們已經轉向多模態,我們已經轉向合成數據生成,後訓練現在已經擴展得令人難以置信。合成數據生成、獎勵系統、基於強化學習,然後現在推理縮放已經達到了頂峯。一個模型在回答你的答案之前已經進行了令人難以置信的 10000 次內部推理。

這可能並非不合理。它可能已經完成了樹搜索。它可能已經在此基礎上進行了強化學習。它可能,它可能已經進行了一些模擬,肯定做了很多反思,可能查找了一些數據,查看了一些信息,不是嗎?所以他的背景可能相當大。我的意思是,這種類型的智能是。好吧,這就是我們所做的。這就是我們所做的。不是嗎?因此,對於能力,這種擴展,我剛剛進行了計算,並將其與模型大小和計算大小每年 4 倍進行復合。

另一方面,需求在使用方面持續增長。我們認爲我們需要數百萬個GPU嗎?毫無疑問。是的,現在這是肯定的。所以問題是,我們如何從數據中心的角度來構建它?這在很大程度上與數據中心是一次幾千兆瓦還是一次 250 兆瓦有關。我的感覺是,你會同時得到兩者。

Clark Tang:

我認爲分析師總是關注當前的架構賭注,但我認爲這次談話中最大的收穫之一是,你正在考慮整個生態系統和未來很多年。所以,因爲英偉達只是在擴大或擴大規模,是爲了滿足未來的需求。這並不是說,你只能依賴一個擁有 50 萬甚至一百萬個GPU集群的世界。當分佈式訓練出現時,你就會編寫軟件來實現它。

黃仁勳:

我們七年前就開發了 Megatron。是的,這些大型訓練任務的擴展會發生。所以我們發明了Megatron,所以,所有正在進行的模型並行性,所有分佈式訓練的突破和所有批處理以及所有這些東西都是因爲我們做了早期的工作,現在我們正在爲下一代做早期的工作。

AI改變了工作方式

Brad Gerstner:

那麼我們來談談草莓和o1。我認爲他們以o1命名很酷。這意味着招募世界上最優秀、最聰明的人,並將他們帶到美國。我知道我們都對此充滿熱情。所以我喜歡這個想法,建立一個思考的模型,將我們帶到下一個擴展智能的水平,對吧,這是對這樣一個事實的致敬:正是這些通過移民來到美國的人,成就了我們,讓我們成爲現在的樣子,將他們的集體智慧帶到了美國。

黃仁勳:

當然。還有外星智慧。

Brad Gerstner:

當然。這是由我們的朋友 Noam Brown 帶頭的。推理時間推理作爲擴展智能的全新載體有多重要,與僅僅構建更大的模型是分開的。

黃仁勳:

這是一件大事。這是一件大事。我認爲,很多智能不能先驗地完成。對。很多計算,甚至很多計算都不能重新排序。我的意思是,無序執行可以優先完成,很多事情只能在運行時完成。

所以,無論你是從計算機科學的角度還是從智能的角度來思考,太多的事情都需要背景。環境,對吧。還有質量,你正在尋找的答案類型。有時,一個快速的答案就足夠了。這取決於答案的後果,影響。這取決於答案的使用性質。所以,有些答案,請花一個晚上,有些答案需要一週的時間。

是的。對吧?所以我完全可以想象我向我的AI發送一個提示,告訴它,考慮一晚。考慮一夜。不要馬上告訴我。我希望你考慮一整晚,然後明天再告訴我。你對我最好的答案和理由是什麼。所以,我認爲從產品的角度來看,現在的質量,智能的細分。會有一次性的版本。當然。還有一些需要五分鐘。

對吧?還有人類。所以如果你願意的話,我們將成爲一個龐大的員工群體。他們中有些是AI中的數字人,有些是生物人,我希望有些甚至是超級機器人。

Brad Gerstner:

我認爲,從商業角度來看,這是一個被嚴重誤解的事情。你剛剛描述了一家公司,它的產出量相當於一家擁有 15 萬人的公司,但你只用 5 萬人就做到了。沒錯。現在,你並沒有說我要解僱所有員工。不。你仍在增加組織中的員工數量,但該組織的產出量將大幅增加。

黃仁勳:

這,這經常被誤解。AI不是我。AI不會改變每一項工作。AI將對人們的工作方式產生巨大影響。讓我們承認這一點。AI有潛力帶來令人難以置信的好處。它也有潛力造成傷害。我們必須建立安全的AI。是的,讓我們打好這個基礎。是的。好的。

黃仁勳:

人們忽視的部分是,當公司使用AI提高生產力時,它很可能會表現爲更好的收益或更好的增長,或兩者兼而有之。當這種情況發生時,首席執行官的下一封電子郵件很可能不是裁員。

Brad Gerstner:

當然是公告,因爲你在成長。

黃仁勳:

原因是我們有更多的想法,我們可以探索,我們需要人們幫助我們在自動化之前仔細考慮。所以自動化部分,AI可以幫助我們做到。顯然,它也會幫助我們思考,但仍然需要我們去弄清楚我想解決什麼問題。我們可以解決的問題有上萬億。那麼,公司需要解決什麼問題,選擇這些想法,並找出自動化和擴展的方法。因此,隨着我們變得更有生產力,我們將僱傭更多的人。人們忘記了這一點,如果你回到過去,顯然我們今天的想法比 200 年前更多。這就是爲什麼 GDP 更大、就業人數更多的原因。儘管我們在底層瘋狂地自動化。

Brad Gerstner:

這是這個時期的一個非常重要的點,我們正在進入一個幾乎所有人類生產力、幾乎所有人類繁榮都是自動化的副產品。過去 200 年的技術。我的意思是,你可以看看亞當·斯密和謝姆彼得的創造性破壞,你可以看看過去 200 年來人均 GDP 增長圖表,現在它正在加速。

是的,這讓我想到了這個問題。如果你看看 90 年代,我們美國的生產力增長率大約是每年 2.5% 到 3%,好嗎?然後在 2010 年,它放緩到大約 1.8%。然後過去 10 年是生產力增長最慢的十年。所以這就是我們固定數量的勞動力和資本或產出量,實際上是有記錄以來最慢的。

很多人都在爭論這個原因。但如果世界真的像您所描述的那樣,我們要利用和製造智能,那麼我們是不是正處於人類生產力急劇擴張的邊緣呢?

黃仁勳:

這是我們的希望。這是我們的希望。當然,我們生活在這個世界上,所以我們有直接的證據。

我們有直接的證據,要麼是孤立的案例,要麼是個別研究人員,他們能夠利用AI以難以想象的超大規模探索科學。這就是生產力。百分百衡量生產力,或者我們正在以如此高的速度設計出如此令人難以置信的芯片。我們正在構建的芯片複雜性和計算機複雜性正在呈指數級增長,而公司的員工基礎並不是衡量生產力的標準,對吧。

我們開發的軟件越來越好,因爲我們使用AI和超級計算機來幫助我們。員工人數幾乎呈線性增長。生產力的另一個體現。

所以,我可以深入研究,我可以抽樣檢查很多不同的行業。我可以親自檢查。是的,你說得對。商業。沒錯。

所以我可以,當然,你不能,我們不能,我們可能會過度擬合。但它的藝術性當然是概括我們所觀察到的是什麼,以及這是否會在其他行業中體現出來。

毫無疑問,AI是世界上已知的最有價值的商品。現在我們要大規模生產它。我們,我們,我們所有人都必須擅長,如果你被這些AI包圍,它們做得非常好,比你好得多,會發生什麼。當我回想起來,這就是我的生活。我有 60 個直接下屬。

他們在自己的領域是世界一流的,而且他們做得比我好。比我好很多。我與他們互動毫無困難,我也能毫不費力地設計他們。我也能毫不費力地編程他們。所以我認爲人們要學習的是,他們都將成爲 CEO。

他們都將成爲 AI 代理的 CEO。他們有能力擁有創造力,嗯,一些知識,以及如何推理,如何分解問題,這樣你就可以對這些 AI 進行編程,以幫助你實現像我一樣的目標。這就是經營公司。

AI安全需要多方共同努力

Brad Gerstner:

現在。你提到了一些東西,那就是不協調,安全的AI。你提到了中東正在發生的悲劇。我們擁有很多自主權,而且很多AI正在世界各地使用。那麼讓我們來談談壞人、安全AI、與華盛頓的協調。你今天感覺如何?我們走在正確的道路上嗎?我們有足夠的協調水平嗎?我認爲馬克·扎克伯格曾說過,我們打敗壞AI的方法是讓好AI變得更好。你如何描述你對我們如何確保這對人類產生積極的淨收益的看法,而不是讓我們生活在這個反烏托邦的世界裏。

黃仁勳:

關於安全的討論確實很重要,也很好。是的,抽象的觀點,將AI視爲一個巨大的神經元網絡的概念性觀點,並不是那麼好,對吧。好的。原因是,衆所周知,AI和大型語言模型是相關的,而不是一回事。我認爲有很多正在做的事情非常好。第一,開源模型,以便整個研究社區、每個行業和每個公司都可以參與AI,是的,並學習如何利用這種能力進行應用。非常好。

第二,人們低估了致力於發明AI以保證AI安全的技術數量。是的,AI可以整理數據、攜帶信息、進行訓練,創建AI是爲了協調AI,生成合成數據以擴展AI的知識,使其減少幻覺。所有被創建用於矢量化或圖形化或任何其他用於通知 AI、保護 AI 以監控其他 AI 的 AI 系統,這些 AI 系統創建的安全 AI 正在受到讚揚,對嗎?

Brad Gerstner:

那麼我們已經建立了。

黃仁勳:

那。我們正在建立這一切。是的,在整個行業中,方法論、紅隊、流程、模型卡、評估系統、基準測試系統,所有這些,所有這些正在以令人難以置信的速度構建的線束。我想知道,慶祝。你們明白嗎?是的,你知道。

Brad Gerstner:

而且,沒有,沒有,沒有政府法規說你必須這樣做。是的,今天在這個領域中構建這些AI的參與者正在認真對待這些關鍵問題,並圍繞最佳實踐進行協調。沒錯。

黃仁勳:

所以這還沒有得到充分重視,也沒有得到充分理解。是的。需要有人,需要,每個人都需要開始談論AI,這是一個AI系統,是一個工程系統,是經過精心設計的,從第一原則構建的,經過充分測試的,等等。記住,AI是一種可以應用的能力。我不認爲有必要對重要技術進行監管,但也不要過度監管,以至於有些監管要針對大多數應用進行。所有已經監管技術應用的不同生態系統現在都必須監管現在融入AI的技術應用。

所以,我認爲,不要誤解,不要忽視世界上爲AI而必須啓動的大量法規。不要只依賴一個宇宙銀河系。AI委員會可能能夠做到這一點,因爲所有這些不同的機構的成立都是有原因的。所有這些不同的監管機構的成立都是有原因的。回到最初的原則,我會。

開源與不開源的對立是錯誤的

Brad Gerstner:

你們推出了一個非常重要、非常龐大、非常強大的開源模型。

黃仁勳:

Nemotron。

Brad Gerstner:

是的,很明顯,Meta爲開源做出了重大貢獻。我發現當我閱讀 Twitter 時,有很多關於開放與封閉的討論。您如何看待開源,您自己的開源模型,能否跟上前沿?這是第一個問題。第二個問題是,您知道,擁有開源模型和閉源模型,它們爲商業運營提供動力,這是您對未來的看法嗎?這兩件事是否爲安全創造了健康的張力?

黃仁勳:

開源與閉源與安全有關,但不僅僅是安全。例如,擁有閉源模型絕對沒有錯,它們是維持創新所必需的經濟模型的引擎。好吧,我完全贊成這一點。我認爲封閉與開放的對立是錯誤的。

因爲開放是許多行業得以激活的必要條件,現在,如果我們沒有開源,所有這些不同的科學領域如何能夠激活,激活AI。因爲他們必須開發自己的特定領域的AI,他們必須使用開源模型開發自己的AI,創建特定領域的AI。它們是相關的,不是,再說一遍,不一樣。僅僅因爲你有一個開源模型並不意味着你就有AI。所以你必須有那個開源模型來創建AI。所以金融服務、醫療保健、交通運輸,這些行業、科學領域的列表現在已經因爲開源而得以實現。

Brad Gerstner:

難以置信。你看到對你的開源模型的需求很大嗎?

黃仁勳:

我們的開源模型?首先。Llama 下載。顯然,是的,馬克和他們所做的工作令人難以置信。超乎想象。是的。它完全激活並吸引了每一個行業、每一個科學領域。

好的,當然。我們做 Nemotron的原因是爲了生成合成數據。直觀地說,一個AI會以某種方式坐在那裏循環並生成數據來學習自己。這聽起來很脆弱。你能繞這個無限循環多少次,這個循環值得懷疑。然而,我腦海中的畫面有點像你找了一個超級聰明的人,把他關進一個軟墊房間,關上門大約一個月,出來的可能不是一個更聰明的人。所以,所以,但你可以讓兩三個人坐在一起,我們有不同的AI,我們有不同的知識分佈,我們可以來回進行質量保證。我們三個人都可以變得更聰明。

因此,你可以讓 AI 模型交換、互動、來回傳遞、討論強化學習、合成數據生成等,這種想法在直覺上是有意義的,可以提出建議並有意義。因此,我們的模型Nemotron 350B 是是世界上最好的獎勵系統模型。因此,這是最好的批評。

有趣。這是一個非常棒的模型,可以增強其他人的模型。因此,無論其他人的模型有多好,我都會建議使用Nemotron 340B 來增強和改進它。我們已經看到 Llama 變得更好,使所有其他模型都變得更好。

Brad Gerstner:

作爲在 2016 年交付 DGX1 的人,這真的是一段不可思議的旅程。您的旅程既不可思議又令人難以置信。就像只是在早期倖存下來一樣非常了不起。您在 2016 年交付了第一臺 DGX1。我們在 2022 年迎來了寒武紀時刻。

所以我要問您一個我經常想得到答案的問題,那就是,在 60 個直接下屬的領導下,您能維持現在的工作多久?您無處不在。您正在推動這場革命。您玩得開心嗎?還有什麼其他您更願意做的事情嗎?

黃仁勳:

這是關於過去一個半小時的問題。答案是「我很享受」。很棒的時光。我無法想象我更願意做的其他事情。讓我們看看。我認爲,我認爲不應該給人留下我們的工作總是充滿樂趣的印象。我的工作並不總是充滿樂趣,我也不指望它總是充滿樂趣。我曾經期望它總是充滿樂趣嗎?我認爲它總是很重要。

是的,我不會太嚴肅地對待自己。我非常認真地對待工作。我非常認真地對待我們的責任。我非常認真地對待我們的貢獻和我們的時刻。

這總是充滿樂趣嗎?不。但我一直都喜歡它嗎?是的。就像所有的事情一樣,無論是家庭、朋友還是孩子。它總是充滿樂趣嗎?不。我們總是喜歡它嗎?絕對。

所以我認爲,我,我能做多久?真正的問題是,我能保持相關性多久?這才是最重要的,這個問題的答案只能是我將如何繼續學習?今天我更加樂觀。我這麼說不僅僅是因爲我們今天的主題。我對我說相關性和繼續學習的能力更加樂觀,因爲AI。我每天都在用它,我不知道,但我相信你們都在用。我幾乎每天都在用它。

我沒有一個研究不涉及AI。是的,沒有一個問題,即使我知道答案,我也會用AI再三覈對。是的,令人驚訝的是,我接下來問的兩三個問題,揭示了一些我不知道的東西。你選擇你的主題。你選擇你的主題。我認爲AI是一個導師。

AI 是助手,AI 是合作伙伴,可以與我一起集思廣益,檢查我的工作,夥計們,這完全是革命性的。我是一名信息工作者。我輸出的是信息。所以我認爲他們對社會的貢獻非常了不起。所以我認爲,如果是這樣的話,如果我能保持這種相關性,繼續做出貢獻,我知道這項工作足夠重要,是的,我想繼續追求它,我的生活質量令人難以置信。所以我會。

Brad Gerstner:

說我無法想象你和我在這個領域已經工作了幾十年,我無法想象錯過這一刻。這是我們職業生涯中最重要的時刻。我們非常感謝這種合作關係。

黃仁勳:

懷念未來十年。

Brad Gerstner:

思想夥伴關係。是的,你讓事情變得更聰明。謝謝你。我認爲你作爲領導層的一部分真的很重要,對吧,這將樂觀而安全地引領這一切向前發展。所以謝謝你。

黃仁勳:

和你們在一起。真的很開心。真的。謝謝。

声明:本內容僅用作提供資訊及教育之目的,不構成對任何特定投資或投資策略的推薦或認可。 更多信息
    搶先評論