TSLA
特斯拉
-- 355.840 NVDA
英偉達
-- 138.850 BABA
阿里巴巴
-- 124.730 INTC
英特爾
-- 23.600 NBIS
NEBIUS
-- 44.490 
AI 系列 | 聊天研究的成本有多高？1 年運行成本高達 4.75 億美元
聊天 GPT 的主要成本是多少？最重要的成本包括運算資源成本 (也就是訓練成本) 和執行成本。此外，還有研發投入（主要是研發人員成本）。
1、首先來計算運營成本：年營業成本高達 4.47 億美元。
單個 Nvidia A100 GPU 最多可能需要 350 毫秒才能在聊天 GPT 上打印一個單詞。 聊天-GPT 是從 GP-3.5 演變而來的，所以應該有 175 億個參數。培訓數據約為 4.5 十億 TB。而一個 30 億個參數模型可以在大約 6 毫秒內在 NVIDIA A100 GPU 上生成一個令牌（一半精度 + 張量 + 激活緩存）。使用這種速度作為參考點，單個 Nvidia A100 GPU 可能需要 350 毫秒才能在聊天 GPT 上打印一個單詞。
由於最新版本 ChatGPT-3.5 具有超過 175 億個參數，大約需要五個 A100 GPU 來執行必要的操作以獲取單個查詢的輸出。在以 ChatGPT 每秒輸出約 15-20 個單詞的能力之後，平均獲得至少 8 個 A100 GPU 的平均值。
在聊天室產生的每個單詞費用為 0.0003 美元。 考慮到微軟目前的速度，單個 Nvidia A100 GPU 的費用為每小時 3 美元。根據在 350 毫秒內生成一個單詞的速度，可以計算每小時可生成的單詞數量。最後，聊天 GPT 上生成的每個單詞的成本是 0.0003 美元。
每個查詢的費用接近 0.01 USD。 考慮到 Chat GPT 每次需要大約 30 個單詞來回复用戶的查詢，每次查詢的費用接近 0.01 美元。比谷歌搜索成本高三倍。
每日營運成本高達 130 萬美元。 據瑞銀統計，Chat GPT 每月活躍用戶數預計將在 1 月達到 1 億，每天約有 1300 萬人使用它。因此，根據 1300 萬人的計算，每人每天查詢 10 次，然後每天查詢 1.3 億次，每次查詢的費用為 0.01 美元，最終每日成本高達 130 萬美元。
一年 365 天計算，年運行成本高達 4.47 億美元，非常昂貴。
2、計算資源成本（即培訓成本）：單次迭代費用高達 460 萬美元。
像 ChatGPT 這樣的大型語言模型需要至少數千個 GPU 圖形集群進行訓練，並且構建成本本身非常高，計算次數有一定的限制。經過一定數量的計算後，資源就會耗盡。此時，需要建立一個新的。GPU 叢集。
就單次迭代的培訓成本而言，至少訓練十到幾十次的費用為 460 萬美元。即使只有 10 次，成本也將達到 4600 萬美元。
三、概要
如此昂貴的 ChatGPT 意味著隨後的商業化需要更好的想法。在許多情況下，並不是 AI 技術不符合要求，而是實際上負擔不起。與一個人的成本相比，AI 現在還是太貴了。因此，一些生成式 AI 公司宣布破產，Open AI 將自己出售給微軟以進行融資。
因此，我們可以理解為什麼 Google 以其強大的 AI 而聞名，在 AI 的應用中如此保守。因為一方面，谷歌已經形成了搜索壟斷，不願花這麼高的成本。高成本會侵蝕其利潤。此外，還有另一個問題。當你使用 chatgpt 時，你可能還會發現有時數據是錯誤的，有時它是胡說八道。Google 也擔心這些錯誤會破壞自己的搜索品牌。
但對於微軟來說，bing 的市場份額已經非常小。如果有足夠的現金流支持，則願意用 chatgpt 來爭奪市場份額。
讓我們談談成本這次，下次我們將討論商業化。
免責聲明：社區由Moomoo Technologies Inc.提供，僅用於教育目的。
更多信息
評論
登錄發表評論
熱門討論
特朗普2.0時代開啟，全球市場將如何演變？
🎙️討論： 1. 關稅政策將如何影響美股、黃金、比特幣等核心資產的走勢？ 2. 在此背景下，有哪些投資機會值得關注？你會如何佈局？
Moo Live
01/23 16:54
MicroStrategy 2024年第4季度業績電話會
74376197 : 一些澄清。當我 5 年前離開 Google 搜索時，他們認為 Bing 落後了谷歌搜索 3 年。谷歌本身說，Bing 擁有 10.5％ 的搜索市場，因此他們的市場份額並不「很小」，我認為它正在增長。在過去（Ruth Porat 之前，或者「PR」），谷歌很樂意從搜索中獲利，並將它們投入免費服務（例如地圖和谷歌文件），作為「感謝」和「增強用戶信任」。我在 2013-2018 年在谷歌時一直看到這一點討論。AR（Ruth 之後），谷歌更糟糕，試圖永遠不使用一個活動中的利潤來補貼其他活動，並且自 AR 以來，它已經放慢了 Google 的速度，並為 Google 帶來更糟糕的臉。