回看板
Disp BBS
作者 pl132 (pl132)
標題 [新聞]投資輝達 AI 晶片 1 美元賺 7 美元，實現
時間 Thu Jul 11 22:15:52 2024

投資輝達 AI 晶片 1 美元賺 7 美元，實現黃仁勳買越多省越多口號


https://tinyurl.com/22z4n5qm
投資輝達 AI 晶片 1 美元賺 7 美元，實現黃仁勳買越多省越多口號 | TechNews 科技新報
[圖]
GPU 大廠輝達（Nvidia）超大規模和 HPC 業務副總裁兼總經理 Ian Buck，日前公開活動時表示，客戶投資數十億美元購買新輝達硬體，以跟上 AI 大模型需求，提高收入和生產力。從投資效益說，硬體用在 AI 大語言模型訓練，投資 1 美元回收 5 美元，如果用在大模型推理，投資 1 美元更 ...

 

GPU 大廠輝達（Nvidia）超大規模和 HPC 業務副總裁兼總經理 Ian Buck，日前公開活動
時表示，客戶投資數十億美元購買新輝達硬體，以跟上 AI 大模型需求，提高收入和生產
力。從投資效益說，硬體用在 AI 大語言模型訓練，投資 1 美元回收 5 美元，如果用在
大模型推理，投資 1 美元更回收 7 美元。


Buck 表示，建設大型資料中心企業特別受惠，四至五年使用壽命內獲豐厚回報。模型訓
練方面，雲端運算商購買 GPU 每花 1 美元，四年內提供算力能收回 5 美元，推理用更
有利可圖，每花 1 美元能有 7 美元回報，且這數字還會增長。


黃仁勳也說過類似的話，Buck 解釋原因。借助 CUDA 演算法創新，輝達將 H100 的 LLM
執行速度提升三倍，將 Llama 3 等模型成本降低三分之一。H200 推理性能較 H100 翻倍
，對生產有巨大價值。


Buck 舉例，700 億參數的 Llama 3 單台 HGX H200 伺服器每秒輸出 24,000 個 Token，
支援超過 2,400 名用戶，照定價看，託管 Llama 3 的供應商每花 1 美元買輝達 HGX
H200 伺服器，四年內從 Llama 3 token 計費賺到 7 美元。

Llama、Mistral 或 Gemma 等 AI 推理模型不斷發展，輝達將開放性 AI 模型導入
 NVIDIA 推理微服務 (NIM) 架構，最佳化 Blackwell 架構 GPU 推理執行度。GPU 支援
 FP4 和 FP6 類型數據，低強度 AI 負載能提高能效。

輝達資料顯示，與 Hopper 架構相較，Blackwell 架構訓練速度比 H100 快四倍，推斷速
度快 30 倍，能即時運行兆級參數大語言模型生成式 AI，降低成本和能耗 4%。這呼應黃
仁勳喊過多次的「買越多，省越多」口號，但不能忽視，輝達 GPU 價格也快速上漲。


--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 180.177.0.241 (臺灣)
※ 作者: pl132 2024-07-11 22:15:52
※ 文章代碼(AID): #1cZ-aR9g (Tech_Job)
※ 文章網址: https://www.ptt.cc/bbs/Tech_Job/M.1720707355.A.26A.html
推 ghchen1978: 多買幾台大金吧1F 07/11 22:48
→ f12sd2e2aa: 哪間公司真的靠AI賺錢了2F 07/11 23:26
推 a29831287: NV啊3F 07/12 00:51
推 spath: AI淘金潮，結果還是賣工具的最賺錢4F 07/12 00:53
→ much0112: 有獲利的只有股票吧5F 07/12 01:39
→ veru: 你們知道openAI 到今年為止 半年不到的營收是34億美金嗎？6F 07/12 06:56
推 fred7698: 那OpenAI買啊，還是這一家就夠了XDD8F 07/12 08:33
噓 quartics: OpenAI 今年才預估營收34億美,哪來做夢半年就34億但賺再多也不夠燒, 大型LLM太燒錢9F 07/12 09:52
推 bettyangel: 聽說中國留學生會在美台日歐印買晶片手機,可聽口音以及證件11F 07/12 11:08
噓 hegemon: 預估這波可能會跟淘金熱很像，只有賣工具的發財13F 07/12 12:21
推 clecer: MS copilot 360也沒賺多少14F 07/12 14:39
推 bettyangel: 聽說→感覺15F 07/12 17:58

--
作者 pl132 的最新發文:
點此顯示更多發文記錄