※ 本文轉寄自 ptt.cc 更新時間: 2026-06-26 14:01:12
看板 Stock
作者 標題 Re: [請益] 為何記憶體可以隨便調漲毛利率那麼高
時間 Fri Jun 26 08:41:59 2026
※ 引述《Pixma258 (鄉民們!別爭了!!)》之銘言：
: 乳題，為何記憶體可以瘋漲價成這樣
: 川狗一句話都不敢出來叫
: 但晶圓不行，漲價要漲的小心奕奕
: 川狗不時出來叫
: 如要論記憶體和晶圓，晶圓製造技術門檻更高
: 而且對AI基建晶圓重要性也絕對不會輸記憶體
: 有沒有記憶體可以隨便喊漲那麼高的毛利率
: 晶圓不行
: 股價更是晶圓瘋漲成這樣，晶圓卻被倒貨
: 實在看不懂，想請教一下大家
「HBM容量每GPU大概每年增長40%以上
這條需求曲線的陡峭程度，是DRAM供給端 14% 的晶圓產能增長，
乘以 9% 的密度提升，很難追上的
在硬體領域，因為解碼階段KV快取的極高頻寬
和極高記憶體容量的要求，也導致了HBM獨特的地位。即便是HBM漲價三五倍，
把錢花在HBM上帶來的邊際token產出提升，仍然比花在其他地方要划算的多。
把錢花在HBM上帶來的邊際token產出提升，仍然比花在其他地方要划算的多。
其他幾個記憶體路線，SRAM，HBF，CXL，PIM，
目前都無法在HBM的主力賽道KV快取/解碼階段上正面競爭，
起碼未來5年甚至更長時間，不太可能找到替代路線」
https://x.com/fi56622380/status/2070029693810847988?s=20
////////////
只要LLM還是當前自回歸生成(AR, Autoregressive Generation)工程範式,
每生成1個token都需要搬運KV快取計算上文每一個token和下文的注意力(Attention)
那記憶體問題就是供給側無解的問題, 因為LLM對記憶體頻寬擴展的需求會是
token生成長度二次方增長.
將token生成長度1M token -> 10M token, 記憶體頻寬需要擴展100倍
這遠遠高於現實世界工廠建設和製程優化的速度.
要解決該問題, 唯一的方法是從算法根本上去解決.
我很久之前就認為文本Diffusion模型很可能是下一代新工程範式
從流形假設的觀點看Diffusion的生成更穩定, 從工程實踐去看其生成更有效率
文本Diffusion模型可以一次性讀取KV快取就透過GPU迭代生成大量token
目前工程實踐可以做到一次生成256 token以上, 這表示KV快取搬運減少256倍
而未來顯然會更長. 這會把當前的記憶體受限問題重新拉回到GPU, 算力受限問題上
關鍵的轉折點會落在什麼時候上下文長度已經長到這個效益無法忽視
文本Diffusion模型, 隨著前陣子Google釋出開源DiffusionGemma, 使用起來差距
跟同參數量的AR模型已經在1~2個世代之內. 這表示文本Diffusion已經誇過研究階段
正式進入工程實踐和大規模部署可能.
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.73.134.246 (臺灣)
※ 作者: maplefff 2026-06-26 08:41:59
※ 文章代碼(AID): #1gFShSsm (Stock)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1782434524.A.DB0.html
※ 同主題文章:
06-25 17:55 ■ [請益] 為何記憶體可以隨便調漲毛利率那麼高
06-26 00:47 ■ Re: [請益] 為何記憶體可以隨便調漲毛利率那麼高
● 06-26 08:41 ■ Re: [請益] 為何記憶體可以隨便調漲毛利率那麼高
06-26 15:14 ■ Re: [請益] 為何記憶體可以隨便調漲毛利率那麼高
06-27 07:37 ■ Re: [請益] 為何記憶體可以隨便調漲毛利率那麼高
推 : 每個字都看得懂 組合起來就不懂 QQ1F 06/26 08:43
推 : 推2F 06/26 08:43
→ : 到底為何要用晶晶體打文章3F 06/26 08:43
→ : CXL應該是次方案分流4F 06/26 08:44
→ : 回一樓5F 06/26 08:44
→ : 換回GPU，台積電可以學美光宣布漲價10倍嗎？6F 06/26 08:45
推 : 真的是隔行如隔山，完全看無...7F 06/26 08:47
推 : 這文英文快比中文多了8F 06/26 08:47
→ : 這個很不晶晶體了吧。頂多memory 改記憶體9F 06/26 08:48
推 : 同一樓10F 06/26 08:48
推 : 最大的問題是記憶體沒長進 不像邏輯11F 06/26 08:48
推 : 你這些Sentence比較difficult many版友read不懂12F 06/26 08:48
改一下, 有些詞不用英文真的不知道要怎麼寫→ : 導致只能以量取勝13F 06/26 08:49
→ : 這樣就晶晶體，要求太多了吧，專有名詞就很難用中14F 06/26 08:50
→ : 文好好表達，台灣人習慣直接用英文名詞吧
→ : 文好好表達，台灣人習慣直接用英文名詞吧
→ : 頻寬需求應該沒有二次增長吧16F 06/26 08:51
推 : 我覺得文不錯 吐槽的自己等級不夠17F 06/26 08:51
推 : 我看完了但我不記得看了什麼18F 06/26 08:54
→ : 現在科技進展這麼快,預測未來5年發展太難19F 06/26 08:54
推 : 我還以為走錯板 科普大神出現了嗎20F 06/26 08:54
推 : Diffusion 在 Speculative Decoding，現在就可以用21F 06/26 08:55
推 : 光看近十年邏輯電晶體密度大概就贏幾十倍22F 06/26 08:55
→ : 每次有新的 Diffusion Model ，我也很興奮。23F 06/26 08:56
→ : 但就像原文說的，因為差了一點點，所以應用就侷限
→ : 了
→ : 但就像原文說的，因為差了一點點，所以應用就侷限
→ : 了
→ : 記憶體之所以隨便調漲毛利，是因為記憶體可以隨便26F 06/26 08:58
→ : 調漲毛利。
→ : 調漲毛利。
推 : 基層邏輯沒改就是HBM效益海放任何其他方案，這麼強28F 06/26 08:58
推 : 推推29F 06/26 09:01
噓 : 講中文30F 06/26 09:01
推 : 晶晶體在哪....第一線的技術文章本來就這樣31F 06/26 09:03
推 : 看完了但好像又沒看32F 06/26 09:03
→ : 覺得晶晶體的 八成也不是原PO想一起討論的族群33F 06/26 09:04
→ : 第一手資訊通常是英文的 中譯詞很難精準表達34F 06/26 09:05
推 : KV cache搬運減少256倍 金融業會覺得記憶體要崩盤35F 06/26 09:05
→ : 且未必有大家共識的中譯詞可用36F 06/26 09:05
→ : 不習慣的就等二手資訊 但那時間就滯後了
→ : 不習慣的就等二手資訊 但那時間就滯後了
→ : 問就是數學38F 06/26 09:08
推 : 只要有新聞是說加速 就會洗成硬體需求下降要跌39F 06/26 09:08
推 : Nand準備接手噴，40F 06/26 09:09
推 : 感謝分享41F 06/26 09:16
推 : 推推42F 06/26 09:18
推 : 看不懂的那這篇去問AI不就好了？提示詞就打：把文43F 06/26 09:19
→ : 章改成連五歲小孩都看得懂
→ : 章改成連五歲小孩都看得懂
→ : 不是啊 提示詞應該是黃金獵犬都看得懂 電影有教45F 06/26 09:20
推 : 一堆領域都是只能這樣混用吧，很多名詞根本沒有官46F 06/26 09:21
→ : 方統一、自己掰一個別人也看不懂
→ : 方統一、自己掰一個別人也看不懂
推 : 專業！48F 06/26 09:21
→ : 黃金獵犬要看懂、那本篇文會變成一長串的吠叫聲吧50F 06/26 09:22
推 : diffusion就目前多數生圖模型在用的 瓶頸是算力不51F 06/26 09:22
→ : 是記憶體頻寬
→ : 是記憶體頻寬
推 : 有沒有懶人包53F 06/26 09:22
→ : @@上面電影影射高盛 老大都說用黃金獵犬聽得懂話講54F 06/26 09:23
推 : Hbm漲也會灌在台灣對美的出口額嗎55F 06/26 09:23
推 : 結論是 All in MU 哈哈哈56F 06/26 09:28
其實結論是All in GOOG, 因爲GOOG在AI的各層面都有深入.如果今天工程範式真的改變, GOOG是最有能力掉頭的, 從人才培育, 模型理論,
針對新工程範式的ASIC晶片設計, AI infra建設維護, 資金實力.
總體實力都不是另外兩家LLM能比的
那如果不變呢? 那表示Google Cloud這下要賺爛了
怎樣Google都贏, 而且估值並不高
推 : 哪裡晶晶體了 不是反串必定是文盲57F 06/26 09:29
推 : 算法沒更新前記憶體牆就是在那？是醬子的意思？算法58F 06/26 09:35
→ : 更新就是記憶體末路？
→ : 更新就是記憶體末路？
推 : 建議這篇先經過翻譯在打上來 提示詞就直接用推文的60F 06/26 09:35
→ : 內容
→ : 內容
→ : 黃金獵犬會贏 除非你是貓派@@62F 06/26 09:35
→ : 不然和複製貼上有87像63F 06/26 09:36
→ : AI：改好了 文章在下方：汪汪汪汪汪汪汪汪汪汪汪汪64F 06/26 09:37
→ : 汪汪汪汪汪汪 喵 汪汪汪汪65F 06/26 09:38
推 : 記憶體是真的缺，但缺也代表算法革新的效益很高66F 06/26 09:40
→ : 狗家等我記憶卡蛙賺完再來轉倉 那時應該更低了 嘻嘻67F 06/26 09:40
→ : 新算法到上路都要很久啊 看看SSM那號稱壓縮還是待解68F 06/26 09:41
→ : 從有人把bert證明等效single text diffusion step
→ : 到現在還是一堆 總之 汪汪汪汪汪 喵 汪汪
→ : 從有人把bert證明等效single text diffusion step
→ : 到現在還是一堆 總之 汪汪汪汪汪 喵 汪汪
推 : 謝謝71F 06/26 09:43
推 : 推測，多次革新後導致堆記憶體加強AI表現趨緩才有解72F 06/26 09:43
→ : 奇怪你們都不是狗派嗎@@黃金獵犬這樣可愛73F 06/26 09:43
→ : 但真的還很久很久很久XDDD74F 06/26 09:43
→ : 99 GOOG75F 06/26 09:44
推 : 記憶體廠商當然是趁需求高坐地喊價大賺錢，但是現76F 06/26 09:45
→ : 在Frontier models用錢堆參數推智能後，原本想笑著
→ : 高價賣tokens給大量耗用算力的agentic AI換鈔票，
→ : 但目前正被中國緊追在後的開放模型和充沛電能攔胡
→ : ，特別是OpenAI的訂單可能在收入成長動能大轉向後
→ : 有變化，目前還是多關注記憶體自以為可持續的抬價
→ : 態度會如何受到現實反噬吧！
→ : 在Frontier models用錢堆參數推智能後，原本想笑著
→ : 高價賣tokens給大量耗用算力的agentic AI換鈔票，
→ : 但目前正被中國緊追在後的開放模型和充沛電能攔胡
→ : ，特別是OpenAI的訂單可能在收入成長動能大轉向後
→ : 有變化，目前還是多關注記憶體自以為可持續的抬價
→ : 態度會如何受到現實反噬吧！
推 : 高級文推83F 06/26 09:48
→ : 汪汪汪汪 汪汪汪汪84F 06/26 09:51
推 : CPU/GPU house都有在想辦法想設計要節省記憶體，但85F 06/26 09:52
→ : 記憶體越多效能越好的底層邏輯不變的情況下，記憶
→ : 體管你算法多強照樣缺
→ : 記憶體越多效能越好的底層邏輯不變的情況下，記憶
→ : 體管你算法多強照樣缺
推 : 嗯嗯跟我想的一樣88F 06/26 09:53
→ : 太便宜不夠尊貴89F 06/26 09:55
→ : 就是炒作價格太高，毛利才嚇人90F 06/26 09:57
推 : 好91F 06/26 10:02
推 : 越多資料 越多記憶體 = 噴 這次不一樣92F 06/26 10:08
→ : 就是武功再強 還是比手上的槍能多快93F 06/26 10:08
→ : 節省記憶體 = 會被沒料新聞業跟金融業解讀成利空崩94F 06/26 10:11
推 : 那篇tf的論文也是goog發的，所以技術深度我是相信95F 06/26 10:17
→ : ，但他們技術領先這麼多，為什麼還是被oai和anthr
→ : opic打爛？
→ : ，但他們技術領先這麼多，為什麼還是被oai和anthr
→ : opic打爛？
推 : 你哪裡覺得被oai和anthropic打爛?網紅說的?新聞說?98F 06/26 10:19
→ : 除了coding某方面輸anthropic,其他哪裡有輸了?
→ : anthropic之前算力不足,大家沒看到,oai有問題沒看到
→ : 但是大家每天用放大鏡在看谷歌AI
→ : 就跟安卓哀鳳比較一樣,有信仰的會檢討自己
→ : 沒信仰的,就算沒問題也會質疑你
※ 編輯: maplefff (42.73.134.246 臺灣), 06/26/2026 10:24:12→ : 除了coding某方面輸anthropic,其他哪裡有輸了?
→ : anthropic之前算力不足,大家沒看到,oai有問題沒看到
→ : 但是大家每天用放大鏡在看谷歌AI
→ : 就跟安卓哀鳳比較一樣,有信仰的會檢討自己
→ : 沒信仰的,就算沒問題也會質疑你
→ : 喊不懂的如果不是反串那我也是覺得蠻勇的104F 06/26 10:26
推 : 推推105F 06/26 10:31
推 : open醬codex 5.5還蠻好用的 但是之前有新聞說人類學106F 06/26 10:40
→ : fable5花了38分鐘 就寫出windows NT kernel
→ : 再用opus 4.8 花了8天完成其他driver跟library
→ : 結果真的可以跑windows NT程式
→ : 以前上百名工程師好幾年寫的OS 一下就被AI做完了
→ : fable5花了38分鐘 就寫出windows NT kernel
→ : 再用opus 4.8 花了8天完成其他driver跟library
→ : 結果真的可以跑windows NT程式
→ : 以前上百名工程師好幾年寫的OS 一下就被AI做完了
推 : 歡迎專業人士文章111F 06/26 10:45
推 : 大部分也只是人云亦云 人類學特別會做公關就是了112F 06/26 10:47
推 : 推text diffusion還沒試過但一直很感興趣113F 06/26 10:49
推 : 科普文推114F 06/26 10:57
推 : 台灣做不出HBM嗎115F 06/26 11:04
推 : 專利問題？116F 06/26 11:05
推 : 謝謝分享117F 06/26 11:07
→ : 到底為什麼會覺得這樣是晶晶體118F 06/26 11:09
→ : 因為文章沒有起承轉合，隨心所致。119F 06/26 11:10
→ : 看完全文之後，不確定結論是什麼。
→ : 看完全文之後，不確定結論是什麼。
推 : diffusion產文字在目前還是追不上自回歸 但有機會121F 06/26 11:23
推 : GOOG不是一堆天才跳槽到其他家了？怎麼還是最大贏家122F 06/26 11:26
推 : 天下武功出少林 天下AI出谷歌123F 06/26 11:29
推 : 謝謝優文124F 06/26 11:30
推 : 為什麼一定要有結論？125F 06/26 11:32
→ : 今天雨下得很大 這樣126F 06/26 11:39
推 : 謝謝優文127F 06/26 11:42
推 : 跳槽的底下說不定有其它天才128F 06/26 11:44
推 : 看不懂的自己去玩一遍本地模型就懂了129F 06/26 12:03
推 : 谷歌變成記憶體的血包，唉130F 06/26 12:13
→ : 谷歌最大的問是的Gemini 3.5 Pro 從五月IO大會缺席
→ : 說六月會來，然後六月底AI大將不是去OAI 就是去A家
→ : 模型現在要延到7月，大將走了7月不知道出不出的來
→ : 以及出來的品質如何，要是Gemini沒辦法跟上模型第一
→ : 梯隊，會有護成河鬆動的問題。這個目前還沒被定價
→ : 目前只被定價記憶體血包，各大CSP都在跌
→ : 現在這個狀況谷歌倉位不宜過重。QQ
→ : 谷歌最大的問是的Gemini 3.5 Pro 從五月IO大會缺席
→ : 說六月會來，然後六月底AI大將不是去OAI 就是去A家
→ : 模型現在要延到7月，大將走了7月不知道出不出的來
→ : 以及出來的品質如何，要是Gemini沒辦法跟上模型第一
→ : 梯隊，會有護成河鬆動的問題。這個目前還沒被定價
→ : 目前只被定價記憶體血包，各大CSP都在跌
→ : 現在這個狀況谷歌倉位不宜過重。QQ
推 : 太深奧138F 06/26 12:40
推 : 翻譯一下，google的gemma diffusion會讓記憶體頻寬139F 06/26 12:47
→ : 下降256倍，輝達alphabet繼續漲，美光跌（是不是真
→ : 的就不重要了，股版不在乎
→ : 下降256倍，輝達alphabet繼續漲，美光跌（是不是真
→ : 的就不重要了，股版不在乎
推 : 你太抬舉這邊的人了 這邊87%只想知道股票代號和點位142F 06/26 13:00
→ : 講這麼多，如果還是無法明確表示該買還是賣，就是143F 06/26 13:01
→ : 沒有意義的文章阿。就像非洲人有一半沒有穿鞋子
→ : 你知我知上帝知，但這到底對賣鞋的來說是好還是壞？
→ : 沒有意義的文章阿。就像非洲人有一半沒有穿鞋子
→ : 你知我知上帝知，但這到底對賣鞋的來說是好還是壞？
推 : 推文本diffusion，應該是未來146F 06/26 13:14
推 : 所以說啊 這陣子一堆投資網紅都在講基本面147F 06/26 13:15
→ : 笑死 這種才是基本面 結果大家每天追消息當成基本面
→ : 真正基本面超枯燥無聊一堆天書
→ : 不是在那邊誰搶單誰掉酖誰改規格好嗎
→ : 講難聽點那些網紅所謂的基本面根本只是想追內線
→ : 然後再用小學生簡單乘法抓個目標價 大家拍拍手
→ : 笑死 這種才是基本面 結果大家每天追消息當成基本面
→ : 真正基本面超枯燥無聊一堆天書
→ : 不是在那邊誰搶單誰掉酖誰改規格好嗎
→ : 講難聽點那些網紅所謂的基本面根本只是想追內線
→ : 然後再用小學生簡單乘法抓個目標價 大家拍拍手
推 : 好專業的文153F 06/26 13:22
推 : 推154F 06/26 13:27
--
※ 看板: Stock 文章推薦值: 0 目前人氣: 0 累積人氣: 284
回列表(←)
分享