作者 oopFoo (3d)標題 Re: [新聞] 輝達H100晶片紓壓了 訂單大戶開始轉售時間 Thu Feb 29 08:06:42 2024
千禧年的網路泡沫,也是先炒作硬體商,Cisco, Sun...,Sun還有"dot in dot-com"的廣告。
網路確實是改變世界,但真正大賺的是軟體公司,而且是完全新鮮的軟體公司。
這次AI浪潮,應該也是類似。
N家這次炒作這麼高,是因為真的,Compute是供不應求。每個大公司都怕買不夠,跟不上。
但最近一些AI的發展,也許會發現,這些Compute是不需要的。
Mamba, RetNet, RWKV是從"Attention"的這點來改善。"Attention"是Quadratic Complexity,這是硬體需求的關鍵。現在在找方法從Quadratic改成Linear。
Mamba我很看好,它的作者之一也是"Flash Attention"的作者。
但昨天一篇新的論文,可能是真的翻天覆地的開始。
https://arxiv.org/abs/2402.17764
"The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits"
https://news.ycombinator.com/item?id=39535800
hn的討論。
現在討論的共識是,可行,理論基礎很扎實。各路人馬開始指出,從2006年開始的這方面研究,已經找出好多篇證實這方向是可行的。
現在的LLM是用fp16(16bits),這方法可1.58bits,(討論說可以縮到0.68bits)
然後本來是fp dot product的只要int add。
輕鬆10x的效能,新ASIC針對Ternary weight發展可以輕鬆100x的效能改善?
如果這篇證實是可行的,AI起跑點重新設置,所有公司的價值都要重新計算。
這篇的作者群很有資歷,但很有趣的是,主要是來自北京/清華大學。美國猛力壓制中國的運力運算,造就不太需要Compute的方法的發現,戳破美國AI泡沫,這會是非常的諷刺。
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 219.70.128.119 (臺灣)
※ 作者: oopFoo 2024-02-29 08:06:42
※ 文章代碼(AID): #1btygMtg (Stock)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1709165206.A.DEA.html
※ 同主題文章:
Re: [新聞] 輝達H100晶片紓壓了 訂單大戶開始轉售
02-29 08:06 oopFoo
推 patrol: 嗯,先拿點實際的東西出來看看4F 02/29 08:13
→ sirins: 種蒜用農藥,重返榮耀哪一間我就不說了5F 02/29 08:13
→ poisonB: 說得很好 繼續加油啦6F 02/29 08:14
→ fedona …
噓 fedona: 實作的出來再吹7F 02/29 08:16
→ kausan: 算力需求根本沒極限 結案9F 02/29 08:16
推 wUbInG: 可惜民進黨逢中必反 根本反智10F 02/29 08:17
→ otaku690: 對於降低資料頻寬的追求跟美國打不打壓沒關係啦11F 02/29 08:17
推 audic: 沒有算力才在那邊搞五四三,最終還是回歸算力追求15F 02/29 08:21
→ audic: 跟縮小晶片跟先進封裝兩條線不衝突一樣17F 02/29 08:22
→ mojito888: 理論上時光機也做得出來,理論上啦!中或贏,要加油餒…18F 02/29 08:22
推 ppon: 之前以太幣也是出現更有效率的挖礦法 結果沒人再用顯卡挖 AI感覺也是遲早的事20F 02/29 08:23
→ emind: 美國用這個技術訓練更大的模型?22F 02/29 08:25
→ AGODC: 就是沒算力才在那邊搞東搞西的,等這東西真的弄出來,人家瘋狂買算力的都跑多遠了?26F 02/29 08:28
噓 WTF55665566: 優化架構本來就一直存在 把這個扯成跟打壓晶片有關?問號
還在理論可行沒實作的東西看看就好 不要又搞個超導體笑話29F 02/29 08:30
→ kausan: 這麼說好了 gpu遲早會降價 沒錢的公司可以等價格合理再買阿34F 02/29 08:31
推 herrowui: 大學的論文著重在理論,是的理論!!37F 02/29 08:31
→ c928: 這文字看了就頭痛38F 02/29 08:32
噓 ck326: 看到吹強國就可以不用看了39F 02/29 08:33
→ CORYCHAN: 大大你在電蝦版吹的MSI Claw
好像是跑分80 性能40欸
這樣還賣的比Ally貴是怎樣..40F 02/29 08:33
推 flycarb: 可4現在AI專家們都爽用CUDA欸,而且大力出奇蹟呢44F 02/29 08:34
噓 Fww: 看到吹強國就知道可以跳過了46F 02/29 08:36
推 flycarb: 工程師:改算法太麻煩惹,我們直接大力出奇蹟吧~~47F 02/29 08:37
推 iamjojo: 戳破再說 先搞個比sora厲害的出來我就相信48F 02/29 08:41
推 gk1329: 好 中國又贏惹 贏兩次50F 02/29 08:45
推 AndyMAX: 之前吹量子 吹爆了改吹AI51F 02/29 08:48
推 kentsv: 中國又來贏了,推文有些人又被空氣碰到就高潮跳針民進黨了52F 02/29 08:50
推 Mchord: AI發展到現在只有論文標題愈來愈像農場文是真理57F 02/29 08:52
推 joygo: 算力高也不見得做的出好ai,等老黃出算力補偵61F 02/29 08:57
噓 ariadne: 我覺得中國量子電腦搞出後ai就會領先世界 又雙贏63F 02/29 08:57
→ joygo: 現在主要是大家都要搶頭香,agi這種東西第一個做出來的人直接自霸軟體界,一個24小時不休息會思考記憶無限的天才員工,有什麼軟體是他寫不出來的64F 02/29 08:58
→ newwu: 變linear有差,省個運算你以為老黃就會怕了?67F 02/29 08:58
→ oopFoo: 論文作者一半以上是微軟亞洲研發的員工。我是在釣XD68F 02/29 09:00
噓 oil01: 就中國貪小便宜以為自己聰明!69F 02/29 09:01
推 previa: 噓的人多少人付費買AI產品過?
我懷疑有1/3就不錯了
chatgpt噓的有多少人是付費會員?70F 02/29 09:02
推 aleventy: 這跟三星超車台g的言論,哪個可信度高?74F 02/29 09:04
→ sdiaa: 怎麼會覺得算力高的公司沒有在優化自己的程式阿??75F 02/29 09:07
→ xlaws: 嘻嘻76F 02/29 09:09
推 GiPaPa: 量化太多精確度會下降 確定要拿這個講不需要算力嗎78F 02/29 09:16
推 thbygn98: 我覺得蠻難的,有些問題變interger反而更難79F 02/29 09:22
噓 Westzone: 呵呵,信的去放空輝達阿,笑你不敢而已80F 02/29 09:22
推 thbygn98: 而且運算變簡單不一定等於算力需求降低,反而讓十倍百倍大的模型變的可能,說不定相反變ai爆炸
只是贏家可能換人而已,說不定回頭做fpga了81F 02/29 09:25
→ thigefe …
推 thigefe: 還以為是什麼,原來是彎道超車啊85F 02/29 09:28
推 littlelaba: 優化是一定要優化 但不代表硬體需求一定會滿足86F 02/29 09:30
噓 steven3231: 下次先把吹中國放文章開頭好嗎,省得浪費時間看整篇87F 02/29 09:34
噓 jympin: 結論:中或贏89F 02/29 09:41
→ Altair: 看起來只有理論 沒有實作? 紙上談兵??90F 02/29 09:41
→ Altair: 又 這個會否跟ram很像 你說不需要太多ram就能做?
ram是愈多愈好 沒人嫌少92F 02/29 09:42
→ oopFoo: 有3.9B的,70B的還在路上。如果這可行,就不需要94F 02/29 09:43
推 boy1031: AI又不會向領導敬酒下跪繳紅包,這在共慘就是完全沒用的東西95F 02/29 09:44
→ oopFoo: GPU做inference。普通CPU就可用了,這是關鍵。97F 02/29 09:44
→ oopFoo: 本來贏者全拿的,現在每個人都有機會。int add很容易的。然後本來是compute限制的,現在回到data限制99F 02/29 09:47
→ vacuityhu: 不是啊...就算真的能無損效能改int, 那改完int省出來的算力我也可以繼續擴增模型尺寸啊, 模型變大能做的事更多更好一樣甩你好幾個車身, 不加大模型我也可以加快運算效率啊, 影片即時翻譯字幕比你快比你精準還是把你壓在地上摩擦, 追根究底算力碾壓的前提下還在妄想什麼彎道超車?202F 02/29 17:40
噓 sa87a16: 連晶片都要手工的國家,你吹慢慢吹
上次一堆韭菜被詐騙,這次一定不一樣對不對208F 02/29 19:16
--