顯示廣告
隱藏 ✕
回列表(←)
Disp BBS guest 註冊 登入(i) 線上人數: 200
首頁(home) 上頁(↑) 下頁(↓) 末頁(end)
※ 本文轉寄自 ptt.cc 更新時間: 2024-01-30 23:10:28
看板 Stock
作者 waitrop (嘴砲無雙)
標題 Re: [新聞] 中國AI晶片業陷困境 兩大關鍵廠商消沉
時間 Mon Jan 29 11:23:44 2024

前一篇文章太八卦了,
想一想還是刪掉好了,
我們就市場與技術做專業討論,
先說結論: All in TQQQ 就對了

AI晶片分成兩種: edge AI 與 server AI,
寒武紀是edge AI,
壁仞科技是server AI,
目前新聞與股市天天在吵的都是server AI,
而中國真正有戰鬥力能跟NVDA AMD 對打的 server AI 只有兩家:
壁仞科技與摩爾線程,
壁仞科技倒了表示全中國server AI 市場只能買NVDA AMD,
至於推文提到的華為 AI 晶片,
那是達文西+泰山 堆出來的東西,
是個十年前的設計,
跟檯面上的AI 晶片大廠只會被越拉越遠,
All in 美股七巨頭

然後我們把眼光放遠一點,
就像我之前說的,
這波AI 產業革命如果成真的話,
會像是之前的智慧手機與網路革命一樣,
從頭到尾可以整整吃十年以上,
在一開始的產業發展是放在硬體與Infrastructure 的開發,
比方說199x-2000年的CSCO,
以及智慧手機剛開始時的CPU 設計: QCOM, AAPL, ARM
以現在的情況來推算就是 NVDA AMD,
但是之後真正賺大錢的是應用平台的蘋果稅, 谷歌稅,
youtube, amazon, facebook 等,
所以之後AI 產業真正會賺大錢的是在應用平台上面,
只是現在還看不到也看不清

好, 回到重點,
AI server 的硬體, 尤其是GPU/TPU/ASIC,
我個人預估還有三到五年的榮景,
等到算力過剩 或是 大部分應用模型都訓練的差不多了,
接下來對大模型訓練的需求會減少,
這是趨勢,
所有科技的趨勢都是這樣發展,
接下來就是edge AI 的天下,
最終的應用平台都是要跑在客戶端, 比方說手機或筆電等,
尤其是inference 推理的應用一定都在 edge device上跑,
所以我個人預估一兩年內 edge AI 的需求會暴增,

三五年後 edge AI 會超過 server AI,

Then, who is the edge AI player:
台灣: 聯發科
中國: 寒武紀, 華為 NPU
美國: GOOG, ARM (Mali), NVDA (maybe), AMD (maybe), AAPL (NPU), QCOM

還有一些新創公司在做 edge AI 晶片,
目前 edge AI 做得最好的是GOOG 的tensor,
能夠配合安卓在手機上面跑AI 推論,
Pixel 手機上面也有一些 edge AI 晶片的應用,
包含照相美顏 與 即時修圖等功能,
結論還是All in 七巨頭, TQQQ


再來說CUDA的事情,
有OpenCL 跟CUDA 對打,
這是一個完全open source 的東西,
CUDA 與OpenCL 就像是當年DirectX 與 OpenGL,
所有其他GPU公司要繞開CUDA,
只能從OpenCL 或是其他open source framework 下手,
至於推文說的Pytorch 與 TensorFlow 等 framework,
又是不同的東西,

Pytorch TensorFlow 都是架構在CUDA/OpenCL 上面,
他們不是平行同等的東西,
所以才有所謂的GPU CUDA 加速 Pytorch TensorFlow,
一樣的道理,
你拿DirectX 與 OpenGL 來對比就知道我的意思,
現在OpenCL 還是比不上CUDA,
但是基於open source 與各大軟硬體公司合作,
相信幾年後一定會追上的,
就像當年OpenGL 也是多花了幾年的時間才追上 DirectX

※ 引述《Arim (億載金城武)》之銘言：
: ※ 引述《Su22 (裝配匠)》之銘言：
: : 原文標題：中國AI晶片業陷困境 兩大關鍵廠商消沉
: : ※請勿刪減原文標題
: : 原文連結：https://reurl.cc/WRAEMZ
: : ※網址超過一行過長請用縮網址工具
: : 發布時間：2024/01/27 08:22
: : ※請以原文網頁/報紙之發布時間為準
: : 記者署名：吳孟峰
: : ※原文無記載者得留空
: : 原文內容：
: : 曾經充滿希望的中國人工智慧（AI）產業正面臨艱困時期。壁仞科技和寒武紀這兩個新創
: : 產業巨頭都在苦苦掙扎。壁仞執行長兼聯合創始人徐凌傑最近辭職，引發人們對公司未來
: : 的擔憂；而寒武紀持續7年來虧損，不得不裁員。
: : 壁仞科技被美國政府列入
: : 這兩家公司並不是中國唯一的AI GPU開發商，但他們的掙扎反映整個中國AI硬體的困境。
: : 這些公司是否能夠適應、保持財務穩健，並跟上快速變化的市場趨勢，目前還有待觀察。
: : 心得/評論：
: : 之前壁仞的GPU產品線總經理焦國方也離職了
: : 現在另一個高層也閃人
: : 寒武紀(SHA: 688256)則是連續虧損中,股價也跌了不少
: : 有投資中港股市AI晶片概念股的網友要注意相關風險
: : ※必需填寫滿30正體中文字，無意義者板規處分
: AI GPU 這塊未來十年內肯定還是 Nvidia 獨大，就跟 台 gg 一樣，整個生態早就建立起來了，要幹翻他光有錢是不夠的
: 皮衣刀客在十幾年前就佈局 cuda，只要有用 Nvidia gpu 做加速的軟體通通都要綁 cuda，目前開源做深度學習跟推論的，也都是綁 cuda ， 然後  cuda 並不是開源的，所以如果不是 Nvidia 的晶片，根本不能用 cuda
: 所以你看 meta 買 nv 的卡，openai 也買 nv 的卡，AMD 雖然也有自己的運算軟體，但生態系沒建立起來，在 AI 這塊終究看不到 nv 的車尾燈，你有看過有哪家大廠買 AMD 的卡做訓練嗎？
: 所以搞 gpu 晶片這塊就跟牙膏在 gg 面前說要做先進半導體製程一樣，只是純燒錢而已，什麼都不會有的
: -----
: Sent from JPTT on my Xiaomi M2004J19C.

--
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 76.103.225.6 (美國)
※ 作者: waitrop 2024-01-29 11:23:44
※ 文章代碼(AID): #1bjnf233 (Stock)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1706498626.A.0C3.html
※ 編輯: waitrop (76.103.225.6 美國), 01/29/2024 11:26:09
推 roseritter  : 大大 前一篇也很好啊 不需要刪吧 讓我們業外聞香1F 01/29 11:26
推 mongduo     : 前一篇提的，這一篇都有啊，刪掉保險一點~推2F 01/29 11:28
推 metallolly  : 七巨頭..是誰的XD3F 01/29 11:30
推 zoze        : 中國燧原科技 聽說不錯4F 01/29 11:30
推 rebel       : edge ai有個問題 目前業界還沒找到殺手級應用 需求5F 01/29 11:31
→ rebel       : 不強的話 很難帶動需求跟價格
推 ymlin0331   : all in TQQQ7F 01/29 11:32
推 a316xxx     : 淺顯易懂的優質文8F 01/29 11:33
推 pponywong   : 對岸記得還有一個地平線阿9F 01/29 11:33
推 thg156yu789 : 發哥太貴了 有其他間嗎10F 01/29 11:36
台灣有在做GPU的公司 我只知道矽統,
當年矽統 的GPU 差點把nvidia ati(amd) 打趴,
不過那是25年前的故事了,

晶心做risc-v 偏向cpu,
不知道有沒有AI/GPU 的設計,
我也不知道台灣IP公司有沒有AI/GPU 的設計, 像是智原,創意,
所以我無法回答你,

※ 編輯: waitrop (76.103.225.6 美國), 01/29/2024 11:45:20
推 mabobo      : 請問直接買00757也可以嗎？11F 01/29 11:42
推 aegis43210  : 西台灣做推論的只要沒辦法下GG，就沒希望了，反倒是12F 01/29 11:47
→ aegis43210  : 做訓練的，有足夠電力還可以大力出奇蹟
推 dragonjj    : 結論 可以歐印台GG了嗎?製成全都繞不開阿!14F 01/29 11:49
對, 歐印GG 也可以,
跟歐印TQQQ 一樣,
你最後還是要加入他的

推 dongdong0405: 有料，推15F 01/29 11:50
→ MacD89      : edge ai 會不會太浪費資源？把運算丟到server算好16F 01/29 11:50
→ MacD89      : 再傳回來會不會比較有效率？
不,
丟server 才是浪費資源,
computer science 吵"中心運算"與"平行運算" 已經吵了百年了,
最終都是平行運算勝利,
把所有計算放在 server 才是最耗資源 最耗水電的,
只有把運算分散到終端用戶,
才是最終最好的解法

比方說,
你買10000支手機 可以有一台 AI server 的算力,
也就是一台AI server 可以支援 10000 個用戶的運算需求,
但是這樣一台AI server 的造價與耗電量是 10000支手機的數百甚至數萬倍
※ 編輯: waitrop (76.103.225.6 美國), 01/29/2024 11:57:53
推 thbygn98    : 一定需要edge的，很難全不要18F 01/29 11:53
推 w60904max   : tqqq有垃圾車19F 01/29 11:54
推 kducky      : 沒錯 QQQ買滿20F 01/29 11:55
推 c7683fh6    : 推 歐印10年財富自由21F 01/29 11:55
推 rebel       : 反了吧 推論對算力需求低 有沒有GG影響低22F 01/29 11:57
→ good5755    : 照這篇買股 allin谷歌？23F 01/29 11:57
推 Cliffx      : tqqq有垃圾車24F 01/29 11:57
FNGG 等七巨頭ETF 也都有垃圾車呀!
沒辦法呀!
比持有率的話,
TQQQ/QQQ 持有垃圾車的比例還比較低

推 howhow801122: 垃圾車是誰25F 01/29 12:00
→ booray      : edge 功耗更重要啊 不用GG先進製程手機電池哪夠用26F 01/29 12:01
對,
edge 最在乎功耗
※ 編輯: waitrop (76.103.225.6 美國), 01/29/2024 12:04:07
推 ohlong      : Edge絕對會是主流 更何況區塊鏈那套也可以拿來用在27F 01/29 12:03
→ ohlong      : 末端算力上
推 aegis43210  : 目前大部份模型仍未到剪枝階段，推論仍需要大量算力29F 01/29 12:04
→ aegis43210  : 所以西台灣做推論的，沒有一家能投資
推 JKCCF       : 好 ALL IN!31F 01/29 12:07
推 jamesho8743 : Linux追得上Windows? Firefox追得上chrome? 聯電追32F 01/29 12:08
→ jamesho8743 : 得上台積電?
OpenGL 後來真的追上DirectX,
甚至現在的3A 大作支援OpenGL 更多,
理論上,
open source 與 跨平台cross-platform 最終都會勝過封閉系統,
唯一的例外就是賣水果的那家,
所以信仰最重要

推 energyy1104 : 最優解就是都配 不可能全部用edge也不可能全部用se34F 01/29 12:10
→ energyy1104 : rver
推 ming5566    : 推36F 01/29 12:11
※ 編輯: waitrop (76.103.225.6 美國), 01/29/2024 12:14:34
推 jamie81416  : 這篇才是重點37F 01/29 12:12
→ jamie81416  : 結論：All in GG
推 lrac        : 推39F 01/29 12:13
推 fernmmm     : 看起來edge端發展起來關鍵是server成本居高不下 那40F 01/29 12:14
→ fernmmm     : 有沒有什麼劇本是server成本大降
推 jamie81416  : 樓上，edge段的發展關鍵是應用，不是server42F 01/29 12:15
→ MacD89      : 可是使用者更在意自己on premise的功耗太大而不會43F 01/29 12:15
→ MacD89      : 考慮服務商那邊的功耗成本？所以最後還是都有的吃
→ MacD89      :  不過不管edge或server那邊loading會比較重 反正就
→ MacD89      : 是gg或成最大贏家 XD？
→ jamie81416  : 沒錯R，不管哪個都要GG支援47F 01/29 12:16
推 strlen      : 你各位不要歧視垃圾車 人家還差一點就變AI神車 還有48F 01/29 12:16
→ strlen      : chobits 機械公敵
推 jamie81416  : 現階段edge AI還沒噴單純是還沒有殺手級應用50F 01/29 12:17
推 aspirev3    : 愛普跟邊緣運算有關係嗎51F 01/29 12:18
推 fernmmm     : Edge應用怎麼說 願聞其詳52F 01/29 12:18
→ fernmmm     : 是指在edge或server跑應用性能表現有差嗎？
看看這篇 Pixel 8 Pro — the first smartphone with AI built in — is now running Gemini
Nano,
edge 的應用例子, 還可以找到一些其他的例子, 但是不多,
https://store.google.com/intl/en/ide...oCL84QAvD_BwE&gclsrc=aw.ds
※ 編輯: waitrop (76.103.225.6 美國), 01/29/2024 12:21:11
推 joygo       : 現在就大廠再拼啊，拼出一個最強的需求就會跑去客54F 01/29 12:20
→ joygo       : 戶端了
推 jamie81416  : 比較近似的例子，NV的顯卡要用雲端串流還是單張XD56F 01/29 12:20
→ jamie81416  : GeForce Now就死的差不多了
→ joygo       : chat gpt讓人看到ai的好用，現在美術應該是第一個58F 01/29 12:21
→ joygo       : 衝擊，再來應該會更多
推 fernmmm     : 我想表明的點是 如果server成本大降 還有一定要在60F 01/29 12:23
→ fernmmm     : 終端跑AI的必要嗎？
推 jamie81416  : 樓上的問題相當於單機版還是雲端版62F 01/29 12:24
對,
這就是最好的比喻,
以使用者而言,
你覺得是單機版還是雲端版便宜?
※ 編輯: waitrop (76.103.225.6 美國), 01/29/2024 12:25:57
→ awss1971    : 結論: All in TQQQ63F 01/29 12:25
推 a1237759    : 達文西是2019台積cowos團隊用16nm做的東西，說落後64F 01/29 12:26
→ a1237759    : 十年就誇張了，五年差不多
→ a1237759    : 且達文西二代當初率先使用兩層的soic ，領先AMD NV
→ a1237759    : 三年，如果不是被封鎖，台積當時可能真的會帶華為打
→ a1237759    : 趴AMD
達文西第一代研發設計在2015年底到2016年,
當年瞄準目標是A100,
是美國研發團隊研發設計的,
研發團隊在2018年整個解散,
流散到美股七巨頭, AMD 與 阿里巴巴,
tapeout 與 design 的時間本來就會差兩三年,
即使你晶圓代工與製程再怎麼進步,
都無法彌補設計與架構本身的落後

推 jamie81416  : 台灣就All in GG。Sign G翁！69F 01/29 12:28
※ 編輯: waitrop (76.103.225.6 美國), 01/29/2024 12:31:33
推 guanting886 : Server成本再怎麼降也無法一次處理很大的需求 如果70F 01/29 12:28
→ guanting886 : 都算簡單東西 很浪費那台機器的資源
推 beckhon     : 大大，你所指有包含特斯拉嗎72F 01/29 12:28
→ a1237759    : D2在台積試產成功，但無法出貨，華為現在應該就是用73F 01/29 12:28
推 Eric0605    : 你edge AI都寫MTK了 居然漏了QCOM?74F 01/29 12:28
補上了,
怨念太深都忘了QCOM

→ a1237759    : 台積同一套在做D175F 01/29 12:28
推 ds040302    : 看不懂，推76F 01/29 12:29
→ guanting886 : 有些Ai或某種較為簡單的處理可以做在專用晶片上 你77F 01/29 12:30
→ guanting886 : 直接調用上面的資源來算比浪費Server資源算還更有
→ guanting886 : 效益而且更快 不用網路
→ guanting886 : 用單機版 跟 雲端版 形容算對 但單機版的功能是半
→ guanting886 : 殘
※ 編輯: waitrop (76.103.225.6 美國), 01/29/2024 12:32:52
→ aegis43210  : 目前雲端推論運算就卡在記憶體瓶頸，所以邊緣運算化82F 01/29 12:33
→ aegis43210  : 是趨勢，尤其是自駕
推 prpure      : 請問tesla的自駕也算edge ai嗎？84F 01/29 12:33
推 a1237759    : 我是當初研發團隊的，2018出貨給D1給海思，2019幫海85F 01/29 12:35
→ a1237759    : 思試產，遇到封鎖團隊也不能說算解散，就是流往其他
推 ppuuppu     : 推87F 01/29 12:35
→ a1237759    : 客戶88F 01/29 12:35
推 fake        : Ai應用爆發應該也是會帶動傳統伺服器的成長？畢竟89F 01/29 12:37
→ fake        : 你東西做出來要分享出去還是得經過傳統伺服器
→ aegis43210  : 是可以靠模型剪枝來緩解記憶體及網路瓶頸，但現在是91F 01/29 12:37
→ aegis43210  : 吃力不討好，建模就來不及了
推 jamesho8743 : opengl本來在業界就一片天了 directx會紅只是因為wi93F 01/29 12:38
→ jamesho8743 : ndows和pc game的崛起 經過了幾十年opengl可以扳平
→ jamesho8743 : 甚至超過 是因為只要學一套opengl就可以兩邊通用 op
→ jamesho8743 : engl在windows上的優化也很成熟和dx沒什麼差距
是的,
你的論點拿來套在OpenCL 也適用,
我相信open source 跨平台最終會追上封閉系統的CUDA,
當然信仰無價

推 jamie81416  : 對消費者來說，半不半殘不是關鍵，好用才是97F 01/29 12:38
※ 編輯: waitrop (76.103.225.6 美國), 01/29/2024 12:39:39
推 a1237759    : 海思的design在當時其實一點都弱，又肯砸錢與台積共98F 01/29 12:38
→ a1237759    : 同開發，台積扶持下追趕曲線非常快
→ fake        : 另外手機電腦裝上 AI 晶片應該也會需要更強的散熱100F 01/29 12:39
推 a1237759    : 總之這些廠商都靠台積飛的，叫台積股價飛不起來101F 01/29 12:40
→ a1237759    : 就
推 fake        : 台積還是有很大比例是消費品吧 被拖累了QQ103F 01/29 12:42
推 AoA1        : 好文，推一個104F 01/29 12:43
→ cccict      : 現在企業又因為資安的問題要回去雲端化了，我現在105F 01/29 12:48
→ cccict      : 筆電所有檔案都在one drive，edge除非像電動車有即
→ cccict      : 時運算的需求才會使用，server的效率跟成本還是比
→ cccict      : 自建划算，尤其現在都要ESG，還不如讓平台商解決
推 rebel       : 我還是認為推論不應該消耗太多功耗 會消耗大量功耗109F 01/29 12:50
→ rebel       : 的應用放在手機上就很奇怪 放在插電的pc上比較合適
→ rebel       :
推 Edaw        : 推推112F 01/29 12:51
噓 donkilu     : 純噓GOOG113F 01/29 12:51
推 clisan      : 推好文114F 01/29 12:54
推 france5289  : Andes 有做edge AI相關的產品115F 01/29 13:00
→ france5289  : 概念是用vector CPU處理AI asic無法加速的operator
→ france5289  :  他們最近好像也有推自己的加速器 但不知道有沒有
→ france5289  : 客戶(除了跟Meta合作之外)
噓 sdbb        : 應該是directx追上opengl119F 01/29 13:02
→ la8day      : 現在都vulkan哪有人要用ogl120F 01/29 13:03
推 ga023630    : 都要歐印 FNGU 會比TQQQ差嗎？121F 01/29 13:05
推 ProTrader   : 幹嘛為了八卦特地刪文 內容很精彩 八卦也很精彩122F 01/29 13:07
→ ProTrader   : 重點是這篇一點都不豪洨 原po哪可能壓力大
→ askaa       : 靠我沒看到wait大大的八卦文  可惜惹 XDDDDD124F 01/29 13:08
→ ProTrader   : 公司敢裁你就換下一間125F 01/29 13:09
推 n555123     : 推一下126F 01/29 13:14
推 sdbb        : 最早期，opengl比較像cuda，opengl領先directx cud127F 01/29 13:23
→ sdbb        : a領先opencl
推 SRNOB       : 完了 看不太懂 我變落後老人了129F 01/29 13:25
推 y800122155  : MS copilot已經在貢獻營收了欸130F 01/29 13:27
→ y800122155  : TQQQ FNGU的組合問題應該可以透過買NVD3 FB3 MSF3 A
→ y800122155  : AP3 GOO3 AMZ3自己調整吧?!
推 speedman    : 沒列到M$ 微軟有涉入AI嗎? 算是什麼腳色133F 01/29 13:37
我列的是硬體部分,
因為台灣只有硬體與IC產業,
M$ 是AI 應用平台的角色,
目前M$ + OpenAI 是AI應用平台的第一名領先者,
GOOG 是AI應用平台的第二名,
GOOG 幾乎在每個AI 的領域都是排第二第三,
缺點是GOOG 沒有任何一個AI 領域是第一名領先者地位

→ karcher     : 有內容給推，不過有點高估AI的價值134F 01/29 13:39
→ y800122155  : 微軟是ChatGPT大股東 市值都超越阿婆了還什麼角色..135F 01/29 13:39
推 roseritter  : 微軟是openAI大股東，早早引入copilot136F 01/29 13:40
→ roseritter  : 變現能力現在看來海放google
※ 編輯: waitrop (76.103.225.6 美國), 01/29/2024 13:47:06
推 cadaver     : 請問大大有TQQQ預計獲利了結的時間點嗎138F 01/29 13:45
美國總統大選前 也就是 2024年12月前,
都是安全的存股時間點,
選完之後很難說,
我之前說過,
不論是川普或是拜登上台都會是狂人政治,
很難預測發展,
川普就不用說了,
拜登連任之後沒有再選舉的壓力,
追求的是歷史定位,
一定會非常左派作風,
大撒幣給底層人民以及繼續給中產階級加稅,
亂花錢沒有財政節制,
很可能通膨會再起 與金融風暴,
川普在金融與經濟上會處理好很多,
但是川普是狂人而且仇恨值超高
※ 編輯: waitrop (76.103.225.6 美國), 01/29/2024 13:51:52
噓 a000000000  : 我覺得尼想太多  hbm效能等級的東西要放到edge139F 01/29 13:48
→ a000000000  : 等葛十年看看
推 rebel       : 知道你討厭拜 但拜不是一個人就可以控制美國 拜要141F 01/29 13:57
→ rebel       : 灑幣 一堆人就不會同意 他不選了其他人未來都不選
→ rebel       : 了嗎
推 william85   : 推144F 01/29 14:04
推 roseritter  : 那這麼一堆人 之前出來有擋住拜耍腦包嗎 喝145F 01/29 14:15
推 rebel       : 那時沒通膨 現在通膨都燒成什么樣了 拜登最後一波146F 01/29 14:20
→ rebel       : 灑幣不就被擋下來了
那時已經有通膨,
大撒幣的名稱還是非常諷刺的"降低通膨法案":
為遏止通貨膨脹惡化以及應對全球氣候變遷問題，美國總統拜登（Joe Biden）於2022年8
月16日簽署通過4,370億美元支出的《降低通膨法案》（The Inflation Reduction Act）
https://stli.iii.org.tw/article-detail.aspx?no=55&tp=1&d=8918
資策會科技法律研究所 科技法制要聞：美國總統拜登簽署《降低通膨法案》，通過美國史上最大氣候變遷支出法案 　　為遏止通貨膨脹惡化以及應對全球氣候變遷問題，美國總統拜登（Joe Biden）於2022年8月16日簽署通過4,370億美元支出的《降低通膨法案》（The Inflation Reduction Act），約3,690億美元將用於減少二氧化碳的排放以及實現綠色環保的目標。 　　法案著重在潔淨能源 ...

 

這次大通膨以及2022年股市大跌,
拜登必須負起最大的責任,
當時民主黨躺贏,
所以根本不在乎通膨 亂花錢,
現在被川普壓著打,
就不敢再大撒幣,
但是我對拜登與民主黨有信心,
要是這次選贏一定會大撒幣
※ 編輯: waitrop (76.103.225.6 美國), 01/29/2024 14:26:14
推 kis28519    : 推148F 01/29 14:24
推 rebel       : 現在的參眾議院又不是都在民主黨手上 認為憑拜登就149F 01/29 14:29
→ rebel       : 可以大灑幣我覺得你想太多 我寧願相信美國的制度而
→ rebel       : 不是拜或川的個人
推 qweaaazzz   : 推152F 01/29 14:44
→ SILee       : 你有點扯過頭了。他這陣子都沒有提大撒幣法案主要是153F 01/29 14:45
→ SILee       : 眾院被掐住了，提了也沒用。後面還有更重要的法案讓
→ SILee       : 他火在燒，輪不到撒幣這件事。
推 yaehsin     : 推TQQQ156F 01/29 14:54
推 dangurer    : 收到打收到!157F 01/29 15:10
→ BryceJames  : 覺得不可能 edge無法散熱注定只能大模型只能server158F 01/29 15:16
→ BryceJames  : 3 5 年內edge超越server太樂觀
→ BryceJames  : 而且大模型訓練只會越來越多...
推 popcorny    : 我2021的MBP跑LLM mistral-7b 已經嚇嚇叫了，edge161F 01/29 15:25
→ popcorny    : 沒有想像中那麼遙遠. 應該很快就大爆發了
推 aegis43210  : 訓練是另一回事，在終端訓練也太沒效率163F 01/29 15:27
終端不做訓練,
終端是做推論,
當大部分應用訓練完成/成熟之後,
就是在終端的推論應用,
這時候需要的是edge AI
※ 編輯: waitrop (76.103.225.6 美國), 01/29/2024 15:29:09
推 neo5277     : 下個接棒的應該是居家機器人了吧164F 01/29 15:33
推 previa      : 我2008,2009年在用CUDA做GPGPU應用時就覺得OpenCL會165F 01/29 16:18
→ previa      : 有機會超過CUDA，現在已經幾年了。
→ previa      : 10多年過去了還沒超過，核心還是在開發的編譯優化上
→ previa      : CUDA/OpenCL都非常依賴數據從CPU<->GPU間的數據搬移
→ previa      : 好的Compiler會自動搞定一大堆異質架構的存取優化
→ previa      : 不然早期的CUDA你開發還要去記記憶體架構跟cycle
→ previa      : 時間差，人工想辦法去interlace 讀取加大平行度
→ previa      : 真的麻煩。最近幾年沒跟進，不確定現在怎樣了
→ previa      : 理論上只要克服這點，OpenCL應該就可以追上CUDA
→ previa      : 但是這也是比較難的點，Vendor自己開發的跟開源的
→ previa      : 肯定在相容性跟優化上還是有一些差異。
→ ProTrader   : AMD跟客戶大廠應該會認真做縮小跟CUDA的差距176F 01/29 16:41
→ ProTrader   : 但要說贏過CUDA就很難  至少短時間不可能
推 jeff918     : 這樣看起來聯發科的風險178F 01/29 17:46
→ jeff918     : 會是中國被禁運
→ szeretlek945: 上面說大模型越來越多，那有沒有小模型也越來越多，180F 01/29 17:50
→ szeretlek945: 而且現在好幾篇論文都在寫小模型在特定環境甚至比大
→ szeretlek945: 模型的表現好。況且現在注重的是“有效的”參數而不
→ szeretlek945: 是越多越好
推 ImCPM       : 這樣手機pc nb不就要噴爛了184F 01/29 17:55
除非你要超前部署,
不然還早,
edge AI 快速成長也要一兩年後,
超過 server AI 大概要三五年後,
也就是三五年後有大量的AI應用 與平台之後,
才會開始噴 pc nb 手機
※ 編輯: waitrop (76.103.225.6 美國), 01/29/2024 18:00:02
推 s1001326    : 請問買SOXL可以嗎？ 想要分一點倒TQQQ185F 01/29 20:48
推 jamesho8743 : opencl要追上cuda還有很長的路要走 重點是這些優化186F 01/29 21:08
→ jamesho8743 : 最佳化誰來做 這些都是很專精且硬體相關性很強的 以
→ jamesho8743 : AI大模型的訓練量差個5%效率就是很多錢
→ jamesho8743 : 這也是nvidia贏amd 的原因 硬體就算不輸 軟體的差距
→ jamesho8743 : 不是一時半刻可追
→ jamesho8743 : 大公司如微軟能自己拉個軟體team來優化amd的硬體
→ jamesho8743 :  找到不只會cuda還能精通其他平台的強者 中小公司只
→ jamesho8743 : 能乖乖用nvidia
推 x3795566    : 蛤 為啥不是SOXL？194F 01/29 21:48
→ r7544007    : 天下程式一大抄 opencl要贏Nvdia要多生出幾本教科書195F 01/29 22:38
→ r7544007    : 讓大家抄
→ waitrop     : 我來寫一本也開課到YouTube 好了197F 01/30 03:46
推 ohlong      : 大家都只想到效能 沒人想到成本的問題 而且llm要切198F 01/30 09:38
→ ohlong      : 分也不是辦不到 如果能切分還能去互相驗證model有
→ ohlong      : 沒有失真 大公司就不必耗這麼多電力算力成本在可能
→ ohlong      : 沒什麼投資報酬率的結果上
推 ohlong      : 但現況edge一定是validation 為主
推 NicholasTse3: 巨頭不包含微軟嗎？203F 01/30 12:30
我說過很多次了,
我在討論的是硬體與IC 晶片的部分,
所以沒有談到微軟

微軟是目前AI 應用平台與模型的領先者,
第一名的地位,
但是我們並沒有討論應用平台與模型
※ 編輯: waitrop (76.103.225.6 美國), 01/30/2024 15:13:56
--
※ 看板: Stock　文章推薦值: 0 目前人氣: 0 累積人氣: 106　
作者 waitrop 的最新發文:
點此顯示更多發文記錄
分享網址: 複製 已複製
→
guest
x)推文 r)回覆 e)編輯 d)刪除 M)收藏 ^x)轉錄 同主題: =)首篇 [)上篇 ])下篇