回看板
Disp BBS
作者 oopFoo (3d)
標題 Re: [閒聊] M2Ultra在AI比intel+nVIDIA有架構優勢?
時間 Mon Jul  3 10:27:59 2023

※ 引述《hugh509 ((0_ 0))》之銘言：
: 先說我不懂AI運算
: 只是看了林亦的新影片
: https://youtu.be/UsfmqTb2NVY
就鬼扯，我也懶的噴他。現在老黃是遙遙領先所有人，AI全吃，沒什麼好爭辯的。

現在所謂的DL，第一需要的是運算，第二才是記憶體頻寬。
M2Ultra的gpu就27.2tflops(fp32)，跟3080差不多，但ampere有兩倍的(fp16+fp32accumulate)還有4x的(fp16)。現在fp16訓練就很夠了，擔心你可以用fp16+fp32模式，那也是2x你m2 ultra。

https://images.nvidia.com/aem-dam/So...chitecture-whitepaper-v2.1.pdf
https://tinyurl.com/yuak5w5d

4090是82.6tflops(fp32)，330.3tflops(fp16)。m2ultra連車尾都看不到，可憐啊。

然後M2Ultra的31.6tops，那應該是int8無誤如果是int4那就更可憐。4090是660.6(int8)tops與1321.2(int4)tops。這已經是被超車好幾十圈了。(tops是inference用的)


H100 datasheet
https://resources.nvidia.com/en-us-tensor-core/nvidia-tensor-core-gpu-datasheet
NVIDIA H100 Tensor Core GPU Datasheet
[圖]
This datasheet details the performance and product specifications of the NVIDIA H100 Tensor Core GPU. It also explains the technological breakthroughs ...

 
https://tinyurl.com/bdfuutbe
h100 pcie是最低階的
756tflops(tf32)
1513tflop(fp16)

h100是狠狠的虐了所有人包含a100。2x~4x(a100)

https://www.mosaicml.com/blog/amd-mi250
AMD的mi250不到a100的80%，mi300的specs其實跟mi250差不多，mi300主要是apu功能。

只有google的tpu跟intel的gaudi2跟a100有輸有贏。

https://mlcommons.org/en/training-normal-30/
v3.0 Results | MLCommons
[圖]
MLCommons aims to accelerate machine learning innovation to benefit everyone. ...

 
gaudi2在gpt3的訓練大概是h100的1/3性能。

intel為什麼要取消rialto bridge？現在ai當道，fp64強的hpc架構根本毫無用處。AMD因為只有mi300所以只能硬上了，但383tflops(fp16)要怎麼跟1500+tflops的h100比？

intel現在把資源集中在gaudi3/4，期望2年內可以看到老黃的車尾。

有人以為老黃只是因為cuda軟體贏。其實nn很容易移植到其它架構，老黃是硬體大贏＋長期耕耘ai。

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.224.249.214 (臺灣)
※ 作者: oopFoo 2023-07-03 10:27:59
※ 文章代碼(AID): #1aeZ8pFl (PC_Shopping)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1688351283.A.3EF.html
※ 同主題文章:
[閒聊] M2Ultra在AI比intel+nVIDIA有架構優勢?
07-01 17:17 hugh509
Re: [閒聊] M2Ultra在AI比intel+nVIDIA有架構優勢?
07-03 10:27 oopFoo
→ WYchuang: MI300應該沒有跟250差不多 … apu只是其中一個型號 mi300x才是全部gpu1F 218.164.221.191 台灣 07/03 10:54
噓 a000000000: mi300x我記得fp32沒輸h100多少喔
而且老黃是tensor core
現在也只有知道多少cu  不知道頻率3F 76.132.63.174 美國 07/03 11:01
這根本是外行話。
nn本來就是tensor。
有756tflops的tf32幹麼用51tflops的fp32。
h100還有fp8，有些training有用到更是可怕的效率。
→ cor1os: 樓上射惹6F 125.227.5.157 台灣 07/03 11:08
推 E6300: 反正老黃就是拿遊戲卡來撐場子7F 223.136.188.174 台灣 07/03 11:50
推 harry886901: 他計算速度主要是開大batch size
這樣確實不用算力也能有效加速運算效率8F 101.12.29.165 台灣 07/03 12:20
夢裡什麼都有。AMD戰未來。
→ CORYCHAN: 為何您會得出MI300跟MI250差不多的結論呢？11F 223.139.79.158 台灣 07/03 12:26
沒有架構大改。現在公開的數據就沒有變動很大。
※ 編輯: oopFoo (36.224.228.156 臺灣), 07/03/2023 12:47:14
推 spfy: 先不管IA有沒有輸這麼多 那影片下面一堆人贊同蘋果要超越老黃 看的我好像走錯世界線13F 202.173.43.202 台灣 07/03 13:02
→ oopFoo: 現在一堆在講AI的都讓我覺得很莫名奇妙。也有跑ai模型理論很好的人，對硬體完全不懂，也是意見很奇杷。15F 36.224.228.156 台灣 07/03 13:26
推 iuytjhgf: 你怎麼會期待讀資訊科的人就會組電腦
寫軟體只在意我的模型到底塞不塞的下去18F 111.252.228.72 台灣 07/03 13:35
噓 a000000000: 尼484沒看懂我在講啥
h100 tf32 756
mi250  384
mi300x  cu數4mi250的1.6倍
再加上頻率差   尼自己算一下
等等我好像看錯惹
384應該是mi300a的fp16  尷尬20F 76.132.63.174 美國 07/03 13:51
推 Arbin: 不過就算目前mi300x有接近h100效能好了
DL公司應該還是會對他觀望
主要目前你各位還是太黏NVDA27F 111.71.218.44 台灣 07/03 14:48

--
作者 oopFoo 的最新發文:
點此顯示更多發文記錄