回看板
Disp BBS
作者 jeff85898 ()
標題 [菜單] 45K LLM模型微調伺服器升級
時間 Mon Dec 18 15:06:42 2023

已買/未買/已付訂金（元)：未買

預算/用途：原有的單張3090 24GB顯卡微調較大的語言模型已經不太夠用，需要再加一張30
90。家用平台PCIE頻寬似乎最多只支援到兩組PCIE 4.0 x8，希望直接升級到EPYC平台較不
會有頻寬瓶頸的問題，不過電源、機殼不太知道如何選擇，再麻煩大家推薦一下了，謝謝！

CPU (中央處理器)：AMD EPYC 7302 $4387 (淘寶拆機)
MB      (主機板)：技嘉 MZ32-AR0 E-ATX $6983 (淘寶拆機)
RAM     (記憶體)：美光16G 2RX8 PC4-3200AA ECC REG  *8 $6258 (淘寶拆機，QVL支援)
VGA     (顯示卡)：EVGA 3090 FTW3 沿用EVGA 3090 FTW3 $20000 (二手)
Cooler  (散熱器)：待填
SSD   (固態硬碟)：沿用
HDD       (硬碟)：無
PSU (電源供應器)：待填
CHASSIS   (機殼)：待填
MONITOR   (螢幕)：沿用
Mouse/KB  (鼠鍵)：沿用
OS    (作業系統)：Ubuntu

其它      (自填)：無
總價 (未稅/含稅)：37628+待填

-----
Sent from JPTT on my OnePlus IN2015.

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.138.135.117 (臺灣)
※ 作者: jeff85898 2023-12-18 15:06:42
推 bhmagic: 感覺CPU跟記憶體都省過頭了
怎麼說你ram比Vram小那麼多 那裡出瓶頸都不奇怪 而且Epyc的核心常常需要做一些打雜的IO 還是多一點比較好1F 76.82.233.154 美國 12/18 15:22
推 mrme945: 他的RAM應該是16G*8吧5F 111.71.216.6 台灣 12/18 15:30
→ bhmagic: err..應該是6F 76.82.233.154 美國 12/18 15:34
推 mrme945: 電源機殼你可以考慮兩顆1000W加條雙電源啟動線配雙電源倉的機殼，或是直接買有連動啟動功能的雙電源(Antec OC-link之類的)7F 111.71.216.6 台灣 12/18 15:38
推 E7lijah: 有ATX3.0的1600W應該夠11F 39.14.64.70 台灣 12/18 15:46
推 mrme945: 兩顆1000W非ATX3.0應該比一顆1600W ATX3.0便宜啦12F 111.71.216.6 台灣 12/18 15:50
→ jeff85898: 那1U機殼配伺服器電源不知道會不會更划算
但原有那張顯卡不是鼓風扇可能會有風道的問題？14F 223.138.135.117 台灣 12/18 15:51
→ mrme945: 有1U機殼放得下兩張3090的？18F 111.71.216.6 台灣 12/18 15:53
→ E7lijah: 1U高度才4.4公分 怎麼可能裝得下19F 39.14.64.70 台灣 12/18 15:55
→ mrme945: 如果你有機櫃的話，往伺服器機殼找是沒問題啊，不過新品都很貴，大概就還是要去用淘的吧
應該要找4U或5U才有機會啦20F 111.71.216.6 台灣 12/18 15:55
→ E7lijah: 散熱找貓頭鷹NH-U9 TR4-SP3應該就能壓16核了
如果你機殼買到5U高度 散熱器可以看U12S或U14S，4U高度我記得會差一點裝不下
不然就是一樣找對岸拆機塔散 但server塔散轉速通常較高 很吵24F 39.14.64.70 台灣 12/18 16:07
推 mrme945: 不過我看了一下預算，你電源加上去就差不多沒預算了，CPU散熱倒是還好，反正貓頭鷹SP3腳位的隨便挑應該都夠，反倒是顯卡散熱比較困難30F 111.71.216.6 台灣 12/18 16:13
→ mikapauli: 你有雙槽的3090就塞得進1U
但沒事別這樣搞自己，又不是寸土寸金34F 42.72.145.191 台灣 12/18 16:26
→ E7lijah: FTW 2.75槽 沒救36F 39.14.64.70 台灣 12/18 16:29
→ mikapauli: 5U就裝得下幾乎所有塔散了，TS140P都行37F 42.72.145.191 台灣 12/18 16:30
了解那就是淘寶再找看看4U 5U的機箱了，顯卡散熱可能就用高轉速的機箱風扇了
→ chang1248w: x8和x16跑不出差異吧38F 42.73.227.187 台灣 12/18 17:06
看評測3090似乎已經達到PCIE3.0=PCIE4.0 x8的上限了，主要是也想保留升級空間，不然之
後vram不夠還要再換平台
※ 編輯: jeff85898 (111.83.89.118 臺灣), 12/18/2023 17:42:38
→ E7lijah: 對了 你有切成x8看看是不是真的有瓶頸嗎我記得耶穌測4090跑4.0x8也折損不到5%39F 39.14.64.70 台灣 12/18 17:42
→ promaster: 瓶頸是在顯卡  LLM用3090遲早燒起來
換一張6000A吧！41F 59.115.184.247 台灣 12/18 17:46
之後如果有預算再加一張吧
因為現在的主機板沒有支援x16拆分 第二張卡只能跑x4 想說就一次換到 mz32-ar0 了 有四
組PCIE 4.0 x16
※ 編輯: jeff85898 (111.83.89.118 臺灣), 12/18/2023 19:35:47
推 jeffguoft: 現在3090兩萬買得到嗎？43F 116.89.139.84 台灣 12/19 07:22

--
作者 jeff85898 的最新發文: