作者: Ghosts (站在陰影下的人) 2024年在 PTT 的推文記錄
2024年在PC_Shopping板第5篇~第1篇
作者:
qazwsd147 (LCC)
122.116.75.164 (台灣)
2024-10-13 10:50:52 推 Ghosts: N卡裝VLLM走非同步request可以很快
不過A卡沒試過,也許也有效果 52F 36.228.231.44 10-14 00:58
作者:
powergene (PowerGene)
125.229.208.132 (台灣)
2024-09-11 00:38:37 → Ghosts: 專注LLM還不如i家d4擠出兩張4090來的有用 22F 101.136.82.165 09-11 09:02
作者:
sachialanlus (yeh)
118.160.35.51 (台灣)
2024-06-16 15:43:26 推 Ghosts: 3090x4 + nvlink(非必要) 最簡單
價格也不會到無法負擔,只是二手風險高
llama.cpp的問題是高併發會輸vllm
除非要用cpu+gguf 4bit之類的模型
不然個人偏好還是vllm+gpu 35F 140.118.155.56 06-16 18:35
… 共有 6 則推文,點此顯示
作者:
RGZ91B (這就是人生)
220.135.18.226 (台灣)
2024-04-04 22:38:06 → Ghosts: 拿個3m車用雙面膠黏一黏就好了 21F 36.228.198.38 04-04 23:15
作者:
wuliou (wuliou)
118.165.25.37 (台灣)
2024-01-13 16:31:42 推 Ghosts: 搞半天還不如CST350+MATX板+SFX電供
比DeskMeet大了點但穩多了 28F 36.228.201.75 01-13 18:11
點此顯示2023年的記錄