回看板
Disp BBS
作者 bawpee (ED)
標題 [選購] 訓練AI model筆電請益
時間 Thu Oct 10 09:42:40 2024

※ 請詳填下列重要條件!  **勿填寫在與題目同一行上!**
※ 內容請填寫在>之後，不符格式者刪文
-----------以上可用ctrl+y刪除整行，或自行刪除

預算範圍：5萬上下

①用途：可部署Llama 3 8B model ②常用軟體：平常coding會用到的IDE

①攜帶頻率：經常 ②使用場所有無插座：有

①使用國境：台灣

①螢幕尺寸範圍：不限 ②外觀偏好：黑、可以輕薄更好

是否 必須內建光碟機：否

補 充 項 目：

過去只有Object detection的model training經驗，但近日想直接投入做微型LLM部署的
工作內容，當然model training最終我還是會選擇在GCP/EC2那邊去做會更適合，但部署
的部分會想在筆電端進行部署，也歡迎有經驗的大大可以不吝給予小弟建議，非常感謝！

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.79.178.65 (臺灣)
※ 作者: bawpee 2024-10-10 09:42:40
※ 文章代碼(AID): #1d1p4IG9 (nb-shopping)
※ 文章網址: https://www.ptt.cc/bbs/nb-shopping/M.1728524562.A.409.html
推 JefferyTseng: 我也好奇這怎麼挑，GPU 和 RAM 優先看哪個1F 42.77.196.3 台灣 10/10 11:12
→ thomaschion: 沒什麼好挑吧？就Ram 選最大，GPU
選最強的3F 125.228.189.235 台灣 10/10 11:45
推 JefferyTseng: 樓上，「優先」5F 42.77.196.3 台灣 10/10 12:23
推 Smallsh: 推3樓 都買最好的就對了6F 223.139.16.22 台灣 10/10 14:06
→ gbcg9725: ai顯卡尤其重要，尤其是vram 大小
ram其實還好，如果筆電ram 太小又不能擴充，顯卡肯定不會太強
是說五萬頂多4070筆電7F 27.51.33.80 台灣 10/10 14:37
→ thomaschion: 又不能擴充，什麼沒有優不優先選項吧11F 27.53.139.79 台灣 10/10 15:01
→ justin332805: 只能預算內挑Vram最大的去做運算了AI反而跟RAM比較沒關係13F 223.136.184.235 台灣 10/10 15:33
推 JefferyTseng: 蛤？如果無法擴充的話更要考慮優先級吧？要不我這麼問好了，把成本考慮進來，投資 RAM 和顯卡的 CP 值哪個高？15F 42.77.17.86 台灣 10/10 17:43
推 smallreader: RAM一定選32G以上的啊
缺乏足夠RAM能做什麼開發19F 111.254.154.195 台灣 10/10 18:06
推 JefferyTseng: 請問 AI 需要大量的數據訓練嗎？若要不斷餵 data，會否就拉高 RAM 容量與速度的要求？21F 42.77.17.86 台灣 10/10 18:22
→ gbcg9725: 顯卡VRAM沒達標你RAM再大都沒用
RAM小又不可擴的幾乎都是文書機 輕薄機24F 182.233.181.158 台灣 10/10 18:43
→ justin332805: 我只記得如果是產圖或者產影片的26F 223.136.184.235 台灣 10/10 18:44
→ gbcg9725: 本來就不適合用於部署AI模型27F 182.233.181.158 台灣 10/10 18:44
→ justin332805: 那種模型好像是用顯存去算吧?28F 223.136.184.235 台灣 10/10 18:44
→ ikox3658: 這種需求 會不會組桌機 再買台輕薄筆電比較划算？畢竟訓練ai也是要開好幾個小時給他跑？
輕薄筆電遠端用的29F 1.174.234.131 台灣 10/10 20:51
→ chang1248w: 別想了，7B 半精度都要14GB graphicram了
這五萬乖乖拿去買顯卡吧33F 140.115.212.91 台灣 10/10 21:49
→ god145145: 看看今晚的Advancing AI有沒有
https://reurl.cc/vvxvdo 用NPU跑36F 36.234.28.155 台灣 10/10 23:55
dahara1/llama3-8b-amd-npu ·  Hugging Face
[圖]
We’re on a journey to advance and democratize artificial intelligence through open source and open science. ...

 
推 JefferyTseng: 我有過和 ikox3658 大一樣的想法，感覺還是優解38F 223.138.98.231 台灣 10/11 00:26

--