看板 AI_Art
這篇算是純粹組裝心得文,拋磚引玉給大家參考, 目標鎖定跑中規模的開源模型,目前來說是Gemma4 26B-A4B,31B 、Qwen3.5 27B,35B-A3B 基本上,我認為GTX3090是唯一信仰,以前沒有以後也不會有這價位的24GB+ VRAM顯卡了, 至於Mac那條路我不熟,有熟的人可以另外補充,但PC架構還是有一定程度的擴充性。 先上組好圖 https://imgs.plurk.com/QHO/ESJ/LMCfqiXl7TN0oC1300Y2hCUHhFZ_lg.jpg
https://imgs.plurk.com/QHO/KlS/0f4g0RGTY5fJTcbIahpwkdQK9Qj_lg.jpg
以下是我實際用過的 單3090配置 CPU (中央處理器):i5-12400 MB (主機板):TUF GAMING B660-PLUS WIFI D4 RAM (記憶體):金士頓 64GB(32GB*2) DDR4-3200 VGA (顯示卡):ZOTAC RTX 3090 TRINITY 24G SSD (固態硬碟):Kingston金士頓 KC3000 1TB M.2 PSU (電源供應器):全漢 HYDRO G PRO 1000W/金牌/全模 CHASSIS (機殼):全漢 CMT370 後來有一度上到128GB記憶體,發現真的沒啥用, 這張單沒什麼特別的,現在照著張組一台二手的應該也沒什麼問題, 唯一的細節是僅適合單3090,要雙3090基本上大半台都要換掉,見以下 ------------ 雙3090配置 CPU (中央處理器):i5-12400 MB (主機板):MSI Z690 FORCE WIFI RAM (記憶體):威剛 64GB(32GB*2) DDR5-4800 VGA (顯示卡):ZOTAC RTX 3090 TRINITY 24G MSI RTX 3090 Suprim X SSD (固態硬碟):Kingston金士頓 KC3000 1TB M.2 PSU (電源供應器):振華 Leadex 1200W CHASSIS (機殼):Phanteks Enthoo Pro 2 Server Edition + 9 顆 TL-C12C-S 只留下了CPU、SSD、一張3090,沒了,對,就是這麼坑 因為雙3090跑LLM,LLM要能把模型拆給兩張跑需要能讓兩張PCIE直連8x/8x的主機板, 這個條件,基本上DDR4的主機板中沒有。 就連DDR5,也只有部分的690跟790有,同一系690有不代表790有, 不要問我為什麼我不知道,Claude的答案是後續的主機板會把槽留給硬碟? 是不是8x/8x 最快的判斷方式是看主機板是不是兩張顯卡槽都有顏色 舉例來說: 這張是(FORCE是CARBON的白色版) https://tw.msi.com/Motherboard/MPG-Z690-CARBON-WIFI 這張不是 https://tw.msi.com/Motherboard/MPG-Z790-CARBON-WIFI 我家AI列出LGA1700符合條件的顯卡如下: MSI MPG Z690 CARBON WiFi MSI MEG Z690 / Z790 ACE (MEG 旗艦級才有保留) MSI MEG Z690 UNIFY / UNIFY-X ASUS ProArt Z690 / Z790-CREATOR WiFi ASUS ROG Maximus 系列 (Z690/Z790 Hero, Extreme) Gigabyte Z690 / Z790 AERO D ASRock Z690 / Z790 Taichi AI可能會有幻覺請自行核對、其他腳位可能也要自己研究。 不過幫我組上電腦的資工系朋友說我照著AI開菜單組完幾乎沒買錯東西也是很厲害。 (有啦,Claude建議我買一個風扇Hub ,後來發現利民內建串接了算是個小失誤) 機殼方面,感謝得到來自這篇文的Zenryaku、ack0011以及其他板友的建議 https://www.ptt.cc/bbs/PC_Shopping/M.1773376727.A.FCF.html 最後是綜合Claude意見採用Phanteks Enthoo Pro 2 Server Edition 保證顯卡的呼吸空間,優點是整個機殼有15個風扇孔可以裝,吹好吹滿。 https://www.phanteks.com.tw/Enthoo-Pro2-Server.html https://images.plurk.com/rtYk5LSoncMUC6wnrUTR9.png
雖然我目前還是兩張3090疊羅漢,但我覺得應該可以考慮一張拉去旁邊站, 這個打算下禮拜再來處理,也請大家再建議一下直立方案 (右邊硬碟下方應該可以對吧,我沒那麼多硬碟) 大家會覺得有點痛的應該還是在漲價後的DRAM上, 全新的DDR4 32G一隻大概 6-8000、全新的DDR5 32G 都要上萬了, 最後我買二手的DDR5 32Gx2 花了15000,這部分也僅供參考。 至於未來會不會跌?我是說不準,但3090我看漲是肯定的。 三年前第一張3090我買19000,上個月第二張3090我買24000,現在價錢大家可以自己看看 目前規劃上來說,跑本地模型不是為了取代雲端模型。 是讓本地模型完成大量基礎、涉及機敏的工作,舉例來說: ‧大量 code review 初篩,只把複雜問題送給 Sonnet/Opus ‧機密文件問答,資料不出門 ‧多代理人架構的執行層,成本歸零 ‧24 小時批次推理,電費比 API 費用省 在本地跑 Qwen / Gemma,雲端留給真正需要判斷力的任務。 我認為 LLM Router 架構才是 2026 年 AI 工作流的核心建設。 Claude 很厲害,但我不會假設它永遠都在,掌握自己的動態算力, 這才是黃仁勳說的 Sovereign AI。 以上是不專業分享,歡迎指導,感謝。 -- AI_Art AI藝術/生成式AI板 歡迎各方前來討論生成式AI相關議題! ◆ 從 Human-in-the-Loop → Human-AI Symbiosis (人機共生) ◆ LinkedInhttps://www.linkedin.com/in/zaious/ GitHubhttps://github.com/Zaious ChronicleCore (Multi-Agent Ecosystem) 白皮書: https://github.com/Zaious/ChronicleCore-Architecture -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.27.184.211 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/AI_Art/M.1775382489.A.CF0.html ※ 編輯: ZMTL (114.27.184.211 臺灣), 04/05/2026 17:57:04
qiaffvvf: 電費的部分你怎麼看xd 04/05 18:07
YCL13: 有Z690 AERO D,但沒有Z790 AERO D,直到Z890才回歸 04/05 18:08
ZMTL: 電費隨便啦問題不大XD 而且我養鼠夏天本來就冷氣開滿 04/05 18:14
newyorker54: 恭喜 04/05 18:43
newyorker54: 用llama.cpp,模型大的,上下文開大都會把記憶體吃到 04/05 18:51
Kroner: 有人用過中醫針灸治療關節痛的嗎?效果如何? 04/05 18:51
newyorker54: 滿 04/05 18:51
附上目前 LLM Router 的快速理解: 要推理:雲端超級模型 eg.Opus 4.6 > GPT 5.4 ? Gemini 3.1 Pro 地端苦工(翻譯、資料清洗):Defense 模型 Gemma4 31B、 Qwen3.5 27B 地端高效(聊天、問題警報):MoE 模型 Gemma4 26B-A4B、Qwen3.5 35B-A3B 中文需求:Qwen3.5 多模態任務:Gemma4 ※ 編輯: ZMTL (114.27.184.211 臺灣), 04/05/2026 18:55:14
marklai: 我另一台pc 5070ti+2060 12G在ollama 跑gemma4 26b(q4 04/06 01:08
marklai: 18gb)還不錯,在comfyui中叫2060跑不會太慢,gemma4比gem 04/06 01:08
marklai: ma3好很多,甚至覺得比qwen3.5 35b好 04/06 01:08
Chricey: 關節痛就老人病 04/06 01:08
Bustycat: 也有說法Qwen3.5-27B圖像識別還是比Gemma4-31B強 04/06 01:44
Bustycat: 有觀察過Mac mini M4跑那些大模型大概三十多W 04/06 01:45
ganei: 推,Linux底下NV的卡可以拉V/F曲線降壓了,建議降一下省點 04/06 04:07
ganei: 電費也減輕PSU跟顯卡散熱壓力,這邊買不起3090跑去搞3080 04/06 04:07
Chricey: 我有在用UC2,感覺效果還不錯欸! 04/06 04:07
ganei: 20G加減頂一下,將來不夠用的話再來考慮要不要加第二片,雖 04/06 04:07
ganei: 然問Gemini 跑Ktransformers 的選項它給我選V100 64G這個場 04/06 04:07
ganei: 外全壘打... 04/06 04:07
YCL13: KT基本概念其實算是MOE+offload,這和原PO更新電腦時選的強 04/06 07:54
Chricey: 關節痛按摩有效嗎? 04/06 07:54
YCL13: GPU(VRAM)但弱CPU少RAM的概念並不相符,實務上並不會比一般 04/06 07:54
YCL13: 軟體跑MOE架構時的offload帶來更多的幫助 04/06 07:54
YCL13: 原PO目前最適合的方案就是將LLM全上VRAM來跑,在推理應用上 04/06 07:57
YCL13: 雙3090的GPU應該不可能跑滿,所以可以先降壓限功耗來避免高 04/06 07:57
Chricey: 我阿嬤說吃豬腳補關節,豬腳吃起來 04/06 07:57
YCL13: 溫,然後再試能否拉高VRAM的時脈來提升速度 04/06 07:58
YCL13: 至於LLM全上VRAM跑,考量難易度和速度,vllm的TP是好選擇 04/06 07:59
YCL13: 而言些不同軟體的差異最關鍵處是資料的傳遞,記得數月前在 04/06 08:04
YCL13: reddit上有個緬甸人用了老舊的弱NB跑LLM,在自己寫程式改善 04/06 08:05
Chricey: UC2是啥東西?求解釋啦! 04/06 08:05
YCL13: 資料傳遞效率下,得到出乎意料的高效率,超多人按讚的,這 04/06 08:05
YCL13: 也是大家在跑LLM時應該注意的事 04/06 08:05
erix007: 很棒的分享! 04/06 18:01
ganei: RAM超頻老實講不建議,30系列拿去當礦卡操最先死的就是RAM 04/08 18:38
Kroner: 有人用過中醫針灸治療關節痛的嗎?效果如何? 04/08 18:38
ganei: ,何況是最熱又雙面記憶體的90系列,那點token 不值得拿卡 04/08 18:38
ganei: 賭命 04/08 18:38
ganei: 有看到3090跑fp8的怪招:轉成int8跑,大概比塞到fp16硬跑慢 04/09 10:01
ganei: 一點,但儲存跟頻寬需求同fp8,對VRAM錙銖必較的話也是可以 04/09 10:01
Chricey: 喔喔喔,UC2 真的是超讚的啦 04/09 10:01
ganei: 考慮 04/09 10:01
YCL13: 要不要提升時脈就看個人決擇吧 04/10 07:35
YCL13: 至於FP8的問題,轉int8或反算fp16之類的應用很多,已經不算 04/10 07:35
YCL13: 是問題了,相較之fp4好像還沒看到較佳的改進方案 04/10 07:35
Kroner: 哇勒,UC2 這個東西真的是太讚了 04/10 07:35
marklai: 可否舉一些fp8 3090不能跑的模型?我的3090用了兩三年了 04/10 11:51
marklai: ,好像還沒遇過不能跑的模型或LLM 04/10 11:51
YCL13: 不會不能跑呀,只差在效能和VRAM佔用量,不過各種改進方案 04/11 08:37
YCL13: 出來後,差距應該不大了,如果想比較可找自己慣用的軟體在 04/11 08:37
Kroner: 關節痛睡覺就能治了,吃什麼UC2 04/11 08:37
YCL13: 一年前的舊版和現在的新版來跑同個模型,或許可以大概看出 04/11 08:37
YCL13: 改進前後的差距 04/11 08:37
marklai: 感謝,3090還是很好用的,隔壁板剛剛賣一張24K馬上秒殺 04/11 17:23
marklai: ,很多人搶著買 04/11 17:23
Kroner: 有人知道UC2和其他關節保健品的差異嗎? 04/11 17:23
YCL13: 國內算比較晚搶了,去年GPT-oss-120B出來時,國外不少人搞 04/11 20:17
YCL13: 4張來跑(用拆分卡或外接都有),那時大家還相信5080 24G會出 04/11 20:17
YCL13: ,所以3090非常便宜呢 04/11 20:17
YCL13: 說到GPT-oss這模型就是用3090原生不支援的FP4訓練出來的, 04/11 20:18
Kroner: UC2推薦?有人試過嗎?靠譜嗎? 04/11 20:18
YCL13: 討論區中很多人還是跑得很滿意呀 04/11 20:18
a0989876: 3090拿來跑沒有遇到vram發熱問題嗎 04/12 14:56
a0989876: 以前3090拿來挖礦最怕就是VRAM衝到快破百度 降頻 04/12 14:56
Supasizeit: 那個是散熱貼脆掉了 我的4080也是 hotspot溫度降不下 04/13 12:24
Kroner: 關節痛有沒有辦法完全根治啊?UC2聽起來像萬靈丹 04/13 12:24
Supasizeit: 來 自己改又破保 又懶得送保固 04/13 12:24