跑本機 AI,要買什麼規格?
選你的裝置、想跑的模型大小和用途,直接告訴你顯卡(或記憶體)、RAM、電源要多少。
進階設定與計算邏輯(懂的人看這裡)
局限:
- 量化位元數是 GGUF 常見格式的近似值,實際檔案大小略有差異。
- 額外開銷(CUDA context、compute buffer)用「1 GB + 權重 5%」粗估,依軟體與設定不同。
- MoE 模型所有專家都要載入,以總參數量計算。
- 「建議」規格是在需求上再留 15% 餘裕,並考慮系統自己會佔用記憶體。
- Mac 的統一記憶體約 70% 可給 GPU 使用(可調整,這裡取保守值)。
- 電源瓦數是依顯卡級別的粗略建議,實際請用你的 PSU 瓦數計算工具確認。