跑本機 AI,要買什麼規格?

選你的裝置、想跑的模型大小和用途,直接告訴你顯卡(或記憶體)、RAM、電源要多少。

1. 你用什麼裝置?

2. 想跑多大的模型?

3. 主要拿來做什麼?

各級別放不放得下

進階設定與計算邏輯(懂的人看這裡)

局限:

  • 量化位元數是 GGUF 常見格式的近似值,實際檔案大小略有差異。
  • 額外開銷(CUDA context、compute buffer)用「1 GB + 權重 5%」粗估,依軟體與設定不同。
  • MoE 模型所有專家都要載入,以總參數量計算。
  • 「建議」規格是在需求上再留 15% 餘裕,並考慮系統自己會佔用記憶體。
  • Mac 的統一記憶體約 70% 可給 GPU 使用(可調整,這裡取保守值)。
  • 電源瓦數是依顯卡級別的粗略建議,實際請用你的 PSU 瓦數計算工具確認。