NVIDIA 在 10 月 15 日釋出 Nemotron 3.5 Bolt 74B-A9B 24GB，主打在個人電腦執行寫程式、讀文件與調用工具等代理工作。
對正在替台灣工作室採購電腦的開發者，我會先確認完整部署配置，再決定顯卡容量。目前官方附視覺與加速元件的範例，列的是 28GB、32GB 配置；若只照型號的「24GB」買卡，就無法原樣套用。這個容量差異，會直接影響你能否使用選定的功能與脈絡長度。
74B 壓到 24GB，靠的不只是少用幾個專家
依 NVIDIA 研究說明，Bolt 從 Nemotron 3.5 Super VL 的 120B 總參數、12B 啟用參數，壓縮成 74B、9B。它採混合專家架構，每個 Token 只啟用部分參數；但未啟用的權重仍要有地方存放，不能把 9B 當成整個模型的容量。
另一個關鍵是量化。官方把大部分專家權重壓成約 2 位元的 IQ2_XXS，其他部分仍使用 NVFP4 或 Q8_0，再用量化感知蒸餾訓練，降低壓縮造成的能力損失。這不是所有參數一律用相同位元數，也不能只拿總參數除一除，就算出完整執行時需要多少記憶體。
對已有 NVIDIA 電腦的開發者，這條路線值得留意：模型製作者把壓縮、量化與補訓一起完成，使用者可直接取得對應權重。若還不熟悉本機模型與雲端服務的差別，可先看本機 AI 的基本選擇。
28GB 範例，多裝了什麼？
官方 GGUF 模型卡寫明，模型設計階段以單一批次、128K 脈絡等條件為基準，目標是把部署用量控制在 24GB 以下。不能擴大解讀成任意脈絡、視覺輸入或加速設定都保證相同用量。
模型卡的「Choose your deployment」表格及對應執行指令，除了主模型，還會載入視覺投影元件與 LiLiCorr 草稿模型。後者用於推測解碼，協助加速生成，也占用額外空間。以下兩列取自該表格，均設定為一次處理一個請求：
| 官方完整配置 | 脈絡長度 | 對應獨立顯卡 |
|---|---|---|
| 28GB 範例 | 65,536 Token | 32GB 以上 |
| 32GB 範例 | 262,144 Token | 48GB 以上 |
這兩列是可照著執行的官方配置，不是所有可能設定的最低需求。它們也有對應的 RTX Spark 機型，不能把統一記憶體容量和獨立顯卡顯存直接混成一個數字。對 24GB 卡使用者，結論是無法原樣照抄上述完整範例；是否能透過較短脈絡、不同元件組合或部分卸載運行，仍要看具體工具與實際用量。
模型支援的脈絡上限，也不等於電腦一定有空間用滿。圖片、對話歷史、工具回傳與生成內容都共用這個預算；代理連續工作時，累積的資料可能比剛開一段聊天多得多。
已有顯卡可以評估，新購硬體別只追型號
Ollama 已列出 Bolt，提供 ollama run nemotron-3.5-bolt 入口，標示支援影像、工具與思考模式。頁面顯示約 25GB 的模型套件；這是下載項目的容量資訊，不是顯存需求，也不是與官方 24GB 設計目標矛盾的另一個測量結果。
目前這個 Ollama 頁面也明列 Apple Silicon／Metal 尚未支援，不能因為同一工具可在 Mac 安裝，就假設這個模型能用相同方式運行。使用 Windows 或 Linux 的 NVIDIA 電腦，也要留意運行工具是否支援該架構；安裝與顯卡排查可由 Ollama 教學及 Windows GPU 檢查承接。
權重採 OpenMDW 1.1 授權，允許依協議使用模型材料；再散布時須保留協議及適用的著作權、來源聲明。取得權重與自行部署的選擇較多，仍不等於下載後就有一套會執行所有工作的代理系統。
我會把 Bolt 放在「已有合適電腦，想試本機工具任務」的候選名單。若準備新購硬體，應先選定要用的完整配置，再決定容量；我不建議為了 24GB 後綴買一張剛好卡線的顯卡。本站尚未實測它的繁中文件能力或桌機速度，官方在特定設備上的成績，也不能直接變成你那台電腦的保證。
常見問題
Nemotron Bolt 名稱有 24GB，為什麼官方範例卻用 28GB？
24GB 是有條件的模型設計預算；目前完整 GGUF 範例另載視覺投影與草稿模型，並指定脈絡及加速設定。官方列出 28GB 與 32GB 兩種配置，不能把型號後綴當成所有設定的總用量。
一張 24GB 顯卡一定不能跑 Bolt 嗎？
不能這樣下結論。它無法原樣套用本文列出的完整官方範例；其他設定可能有不同用量。是否能運行、需要縮短多少脈絡或卸載哪些部分，須依工具與實際設備驗證，本文未提供實測保證。
Nemotron 3.5 Bolt 可以用 Ollama 在 Mac 跑嗎？
Ollama 已提供模型入口，但截至本文查核，該模型頁明列 Apple Silicon／Metal 尚未支援。不能把 Ollama 本身支援 Mac，理解成每個模型都支援相同的硬體路線。
參考來源
- NVIDIA 官方：Open From Data Center to Desktop: NVIDIA Expands Nemotron Family With Highest Efficiency Super VL and Bolt Models（2026-10-15）
- NVIDIA Research：NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB（2026-10-15）
- NVIDIA 官方模型卡：NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF（2026-10-19 查核）
- Ollama：nemotron-3.5-bolt（2026-10-19 查核）
- OpenMDW：OpenMDW License Agreement, version 1.1（2026-10-19 查核）