回到頂部
Qwen3.6-35B-A3B 的 MoE 架構、Q4 與 FP8 本地部署選擇

Qwen3.6-35B-A3B：16GB VRAM、Q4／FP8 與 Ollama 部署

Qwen3.6-35B-A3B 的 16GB 顯卡能不能跑？整理 35B／3B MoE、Q4、FP8、Ollama 與 vLLM 部署、記憶體需求、context 及商用授權。

|
中級 QwenQwen3.6開放權重
內容查核： 來源查核：

Qwen3.6-35B-A3B 是阿里巴巴 Qwen 團隊在 2026 年 4 月發布的開放權重多模態模型，總參數 35B，每次推理約啟用 3B。它主打 agentic coding、圖片理解，以及可保留歷史推理內容的多輪開發工作流。

先回答最常見的硬體問題：16GB VRAM 無法把一般 Q4 版本完整放進顯卡。 常見 Q4 GGUF 約 20–22GB，Ollama 的 35B-A3B 標籤約 24GB，權重之外還要留 KV cache 與運算空間。16GB 可以靠 CPU offload 或更激進的低位元版本執行，卻不適合用來期待全 GPU、高速與長 context。

如果你正在選機器，24GB 是短 context 的緊繃起點，32GB 以上比較實際；Apple Silicon 建議至少 32GB／36GB 統一記憶體，想處理圖片或較長上下文則以 64GB 較有餘裕。先用 8K context 跑自己的任務，再決定是否增加，別直接把 262K 開滿。

35B-A3B 代表什麼？

35B-A3B 表示模型總共有約 350 億參數，每個 token 經路由後只啟用約 30 億參數。官方模型卡列出 256 個 routed experts，每次選 8 個，再加 1 個 shared expert。

MoE 能降低每個 token 的主要計算量，但 不會把模型儲存量變成 3B。推理時仍要讓系統能存取所有專家權重，否則不同 token 被路由到尚未載入的 expert 時就會頻繁搬運資料。這也是 Q4 檔案仍超過 20GB 的原因。

Qwen3.6 採混合架構：40 層中以 Gated DeltaNet 與傳統 attention 組合。官方標示原生 context 262,144 tokens，並可延伸到 1,010,000 tokens。這些是模型能力上限；實際可用長度還受 KV cache、runtime、量化方式、圖片 token 和延遲限制。

Q4、FP8 與 BF16 要多少記憶體？

版本權重或常見檔案大小適合情境硬體判斷
BF16 官方權重Hugging Face repo 約 71.9GB研究、再量化、高品質伺服器推理實際載入與 cache 會超過檔案大小，通常需多 GPU
FP8 官方權重Hugging Face repo 約 37.5GB支援 FP8 的資料中心 GPU、vLLM／SGLang不能假設 40GB 顯卡一定能開長 context
Q4 GGUF社群版本常見約 20–22GBllama.cpp、LM Studio、本機文字任務24GB 很緊；32GB 以上較容易留 cache
Ollama 35B-A3Bregistry 顯示約 24GB最快開始測本機聊天、圖片與工具流程16GB 會 offload；先縮短 context

檔案大小不等於執行時記憶體。Runtime 還要配置 KV cache、暫存張量、vision projector、context 與作業系統空間。相同 Q4 名稱也可能因量化方法、是否包含多模態元件而有不同大小。

16GB 顯卡若一定要試，可以把部分層放在 CPU／RAM，並把 context 設在 4K–8K；代價是資料會在系統記憶體與顯卡間移動。若主要需求是本機程式協作，先比較較小模型或 Qwen3.6-27B Dense 的量化版本，會比硬塞 35B-A3B 更容易得到穩定延遲。

用 Ollama 開始測試

先更新 Ollama，再拉官方 registry 的模型：

ollama pull qwen3.6:35b-a3b
ollama run qwen3.6:35b-a3b

下載前確認磁碟至少有 30GB 可用空間。啟動後先看 ollama ps：如果 GPU 占用比例不高，代表部分權重或運算落在 CPU，速度會受 RAM 頻寬與 PCIe 傳輸影響。

第一次測試不要直接餵整個 repository。用固定的 5–10 個任務建立 baseline，例如：修改一個函式、補測試、讀一張錯誤截圖、依 JSON schema 輸出，再記錄首 token 延遲、tokens/s、峰值記憶體和成功率。想先熟悉模型管理、API 與 context 設定，可看 Ollama 教學與 本地 LLM 部署指南。

多模態還要看模型包是否帶 vision projector。部分社群 GGUF repo 明確標示 text-only，這種檔案即使名稱相同也不能看圖。下載前要核對模型卡的 modality、projector 與 chat template，別只看 Q4_K_M。

用 vLLM 或 SGLang 部署 API

Qwen 官方列出的生產級路徑包含 vLLM 與 SGLang，兩者都能提供 OpenAI-compatible API。官方 vLLM 範例如下：

vllm serve Qwen/Qwen3.6-35B-A3B \
  --port 8000 \
  --tensor-parallel-size 4 \
  --max-model-len 262144 \
  --reasoning-parser qwen3

tensor-parallel-size 4 代表範例使用四張 GPU，不應原封不動套到單卡。正式部署先把 --max-model-len 降到實際需要的值，確認模型、圖片與 reasoning parser 都能正確處理，再逐步增加並發與 context。

FP8 版本的 model ID 是 Qwen/Qwen3.6-35B-A3B-FP8。它採 block size 128 的 fine-grained FP8 量化，官方稱模型指標接近原版；你的 GPU、CUDA 與 runtime 仍需支援對應 kernel。消費級顯卡若只是個人測試，Q4 GGUF 通常比硬上 FP8 更直接。

官方 benchmark 應該怎麼看？

Qwen 官方發布資料顯示，Qwen3.6-35B-A3B 在 SWE-bench Verified 得到 73.4，並主打 repository-level coding 與 frontend workflow。這是供應商在特定 harness、prompt、工具與推理設定下的結果，不能直接解讀成「會修好 73.4% 的任何程式錯誤」。

量化後也不該假設成績完全相同。Q4、FP8、thinking 設定、context 長度與工具模板都會影響輸出。上線前至少比較以下項目：

  1. 你的主要語言與 framework 是否能正確修改。
  2. 工具呼叫參數是否符合 schema，失敗後能否恢復。
  3. 在固定 context 下，Q4 與 FP8 的任務成功率差多少。
  4. 第三方程式碼、密鑰與公司資料是否允許送到雲端。
  5. 相同任務的總延遲、耗電與維運成本是否優於 API。

評測本地模型時，可以沿用 LLM 評測指南的方法，把每個任務的輸入、預期修改、測試指令與通過條件固定下來。只比較聊天感覺，很難判斷升級或量化是否真的有收益。

什麼情況值得用 Qwen3.6-35B-A3B？

適合優先測試的情境包括：程式碼不能離開內網、需要自架 OpenAI-compatible API、繁中與英文混合、要處理程式碼加截圖，以及能負擔 24–64GB 記憶體的個人或團隊環境。

一般使用者只想聊天、偶爾寫文案，雲端服務省下下載、驅動、更新和電力成本。只有 16GB VRAM 又重視速度時，較小的 dense 或 MoE 模型通常更合理。需要多人並發、完整 262K context 或穩定 SLA，則應按峰值流量估算伺服器，而非用「3B active」推算單卡一定夠用。

官方權重採 Apache 2.0，可使用、修改與商業部署，但要保留必要授權與 NOTICE，並另外核對 runtime、量化檔及其他相依元件的授權。模型可本地執行也不會自動解決資料權限、輸出侵權與安全問題。

常見問題

Qwen3.6-35B-A3B 可以在 16GB VRAM 跑嗎？

可以靠 CPU offload 或更低位元量化啟動，但一般 20–24GB 的 Q4 權重無法完整放進 16GB VRAM。請預期較慢速度、較短 context 與品質取捨；若要全 GPU 執行，32GB 以上較實際。

3B active 為什麼還要 20GB 以上？

3B active 描述每個 token 參與主要計算的參數量，模型仍有 35B 總參數。不同 token 會選到不同 experts，所有權重仍要存放在 GPU、統一記憶體或 RAM 中。

Q4 和 FP8 哪個適合本機？

一般消費級電腦先用 Q4 GGUF；它體積較小，llama.cpp、LM Studio 與 Ollama 的路徑也較直接。FP8 官方權重約 37.5GB，較適合有相應硬體與 runtime 的伺服器部署。

Qwen3.6-35B-A3B 可以商用嗎？

官方 Hugging Face repo 標示 Apache 2.0，可商業使用與修改。發佈時仍要遵守授權與 NOTICE 要求，社群量化、微調資料與部署元件則需各自核對。

Ollama 跑得慢怎麼檢查？

先用 ollama ps 確認 GPU offload，比對模型 tag 與 context 長度，再檢查是否有其他程式占用 VRAM。若 16GB 顯卡必須頻繁從 RAM 搬權重，縮短 context 只能省 cache，無法讓 20GB 以上權重突然完整放入顯卡。

參考來源

№ · further reading

延伸閱讀

🧱 Qwen3.6-27B 本地部署：16GB 能跑嗎？Q4、FP8 與硬體選擇 🔓 開源 LLM 與本地端 LLM 比較：Local LLM、雲端 API、成本與隱私 🦙 Ollama 是什麼？本地 AI 入門與完整教學入口 🦙 Ollama 教學 2026：Mac / Windows 安裝、本機模型與 GPU 排查 🖥️ LM Studio 教學 2026：本機 AI、API Server 與 Ollama 怎麼選 🤖 AI Agent 是什麼？原理、應用、工具與導入風險