回到頂部
概念插畫:使用者在本機工作桌把特定形狀的模型模組放進相符的運算底座,旁邊保留文件與計時器,呈現專用引擎和實際工作測試

LM Studio 加入 Splash:Mac 本機 AI 加速,先看硬體與模型限制

Splash 登上 LM Studio,為指定 Qwen 模型加速本機推論。整理 M3、記憶體與系統門檻,分清 Bionic 和桌面版入口,並說明速度數字與實際任務測試該怎麼看。

內容查核: 來源查核:

Mac 上的本機模型回覆太慢,可以先檢查引擎是否適合你的模型。LM Studio 9 月 18 日介紹 Splash,把 Inco AI 的專用推論引擎整合進 Bionic;隔天的 LM Studio 0.4.25 更新也加入支援。對已經使用 Qwen、硬體符合條件的人,這是一個值得比較的選項。

不過,Splash 的加速有明確範圍:它針對少數模型和 Apple Silicon 最佳化,不能把所有下載好的模型直接搬過去。我會先確認電腦與模型符合門檻,再拿同一份工作測試,避免只看到速度倍數就重建整套環境。

哪些 Mac、模型與 LM Studio 版本能用?

LM Studio 的首發套件教學要求 M3 或更新的 Mac、macOS 26.4 以上,以及至少 36GB 統一記憶體,建議 48GB 以上。如果是 M1、M2,就不適合照搬這條路線;可以繼續從本機 AI 入門選較小模型與原有引擎。

依兩份模型說明,Qwen3.8-27B-Splash是 270 億參數的稠密模型;Qwen3.6-35B-A3B-Splash總參數約 350 億、每個 token 啟用約 30 億,採混合專家架構。兩者都是含 4-bit 主模型、草稿模型等元件的專用套件,不能當作一般 MLX 或 Transformers 檔案載入其他引擎。模型頁與引擎專案目前均標示 Apache-2.0 授權。

Bionic 使用者可依官方步驟,先更新到 1.1.5 或以上,進入 Settings → Runtime,在 Experimental backends 下載 Splash (Metal);接著到 Settings → Explore 搜尋上述模型頁網址、下載套件,再於新工作階段選取本機模型。這是 Bionic 的操作路徑;一般 LM Studio 0.4.25 的發布紀錄確認加入 Splash,並不表示兩套介面的選單完全相同。

另外,截至 9 月 28 日查核的引擎 README已加入指定模型的 GGUF/MLX 載入方式,並列出 24GB Mac 使用較小 GGUF 量化版本的路徑。因此,「Splash 一律至少 36GB」已不夠精確:36GB 是上述首發套件路線的門檻。24GB 使用者應照目前命令列文件選擇相容版本,另確認上下文與記憶體壓力;這不代表 Bionic 的首發教學已同步支援所有新格式。

下載前也要留出磁碟空間。27B 與 35B 套件頁分別列出約 17.4GB、20.9GB 的首次下載量;檔案大小不是執行時記憶體需求,長文件、對話紀錄和同時開啟的其他軟體都會再占用資源。只有剛好符合最低規格時,先用單一任務比較,比一開始就開多個代理更容易找出瓶頸。

「快兩倍」怎麼讀?用同一份工作看完整等待時間

Inco 的發布測試在 48GB M5 Pro 上,以選定的程式任務、最高 32K 輸入與 1,024-token 輸出上限比較引擎。Qwen3.8-27B 的短提示輸出速度為每秒 74 tokens,約是該組比較中次快引擎的兩倍;數字包含推理 token,也不是本站重現的成績。

這不能直接讀成「你的每項工作時間減半」。讀入長文件、產生第一個字、持續輸出、等待工具結果,是不同時間成本;回答寫得快,但需要多改三次,也未必比較省時。各引擎採用自己的建議設定,結果反映整套執行方式,不能單獨歸功於某一個技術。

比較時,我建議保留三份固定輸入:一段短問答、一份較長但可公開的繁中文件,以及你平常真的會完成的工作。例如把活動企畫整理成摘要,要求保留日期、金額和三個待確認事項。先寫好正確答案或驗收標準,再比較是否漏掉限制、編造細節,或把繁體中文換成不合用的格式。

同一份輸入至少區分第一次執行與接續對話。前者可能需要重新讀取大量內容,後者可能受益於快取;若只拿已經暖機的結果去比另一套引擎的第一次執行,差距會失真。記下模型套件、推理設定、輸入長度、第一個字的等待時間,以及完成一份可用結果所花的總時間,就能比較接近自己的需求。

也別把「本機模型」當成整個工作流都不連網的保證。引擎與模型下載需要網路;你連接的代理工具是否搜尋網頁、呼叫外部服務或寫入雲端資料,仍是另一層設定。若使用 Splash 的命令列服務,官方 README 說明預設綁定本機位址,驗證預設關閉;要擴大存取範圍前,先處理授權與網路限制。

下一步可以只做一件事:符合硬體條件就選一個支援模型,拿既有工作做小範圍對照。想先釐清桌面聊天、本機 API 與命令列服務的分工,可讀 LM Studio 教學與 Ollama 指南,不必為了這次更新重換所有工具。

參考來源

№ · further reading

延伸閱讀