回到頂部
概念手繪插畫:大型織布機保留整排線軸與經線,只有少數暖色織梭正在穿行,呈現每次啟用部分資源仍須容納整體的差別

Muse Spark Open 釋出,記憶體門檻有多高?

Meta 開放 Muse Spark Open 權重,總參數 816B、每次啟用約 42B。從官方 GPU 需求、雙 Mac 示範與商用條款,判斷台灣團隊是否值得投入自管部署。

內容查核: 來源查核:

Meta 已把 Muse Spark Open 權重交到開發者手上,但台灣團隊要自管部署,第一個門檻仍是記憶體。 10 月 15 日公告列出 816B 總參數、約 42B 活躍參數,並展示以兩台 M5 Ultra Mac Studio 執行模型的路線。這讓企業多了自行運行與調整模型的選項,也帶來一個容易看錯的數字:42B 並不是整個模型的大小。

對正在估硬體成本的工程團隊,我不建議只為了這次權重釋出,就先採購兩台高記憶體桌機。模型能載入、繁中工作能做好、長文件能順暢處理,是三件要分開確認的事。以下需求來自官方部署資料;目前本站沒有速度或繁中實測成績。

站內 7 月更新的 Muse Spark 策略報導記錄的是當時尚未釋出權重的狀態;這次 10 月的 Open 版本,是新的實際發布進度。

42B 活躍,仍要容納 816B 的權重

Muse Spark Open 採混合專家架構(MoE)。Hugging Face 官方工程文說明,每層有 256 個專家,每個 token 選用其中 8 個參與運算。啟用的部分較少,能降低每次計算的負擔;但這份部署說明仍把全部專家留在記憶體,因此不能照 42B 小模型估硬體。

Hugging Face 工程文與 Meta 公告提供兩個部署範例;所需權重可從官方入口取得:

公開部署例子文件列出的配置
Hugging Face NVFP4 推論端點8 張 H200,1,048,576 Token 視窗
Meta MLX 桌面示範2 台 Mac Studio,每台 512GB 統一記憶體

這兩列來自不同運行方式,都是部署例子,不是最低需求。Hugging Face 的 NVFP4 範例選用每張 141GB 的 H200,並指定完整視窗;Meta 則用兩台 Mac 的統一記憶體。量化能用較低精度儲存權重,減少容量,但 Hugging Face 的 MLX 範例仍提醒,連三位元量化也需要超過 256GB RAM。不同精度、框架與輸入長度,要各自估算。

長上下文還會增加另一筆記憶體負擔。模型提供約 1M token 的視窗,Hugging Face 估算,若以 BF16 儲存滿視窗的推論快取,光這部分就約 266GB;較短的提問不會一律用滿。估算設備容量時,除了權重,還得替實際輸入長度留空間。可搭配上下文視窗的用途與限制理解,避免把最大容量當成日常運行配置。

雙 Mac 示範之後,還缺繁中工作成績

Meta 公告描述的桌面配置,是兩台 M5 Ultra Mac Studio、每台最高 512GB 統一記憶體,透過 MLX 執行。這是 Meta 展示的運行路線;公告沒有替台灣團隊回答,相同設備跑自己的文件與代理任務,究竟需要等多久、錯誤會出在哪裡。

Transformers 文件列出的能力是接收文字、圖片、音訊、影片,產生文字。這讓同一個模型能讀畫面、分析影片或語音內容,再用文字回答,適合把不同格式的工作材料放在一起處理。

對台灣工程團隊,更有價值的問題是:同一份繁中規格書附上畫面後,模型能否找出正確條款、理解圖表,並把修改理由連回原始內容?這是評估方向,不是已測出的成效。模型卡也提醒,並未評估訓練資料涵蓋的所有語言,不能從「多語言」直接推論繁中任務已經過關。

因此,若只是想試能力,我會先用可公開的材料,透過官方列出的託管供應商做初步比較,再決定是否投入自管。若資料必須留在內部,則應先確認可用的既有設備或隔離測試環境。地端 AI 的成本與適用情境仍然適用:值得搬回來的工作,要能抵得過硬體與維護投入。

對外提供模型服務,有另一道商用門檻

開放權重帶來調整與部署空間,但這次使用的是自訂的 Muse Model License。授權允許使用、微調、衍生與散布,也要求保留版權、授權與使用政策,並在相關產品、服務或文件等位置顯示指定的「Built with Muse Spark Open」標示。

其中一條商業門檻,針對把模型以 API 等方式提供第三方使用、由第三方取得模型輸出的服務。若公司與關係企業在任一連續 12 個月的合計總營收超過 2,000 萬美元,須先通知 Meta 並另簽書面協議,才能在這類模型服務中提供本模型或衍生版本。門檻看的是條款定義的合計總營收,不能只計算這一支模型的收入。

同條款也列出例外:內部使用、研究,以及不屬於模型服務的商業活動,或用模型支援自家非模型服務產品的功能,不適用這項另簽要求。這項例外不會免除其他授權與使用政策義務。替公司內部文件系統接一個模型,和對外販售通用模型 API,應分開評估。

對台灣團隊,這次發布最實際的價值是多了一個能自行掌握權重的候選模型。是否採用,仍應落在同一筆工作上:它能否把自己的繁中與多模態任務做好,以及所需的記憶體、維護與授權安排是否划算。

常見問題

Muse Spark Open 每次只啟用 42B,一般電腦就跑得動嗎?

不能只看活躍參數。總權重約 816B,官方工程說明仍將全部專家留在記憶體;公開例子使用雙高記憶體 Mac 或多張伺服器 GPU。這些是特定配置,其他量化與框架仍要各自確認,不能由 42B 推算一般電腦需求。

兩台 Mac 的示範,代表能把 1M token 隨時用滿嗎?

不能由示範直接推論。長上下文會增加推論快取等記憶體需求,實際還受精度、框架、輸入長度與任務影響;示範使用的精度與工作負載,也未必和你的工作相同。

Muse Spark Open 可以商用嗎?

授權允許商業使用,但附有標示、保留授權與使用政策等條件。對外提供模型服務且達到合計營收門檻的業者,還須依條款另簽協議;內部使用與自有非模型服務產品有該條款列明的例外。

參考來源

№ · further reading

延伸閱讀