想把既有 Hugging Face 模型搬到 AWS Trainium，現在有一個更具體的起點。Hugging Face 在 10 月 23 日推出模型支援查詢，公開模型是否跑得起來、使用哪套軟體環境，並附上當次測試的重現程式。工程師查完結果，便有現成程式可接著試跑。
這項服務接續 TorchNeuron 原生後端的推出：Trainium 已能作為 PyTorch 裝置，使用 Hugging Face 既有的模型類別。原生支援降低了改寫模型程式的負擔，新的查詢表則補上實際測試紀錄，供團隊核對正在使用的模型與環境。
查詢和重現接在一起
公開查詢頁預設顯示精選模型；要找特定名稱，可切換到 Trending 或 Downloads，再輸入模型名稱片段。選定編譯器與 Transformers 版本後，就能看結果、核心數、執行時間和記憶體峰值。還不熟悉這類頁面的讀者，可先看 Hugging Face Spaces 的使用方式。
這些欄位要一起讀。相同模型搭配不同套件版本，可能走上不同的編譯或執行路徑；只截下一格通過結果，會漏掉最有助排錯的環境資訊。查詢表把版本和結果綁在一起，讓工程師能先找出接近自己環境的紀錄，再決定從哪裡試起。
依資料集說明，每筆測試還保存載入或生成的錯誤、輸出檢查紀錄，以及實際執行的 run.py。找到模型後，下載程式便能對照套件與執行設定。對移植工作而言，有一份能重現的起點，往往比一句籠統的「支援」更容易往下推進。
查詢表也會列出未納入測試的原因。量化權重、需要執行模型庫自訂程式的模型，目前會被選樣規則排除；某個版本組合找不到資料，則只表示該組合未測。熱門與下載排行用來挑選測試對象；要依參數規模、授權和任務選模型，可參考模型選型的判斷方式。
先對齊環境，再試跑
要重現結果，需要準備與紀錄相符的 Trainium2 環境。AWS Neuron 官方容器提供按框架與 SDK 區分的映像檔；下載的程式開頭另列出套件安裝資訊。環境準備好後，依官方說明執行 python3 run.py 即可，模型需要跨核心時，該程式會自行啟動分散式執行程序。
第一次執行還包括編譯模型。官方介紹另外提供沿用 NEFF 編譯快取的方法，查詢頁會給出對應編譯器版本的下載指令。表中的耗時包含編譯，評估服務延遲時必須另外測量。
對台灣團隊常需處理的繁中輸入，較有效率的順序是先把原測試跑通，再換入自己的資料。先固定程式和環境，比較容易分辨問題出在移植設定，還是新增的任務條件；接著才進入回答品質、長文輸入與多人使用的模型評測。本文的建議依據官方測試設計，未自行操作 Trainium。
支援表目前的標準測試只生成 32 個 Token，從固定英文開頭檢查模型能否載入與產生輸出。PASS 也涵蓋輸出檢查無法執行的情況，需搭配檢查欄位判讀。它提供的是可追查的移植起點；服務能承受多少請求、每次回答成本多少，要由後續的實際負載結果回答。
這次更新最有價值的地方，就在於把查詢與重現接起來。模型名稱、軟體版本、錯誤訊息和測試程式能一起交接，團隊討論是否換硬體時，便能從同一筆測試出發，少花時間猜測彼此使用了什麼環境。
常見問題
查詢前要先準備機器嗎？
查閱公開 Space 的測試紀錄，不必先準備 Trainium 機器。要執行下載的重現程式，才需要準備與紀錄一致的 Trainium2 環境。
找不到模型結果，該怎麼判斷？
先確認查詢的編譯器與函式庫版本，再看是否列有排除原因。未測、被選樣規則排除，以及實際載入或生成失敗，是不同情況；只有最後一類才有對應的失敗測試可供排查。
換套件版本後，能沿用結果嗎？
應重新確認相同版本組合是否有測試紀錄，並用該環境重現。尤其是編譯快取，必須對照原本的編譯器版本；模型名稱相同不足以代表整套執行環境相同。
參考來源
- Hugging Face 官方：Does Your Model Run on AWS Trainium? Look It Up（2026-10-23）
- AWS Neuron 官方資料集：torch-neuronx model support（未標發布日，2026-10-25 查核）
- Hugging Face 官方：TorchNeuron: running HF models on AWS Trainium is easier than ever（2026-10-19）
- AWS Neuron 官方儲存庫：AWS Neuron Deep Learning Containers（未標發布日，2026-10-25 查核）