回到頂部
深色水粉手繪的紙橋連接抽象模型與陶片電路,前方擺著小型感測鏡頭,象徵編譯器銜接模型與邊緣硬體的概念插畫

Coral NPU 架構與編譯器同步開放

Google 完成 Coral NPU 32 位元架構,開放編譯器 1.0。解析模型分工、模擬範例與 Coralboard 板卡,說明台灣相機與 AR 的開發入口。

內容查核: 來源查核:

相機或眼鏡若要一直看懂周遭,模型的理解能力與持續運作的耗電,必須一起考慮。Google 10 月 20 日宣布,完成 Coral NPU 的 32 位元開源架構,並釋出編譯器 1.0。對台灣開發工業相機、AR 眼鏡與嵌入式產品的團隊,這次多了一條可檢視的模型到硬體路徑。

這次的關鍵是軟硬體一起推進:Google 補上矩陣運算單元,Synaptics 則擴充 Coralboard 開發板與工具鏈。若還不熟悉把推論搬到設備旁的做法,可先看 邊緣 AI 的基本概念。

把模型轉成晶片能做的工作

編譯器可以理解成模型與晶片之間的翻譯者。Google 的編譯器文件說明,這套以 IREE/MLIR 為基礎的工具,會轉換模型、分配主機 CPU 與 Coral NPU 的工作,再產生可執行程式。無法交給加速器的運算,也能退回 CPU 處理。

這會影響產品怎麼設計。模型能轉換成功,只是起點;如果重要部分仍留在 CPU,整個應用的速度與耗電,就不能只看 NPU 的規格。工具鏈公開後,工程師有機會追查分工、記憶體安排和運算轉換,進一步調整模型或硬體整合。

公開儲存庫提供 MobileNet V2 的 JAX 與 LiteRT/TFLite 範例,能走完匯出、編譯與模擬推論。預設執行路徑使用 MPACT 模擬器,另有選用的 FPGA 後端。這讓尚未拿到實體板卡的團隊,也能先研究模型如何拆分;範例跑得通,仍不能直接推算實際設備的延遲或續航。

新加入的矩陣單元,則補齊這代架構處理大量乘加運算的能力。Google 提出最高 1 TOPS、平均推論功耗以 10 mW 為目標的設計方向;這是架構目標,不是整台相機、眼鏡或開發板的耗電實測。感測器、記憶體、主機處理器與工作負載,都還會改變產品的用電。

以台灣工廠的假設應用來看,相機旁的小模型可以先判斷是否出現需要進一步分析的事件,再喚起較大的模型或其他系統。這種分工,比要求小晶片隨時完成所有理解更接近此次常駐感知的方向。至於瑕疵是否拍得出來、光源能否固定,仍是 產線視覺檢測必須先處理的問題。

開放架構之後,實機分兩路

實體入口也有進展。Synaptics 同日公告,Coralboard SL 從限量版本走向正式供貨,透過 DigiKey 販售。它採用 Astra SL2619,搭配 Linux 開發環境;查核時也能在 DigiKey 找到 SL 板的實際料號,而非只有活動展示。

另一款新介紹的 Coralboard SR,則採 Astra SR200 系列,走微控制器路線。Synaptics 的 SR200 公告列出 Zephyr 即時作業系統支援;其中 SR250 提供 400 GOPS NPU。這與 SL 的 Linux 路線不同,也不能把新公布的完整矩陣架構,全數套到採第二代向量核心的 SR200 晶片上。

Google 的參考編譯器,與 Synaptics 面向 Astra/Coralboard 的 Torq 編譯器及執行環境,也要分清。前者讓人研究開源架構與模型轉換,後者銜接其板卡產品。它們共享開放工具的方向,並不代表下載任一範例,就能不經調整地搬到每一塊板上。

台灣產業的連結已有具體聲音。Synaptics 的 SR200 公告中,佐臻 Jorjin 談到視覺、聲音與記憶體整合,對工業 AR 的場景理解、資訊疊加和語音互動有幫助。這表達的是未來產品機會,尚不能當成特定量產眼鏡已採用 SR200 的證據。

我認為這次最有價值的,是讓團隊更早看清「哪部分留在小晶片,哪部分交給其他算力」。 開源編譯器提供研究入口,現售 SL 板提供實機起點;是否適合眼鏡、工業相機或機器人,仍要回到感測、模型與整機用電的分工。若應用還會驅動實體動作,可接著看 Physical AI 的感知與執行架構,把推論放回完整系統理解。

常見問題

一定要先買板才能試嗎?

不一定。公開編譯器提供在主機上模擬 Coral NPU 的範例,可以先研究模型轉換與 CPU、NPU 的工作分配。這種模擬不等於實體產品測試,板卡的速度、相機輸入與整機耗電仍需另外量測。

這次只支援 JAX 嗎?

不是。Google 文件與儲存庫範例也列出 LiteRT/TFLite,透過 TOSA 路徑編譯並在模擬器執行。不同框架、模型和硬體後端的成熟度仍有差異,不能把公告列出的框架全部視為可直接上板的完整操作流程。

10 mW 是整台設備耗電嗎?

不是。這是 Google 對 Coral NPU 架構提出的平均推論功耗目標,不能當成每款晶片或開發板的量測結果。相機、記憶體、主機處理器與連線功能都會耗電,因此也無法直接拿來換算眼鏡的電池續航。

參考來源

№ · further reading

延伸閱讀