回到頂部
概念插畫:深色檔案抽屜中,照片、影音膠片與聲音波紋被同一道低飽和光線串起,象徵本機跨媒體搜尋

EmbeddingGemma 2:本機 AI 搜尋加入影音

Google 推出 EmbeddingGemma 2,讓文字、圖片與影音共用搜尋模型。整理本機部署用途、模型下載、記憶體與向量壓縮限制,判斷是否值得換掉既有檢索流程。

內容查核: 來源查核:

公司文件搜尋已能找到文字,值得為了影音換模型嗎?有跨媒體搜尋需求,再評估 EmbeddingGemma 2。 Google 10 月 6 日發布的新模型能把文字、圖片、影片與音訊放進同一套向量空間,讓不同媒體之間也能比對相似內容。

對台灣團隊,值得注意的用途是讓錄音、產品照片與教學影片加入原有文件搜尋。例如用文字找影片中的片段,或用錄音中的描述找相關影像。這是官方展示的搜尋方向,不代表輸入一句中文,就能直接取得可交付的完整報告。

EmbeddingGemma 2 找資料,答案仍需另一個模型

Google 的模型介紹把用途放在裝置端搜尋、檢索與分類。它輸出的是表示內容的向量,搜尋系統再依相似度找出候選資料;若要讀完資料後回答問題,還需生成模型與引用處理。兩者的分工可接著看向量嵌入入門與 RAG 指南。

開發者指南說明,模型採模組化設計:文字與程式碼配置為 270M 參數,加上影像為 440M,加上音訊為 570M,完整配置則為 740M。需要哪種資料,就載入對應編碼器;純文字搜尋不用把整套影音能力一起放進記憶體。

目前 Hugging Face 模型庫已提供權重,標示 Apache 2.0 授權。這是可下載的模型,還不是替你管理檔案、權限與索引的完整知識庫產品。若只是想讓電腦讀自己的文件,LM Studio 文件問答指南仍是另一條用途較直接的路線。

本機部署要省空間,也要保住搜尋結果

Google 在裝置端開發文章列出量化模型於 Pixel 11 Pro 的數據:純文字權重最低約需 191MB 活躍記憶體,完整多模態模型約 567MB。這些條件不能直接當成你的筆電、瀏覽器或公司搜尋系統的總需求。

真正的應用還有資料預處理、索引與向量庫;若另接聊天模型,也要另算其資源。影片與音訊更需處理長度與切片,不能因為模型小,就假設整份影音庫能一次塞進去。省去雲端檢索的 API 用量,不等於沒有成本,儲存、建索引與維護仍由自己負擔。本機 AI 入門能先釐清硬體與資料位置。

另一個取捨是向量壓縮。模型卡提供 768、512、256 與 128 維配置,但也提醒:128 維的多模態品質下降較明顯,較適合文字用途。省下索引空間的代價,可能是原本找得到的影音片段被排到後面;不能把最高壓縮比例讀成無損。

我會把這次更新的價值放在跨媒體檢索。既有資料只有文字、結果也已夠準的團隊,不建議先為了追新模型重建索引。若需求是找錄音與影片,才有理由讓同一個查詢跨過檔案格式,少做一段轉寫或影像描述流程。

驗收時,先標出每筆查詢應找到的檔案或片段,再用繁中措辭、產品縮寫與台灣常用詞搜尋。正確資料若排不進前段,後面的聊天模型寫得再順,也無法補回找不到的內容。模型卡的多語成績不能替代你的資料測試,本文也未實測繁中準確率。

資料留在裝置內的好處,要由完整流程維持。檢索後若又把內容交給雲端模型,仍有對外傳輸;公司文件也需依使用者權限過濾。先保住原有搜尋,再以有明確答案的影音需求驗收新模型,較能判斷這次升級是否值得。

常見問題

EmbeddingGemma 2 可以當本機聊天模型嗎?

它主要把內容轉成向量,用於搜尋、檢索與分類。要依資料生成回答,仍需另一個生成模型;下載權重不等於得到完整聊天應用程式。

EmbeddingGemma 2 已能下載,商業使用也可以嗎?

官方模型庫已提供權重,模型卡標示 Apache 2.0 授權。商業部署仍需遵守授權條件,並分別確認資料、相依套件與應用程式的使用權利。

只有文字文件,也要載入完整 740M 模型嗎?

不需要。官方支援不載入影像與音訊編碼器的 270M 文字配置。模型尺寸與整套系統需求不同,索引、向量庫與後續生成模型仍需另外評估。

參考來源

№ · further reading

延伸閱讀