回到頂部
深色手繪檔案輪保留原有索引薄片,旁邊新增帶曲線與機械示意圖的紙頁,呈現既有文字檢索補入視覺文件

Nemotron 3.5 可留文字索引嗎?

Nemotron 3.5 把圖表與文字納入文件搜尋。同系列舊文字索引能否沿用?說明 Embed、Rerank、Parse 的分工,以及新增影像索引、模型規模與表格輸出的取捨。

內容查核: 來源查核:

NVIDIA 在 10 月 21 日擴充 Nemotron Retriever,介紹 Nemotron 3.5 Embed、Rerank 與 Parse。Embed 讓文字查詢能找到包含圖表、規格表與示意圖的頁面,Rerank 調整候選的順序,Parse 則將頁面轉成可處理的結構。

替台灣設備商做售後知識庫,若原本就用 Nemotron 3 Embed,這次有一條值得評估的路線:保留相容的文字索引,補進原本漏掉的圖面。官方保留對應模型的文字嵌入空間,開發者可以把改動集中在手冊的曲線、表格與示意圖。

舊文字索引能留,先對上原來的模型

1B 模型卡說明,語言元件從 Nemotron 3 Embed 初始化,訓練視覺能力時保持凍結,因此與對應舊模型共用文字嵌入空間。8B 模型卡也明列,純文字嵌入與對應舊版相同。

這條沿用路線有明確範圍:1B 對 1B、8B 對 8B,這裡談的是 BF16 權重格式版本的既有純文字向量。查詢前處理、向量維度、截短與正規化方式也要一致;不能把其他品牌的索引,或不同尺寸的向量直接混進來。向量空間與模型更換的基本差別,可對照向量嵌入說明。

新加入的頁面影像仍須編碼、存入索引,並保留原始頁面。若設備手冊的限制條件藏在曲線圖裡,只沿用舊文字向量,不會讓那張圖自動變得可搜尋。這次省得下來的是已有相容文字向量的重算工作,並非所有新資料的處理。

兩款 Embed 的查詢端都是文字,文件端才支援文字、影像或圖文組合。因此,可評估用文字問題找手冊圖面,不能直接推成「拿故障照片找相同設備」。這個輸入方向,會決定你是否選對模型。

找到候選頁後,Rerank會把查詢與每份候選文件一起評分。分數表示相關程度,不是答案正確率;它能把較相關的頁面往前排,卻不能替前一階段補回根本沒找到的文件。

我不建議已有對應 Nemotron 3 文字索引的團隊,只因為版本更新就全庫重算。先確認原本的文字查詢仍對上同一批內容,再把確實需要的圖面加入,才容易看出這次改動改善了哪種漏檢。

找到圖表後,要不要把它拆成欄列?

若售後人員只需要打開正確的操作曲線頁,圖文檢索就有用途;若要把規格表的欄位交給程式比對,才進一步需要 Parse 的結構擷取。這是兩種交付需求,不必把 Parse 當成每份文件都要先經過的關卡。

Parse 約有 6.31 億參數,輸出包含文字、版面元素、位置與閱讀順序。對常見的多層表頭,輸出格式尤其重要:官方後處理工具以 HTML、階層式 JSON 保留合併儲存格;平面 CSV、Markdown 與記錄式 JSON 則會攤平跨列、跨欄結構。要保住「哪個規格屬於哪組型號」的關係,不宜只因為試算表方便開啟,就一律選 CSV。

繁中掃描件仍要另外核對。模型卡列出的多語辨識評測包含簡單合成文字,並明說不能保證複雜掃描件、手寫字或劣化影像的準確度。台灣技術手冊若有小字、直排註記與跨頁表格,應檢查欄位對應及原頁位置;不是輸出流暢,就代表結構讀對。若需求只是修復可搜尋文字層,繁中掃描 PDF 與 OCR 的處理方式是另一個範圍。

部署也要按完整模型看。官方 BF16 Embed 的 1B、8B 型號,總參數分別為 1.55B、8.38B,已包含視覺元件;模型卡提供 GPU 推論範例,不能由型號直接推算最低顯存。自行部署仍要計入頁面編碼、索引儲存與候選重排的運算成本。

這些模型採 OpenMDW 1.1 授權,可依協議商用;再散布模型材料時須保留協議及適用的來源聲明。它們是開發檢索系統的元件。只是想在電腦上詢問自己的文件,可先看 LM Studio 文件問答,由現成的文件操作開始。

常見問題

換 Nemotron 3.5,任何舊向量索引都能沿用嗎?

不是。本文的相容性限於對應 Nemotron 3 Embed 與 3.5 Embed BF16 的文字嵌入空間,還要核對前處理、維度與正規化。其他品牌、不同尺寸模型及新加入的頁面影像,不能直接套用相同結論。

三個元件一定要一起使用嗎?

不一定。Embed 建立可搜尋的向量,Rerank 調整候選順序,Parse 擷取頁面文字與結構。只要找到原始圖表頁,與需要把表格欄列送進程式,是不同需求,可依交付內容選擇元件。

CSV 能保留合併儲存格嗎?

不能。平面 CSV 會攤平跨列、跨欄結構;HTML 與階層式 JSON 才保留合併儲存格。輸出後仍要核對原頁的表頭與數值。

參考來源

№ · further reading

延伸閱讀