回到頂部
深色實驗室中,可替換的資料薄片置於固定模型核心旁,呈現文件參考與模型訓練的不同作用

LM Studio 用自己的資料:文件問答、預設與訓練差別

想讓 LM Studio 回答公司文件,先確認要讀資料還是訓練模型。解析文件附件、長文件 RAG、Preset 與舊對話紀錄,避免換了新版 SOP 還沿用舊答案。

內容查核: 來源查核:

想讓 LM Studio 回答自己的公司資料,可以先用文件問答;把 PDF 拖進聊天,並不會把它永久訓練進模型。 如果你正在替台灣小團隊整理 SOP,最先要確認的是答案能否引用目前版本,而不是先找一張更大的顯卡來訓練。

例如,昨天附上舊版報修流程,今天換了新版,AI 卻仍回答昨天的窗口。問題可能出在文件檢索或舊對話脈絡,不一定是模型不夠大。先弄清楚附件、Preset(預設組態)與訓練各自保存了什麼,才能決定下一步。還沒下載模型,可先看 LM Studio 入門教學。

上傳文件後,模型讀到的是什麼?

LM Studio 的文件聊天說明列出 .docx、.pdf、.txt 附件:短文件若容得下,內容會完整加入對話上下文;文件太長時,會採用 RAG(檢索增強生成),找出相關片段供模型參考。

這兩條路都在回答時提供資料。上下文像這一輪對話的工作記憶;RAG 則先找資料,再讓模型回答。依這個處理方式判斷,附加檔案並沒有執行重訓模型權重的流程。你仍要把需要參考的資料交給目前的文件工作流程,不能只因為昨天問過一次,就預期所有新聊天都會自動知道。

對長 SOP,先問一個有明確章節和關鍵詞的問題,比「幫我看完全部」更容易確認檢索是否找到正確段落。文件能被附加,也不代表每張掃描頁、表格或圖片都已被正確讀取;先抽一段核對原文,再把答案拿去工作。

三種常被混叫成「教會 AI」的操作,其實保存的東西不同:

你的目的先用哪一種要保存和更新什麼
回答目前的 SOP、產品說明文件問答/RAG文件版本、檢索到的原文與引用
每次都用固定語氣、格式回答Preset系統指令及推論參數
經過評估後,仍要改變模型穩定行為另做模型微調訓練資料、評估結果與新權重/轉接器

Preset 官方文件說明,它把系統提示詞與參數打包,供不同聊天重用。這很適合保存「回答前先列文件原文」的要求,但不是把整個資料庫寫進模型。

文件換新版,先排除舊對話干擾

LM Studio 的提示詞前處理器文件指出,處理後的輸入會保存在聊天紀錄;即使之後停用外掛,先前改過的訊息仍會被使用。文件處理外掛 lmstudio/rag-v1 就是這類前處理器的例子。

因此,我不會用「關掉外掛後,AI 還記得」來證明它已經被訓練。這是依聊天保存方式做出的判斷:原文可能已經進入歷史訊息。更新公司資料時,先以乾淨的新聊天、只附新版文件來驗證,會比較容易找出答案究竟從哪裡來。

你可以用以下虛構資料做練習,避免一開始就放進客戶或員工資料:舊版 橘色方案-SOP-v1.txt 寫「內測申請截止週四下午三點」,新版 橘色方案-SOP-v2.txt 改為「週五下午四點」。在新聊天只附 v2,再問:

請只根據附加的橘色方案 SOP 回答:
內測申請的截止時間是什麼?
先貼出支持答案的原文,再說明。
若文件沒有記載,請直接說找不到。

這是供你在自己環境驗證的練習,並非本網站聲稱已在某個模型測得的結果。比較時要看原文、版本及時間是否一致,不能只看回答有沒有禮貌。若仍答錯,先確認附加的是 v2、問題有提到文件關鍵詞、來源段落確實包含新時間,再調模型或檢索設定。

想讓這份驗證可持續使用,就把「截止時間、承辦窗口、缺少資料時怎麼回答」留下來,文件每次更新都重問。當資料開始跨很多文件、需要多人權限或固定知識庫,再比較 AnythingLLM 本機文件工作區,而不是把所有資料反覆貼到同一條長聊天。

什麼情況才走到模型訓練?

Hugging Face 的微調文件把 fine-tuning 定義為:在預訓練模型上,用特定任務或領域的資料繼續訓練。它有資料準備、訓練設定、評估與權重產物,和聊天附件的參考資料路徑不同。

如果文件找得到、指令也已經清楚,但模型仍反覆無法遵守固定分類或輸出格式,才比較值得評估微調。這是我的導入順序:先確認輸入與來源,再確認回答規格,最後才把有穩定錯誤的任務交給訓練。需要實作時,沿用 LoRA、QLoRA 與模型微調指南,另做訓練及部署相容性驗證。

公司採用前,仍要回模型卡查看授權、用途與限制;開放權重不等於所有商用方式都能直接採用。走本機推論雖然沒有逐次 API 費,仍有電腦、記憶體/顯存、電力與校稿成本。這些取捨可先用 地端 AI 入門判斷,先用現有設備測小文件,再決定是否升級硬體。

離線也要看完整流程。LM Studio 離線文件表示,下載好模型後,本機聊天與文件處理可以離線進行;搜尋、下載模型、更新程式及 runtime 則需要連線。如果你另接雲端工具、同步資料夾或外部服務,這些路徑仍要分開確認。

對經常更新的公司 SOP,我會先把文件版控、來源核對和乾淨聊天做好。這樣新版資料是否生效可以被檢查,也比較容易維護;看到一次流暢的回答,還不足以宣告「公司模型已經學會了」。

FAQ

把自己的 PDF 放進 LM Studio,就是訓練模型嗎?

不是同一個操作。文件聊天把內容加入上下文,或透過 RAG 檢索片段供回答參考;模型微調則另有訓練流程與權重產物。

LM Studio 換新版文件後,為什麼還回答舊內容?

可能是附件版本、檢索結果或舊聊天訊息的影響。先開乾淨聊天,只附新版,要求列支持答案的原文;不要直接把舊答案當成模型永久學會的證據。

想固定回答格式,應該先用 Preset 還是訓練?

先試 Preset 保存清楚的系統指令與參數,再用固定題目確認是否穩定。若來源與指令都正確,仍持續出現同類錯誤,再評估有獨立測試集的微調。

參考來源

№ · further reading

延伸閱讀