想讓 LM Studio 回答自己的公司資料,可以先用文件問答;把 PDF 拖進聊天,並不會把它永久訓練進模型。 如果你正在替台灣小團隊整理 SOP,最先要確認的是答案能否引用目前版本,而不是先找一張更大的顯卡來訓練。
例如,昨天附上舊版報修流程,今天換了新版,AI 卻仍回答昨天的窗口。問題可能出在文件檢索或舊對話脈絡,不一定是模型不夠大。先弄清楚附件、Preset(預設組態)與訓練各自保存了什麼,才能決定下一步。還沒下載模型,可先看 LM Studio 入門教學。
上傳文件後,模型讀到的是什麼?
LM Studio 的文件聊天說明列出 .docx、.pdf、.txt 附件:短文件若容得下,內容會完整加入對話上下文;文件太長時,會採用 RAG(檢索增強生成),找出相關片段供模型參考。
這兩條路都在回答時提供資料。上下文像這一輪對話的工作記憶;RAG 則先找資料,再讓模型回答。依這個處理方式判斷,附加檔案並沒有執行重訓模型權重的流程。你仍要把需要參考的資料交給目前的文件工作流程,不能只因為昨天問過一次,就預期所有新聊天都會自動知道。
對長 SOP,先問一個有明確章節和關鍵詞的問題,比「幫我看完全部」更容易確認檢索是否找到正確段落。文件能被附加,也不代表每張掃描頁、表格或圖片都已被正確讀取;先抽一段核對原文,再把答案拿去工作。
三種常被混叫成「教會 AI」的操作,其實保存的東西不同:
| 你的目的 | 先用哪一種 | 要保存和更新什麼 |
|---|---|---|
| 回答目前的 SOP、產品說明 | 文件問答/RAG | 文件版本、檢索到的原文與引用 |
| 每次都用固定語氣、格式回答 | Preset | 系統指令及推論參數 |
| 經過評估後,仍要改變模型穩定行為 | 另做模型微調 | 訓練資料、評估結果與新權重/轉接器 |
Preset 官方文件說明,它把系統提示詞與參數打包,供不同聊天重用。這很適合保存「回答前先列文件原文」的要求,但不是把整個資料庫寫進模型。
文件換新版,先排除舊對話干擾
LM Studio 的提示詞前處理器文件指出,處理後的輸入會保存在聊天紀錄;即使之後停用外掛,先前改過的訊息仍會被使用。文件處理外掛 lmstudio/rag-v1 就是這類前處理器的例子。
因此,我不會用「關掉外掛後,AI 還記得」來證明它已經被訓練。這是依聊天保存方式做出的判斷:原文可能已經進入歷史訊息。更新公司資料時,先以乾淨的新聊天、只附新版文件來驗證,會比較容易找出答案究竟從哪裡來。
你可以用以下虛構資料做練習,避免一開始就放進客戶或員工資料:舊版 橘色方案-SOP-v1.txt 寫「內測申請截止週四下午三點」,新版 橘色方案-SOP-v2.txt 改為「週五下午四點」。在新聊天只附 v2,再問:
請只根據附加的橘色方案 SOP 回答:
內測申請的截止時間是什麼?
先貼出支持答案的原文,再說明。
若文件沒有記載,請直接說找不到。
這是供你在自己環境驗證的練習,並非本網站聲稱已在某個模型測得的結果。比較時要看原文、版本及時間是否一致,不能只看回答有沒有禮貌。若仍答錯,先確認附加的是 v2、問題有提到文件關鍵詞、來源段落確實包含新時間,再調模型或檢索設定。
想讓這份驗證可持續使用,就把「截止時間、承辦窗口、缺少資料時怎麼回答」留下來,文件每次更新都重問。當資料開始跨很多文件、需要多人權限或固定知識庫,再比較 AnythingLLM 本機文件工作區,而不是把所有資料反覆貼到同一條長聊天。
什麼情況才走到模型訓練?
Hugging Face 的微調文件把 fine-tuning 定義為:在預訓練模型上,用特定任務或領域的資料繼續訓練。它有資料準備、訓練設定、評估與權重產物,和聊天附件的參考資料路徑不同。
如果文件找得到、指令也已經清楚,但模型仍反覆無法遵守固定分類或輸出格式,才比較值得評估微調。這是我的導入順序:先確認輸入與來源,再確認回答規格,最後才把有穩定錯誤的任務交給訓練。需要實作時,沿用 LoRA、QLoRA 與模型微調指南,另做訓練及部署相容性驗證。
公司採用前,仍要回模型卡查看授權、用途與限制;開放權重不等於所有商用方式都能直接採用。走本機推論雖然沒有逐次 API 費,仍有電腦、記憶體/顯存、電力與校稿成本。這些取捨可先用 地端 AI 入門判斷,先用現有設備測小文件,再決定是否升級硬體。
離線也要看完整流程。LM Studio 離線文件表示,下載好模型後,本機聊天與文件處理可以離線進行;搜尋、下載模型、更新程式及 runtime 則需要連線。如果你另接雲端工具、同步資料夾或外部服務,這些路徑仍要分開確認。
對經常更新的公司 SOP,我會先把文件版控、來源核對和乾淨聊天做好。這樣新版資料是否生效可以被檢查,也比較容易維護;看到一次流暢的回答,還不足以宣告「公司模型已經學會了」。
FAQ
把自己的 PDF 放進 LM Studio,就是訓練模型嗎?
不是同一個操作。文件聊天把內容加入上下文,或透過 RAG 檢索片段供回答參考;模型微調則另有訓練流程與權重產物。
LM Studio 換新版文件後,為什麼還回答舊內容?
可能是附件版本、檢索結果或舊聊天訊息的影響。先開乾淨聊天,只附新版,要求列支持答案的原文;不要直接把舊答案當成模型永久學會的證據。
想固定回答格式,應該先用 Preset 還是訓練?
先試 Preset 保存清楚的系統指令與參數,再用固定題目確認是否穩定。若來源與指令都正確,仍持續出現同類錯誤,再評估有獨立測試集的微調。
參考來源
- LM Studio:Chat with Documents(2026-10-04 查核;未標發布日)
- LM Studio:Config Presets(2026-10-04 查核;未標發布日)
- LM Studio:Introduction(2026-10-04 查核;未標發布日)
- Hugging Face:Fine-tuning(2026-10-04 查核;未標發布日)
- LM Studio:Offline Operation(2026-10-04 查核;未標發布日)
- Hugging Face:Model Cards(2026-10-04 查核;未標發布日)