回到頂部
Open WebUI 與 Ollama 私有 AI 介面教學示意圖

Open WebUI 教學:Ollama 私有 AI 介面與 RAG 怎麼架?

Open WebUI 教學,整理 Docker 安裝、Ollama 連線、RAG 文件問答、模型 provider、權限、多使用者與本機 AI 團隊入口。

Open WebUI 的搜尋意圖通常集中在三件事:

  1. 我已經裝了 Ollama,想要一個像 ChatGPT 的介面。
  2. 我想自架私有 AI,讓本機模型與雲端模型都能在同一個地方用。
  3. 我想做文件 RAG、權限、多人登入,而不是只在命令列聊天。

Open WebUI 正好打在這個需求上。它不是模型本身,而是 AI 使用入口。

Open WebUI 是什麼?

Open WebUI 官方定位是 self-hosted AI interface。它可以連接本機模型與雲端模型,包含 Ollama、OpenAI、Anthropic 或 OpenAI 相容 provider,並提供對話、文件、RAG、工具、權限與團隊功能。

用比較白話的方式說:

工具角色
Ollama跑本機模型
Open WebUI提供 Web 介面與管理層
Docker部署 Open WebUI
RAG讓 AI 查你的文件
Cloud provider需要高品質模型時接雲端

Open WebUI 適合誰?

使用者是否適合原因
只想自己本機聊天LM Studio、Jan 可能更簡單
已經會 Docker安裝與更新較直覺
想替 Ollama 加上 ChatGPT 介面這是常見核心需求
小團隊想共用 AI 入口有多使用者與管理概念
完全不懂 Docker 的新手中低需要先理解容器與 port

Open WebUI Docker 安裝概念

官方 quick start 顯示,Open WebUI 支援 macOS、Linux、Windows,也提供 Docker、Python、Kubernetes、Desktop 等方式;其中 Docker 是官方建議多數使用者使用的方式。

典型 Docker 指令概念如下:

docker pull ghcr.io/open-webui/open-webui:main

docker run -d -p 3000:8080 \
  -v open-webui:/app/backend/data \
  --name open-webui \
  ghcr.io/open-webui/open-webui:main

啟動後通常打開:

http://localhost:3000

其中 -v open-webui:/app/backend/data 很重要,它讓資料在容器重建後保留下來。

和 Ollama 放在一起怎麼架?

Open WebUI 官方 quick start 提供不同 image variant,包括標準版、slim、CUDA,以及 bundled with Ollama 的版本。

常見路線有兩種:

路線適合誰
Ollama 裝在主機,Open WebUI 用 Docker 連它已經裝好 Ollama 的人
用 Open WebUI 的 Ollama bundle image想一個容器包起來的人

如果 Ollama 在主機上,容器要連回主機服務時,Windows、Mac、Docker Desktop、Podman 的網路名稱可能不同。遇到連不到 localhost:11434 時,先檢查容器內看到的 host 不是你主機上的 localhost。

RAG 文件問答怎麼設定?

Open WebUI 官方 RAG 文件說明,RAG 可以從本機或遠端文件、網頁內容、YouTube transcript 等來源檢索相關資訊,再放入對話上下文中。

但有一個很關鍵的提醒:如果使用 Ollama,預設 context length 可能只有 2048 tokens。官方文件提醒,這會嚴重限制 RAG,尤其是網頁常常有 4000 到 8000 tokens 以上,context 太小可能讓資料沒有被完整使用。

所以做 RAG 時要檢查:

  • 模型 context length。
  • 文件切段大小。
  • chunk overlap。
  • embedding model。
  • 是否需要 hybrid search 或 reranking。
  • 回答是否有引用。

RAG 測試問題

建立知識庫後,不要馬上問複雜問題。先問可驗證的問題:

請列出知識庫中所有文件名稱,並依主題分類。
請找出所有提到「保固」的段落,列出來源與重點。
根據知識庫回答:客戶申請退款時,客服應該先確認哪些條件?
如果文件沒有說明,請明確標示。

如果這些問題都抓不到資料,就不要急著相信後面的長答案。

Open WebUI 和 AnythingLLM 怎麼選?

比較Open WebUIAnythingLLM
核心定位自架 AI 入口與模型介面文件知識庫與 RAG 工作區
Ollama 整合很常見也支援
多模型聊天有,但重點不同
文件庫更偏文件應用
團隊入口視部署方式
非工程使用者中高

如果你的第一需求是「把本機與雲端模型放在一個 Web UI」,Open WebUI 優先。
如果你的第一需求是「讓文件變成可問答知識庫」,AnythingLLM 更直覺。

Open WebUI 安全注意事項

1.不要隨便關閉登入

官方 quick start 有 single-user mode,但也提醒不能在 single-user 與 multi-account 模式間任意切換。除非你很確定部署只在本機自己用,否則不要為了方便就把登入拿掉。

2.不要用浮動 tag 管正式環境

正式環境不要永遠用 :main 當作唯一版本策略。要能 rollback,就要 pin 版本、備份 volume、記錄環境變數。

3.不要把容器資料卷當成可丟失資料

Open WebUI 的對話、設定、文件索引都可能在資料卷中。更新、搬家、重建前先備份。

常見問題

Open WebUI 是不是一定要 GPU?

Open WebUI 本身不一定要 GPU;真正吃 GPU 的通常是模型推論。如果你接的是雲端模型,Open WebUI 主要是介面與後端服務。如果你接本機 Ollama,模型速度才會受 GPU 或 CPU 影響。

Open WebUI 可以接 ChatGPT 嗎?

可以接 OpenAI provider,也可以接 OpenAI 相容端點。費用與資料政策要看你接的 provider。

Open WebUI 適合公司正式使用嗎?

可以作為內部 AI 入口的候選,但正式上線前要評估 SSO、RBAC、備份、日誌、資料隔離、模型供應商政策與維運人力。

參考資料

№ · further reading

延伸閱讀