你搜尋「Ollama 教學」時，真正想確認的是自己的電腦能不能把本機大語言模型（local LLM）跑起來，速度會不會慢到不能用，敏感文件會不會離開本機；模型名只是後面的選擇題。
先裝 Ollama、跑一個小模型、再用 ollama ps 看處理器（Processor）欄位。如果顯示 100% GPU，代表模型完整進顯示記憶體（VRAM）；如果顯示 100% CPU 或 CPU/GPU 混合，先降模型大小、縮短上下文長度，或依你的顯卡更新驅動。Windows GPU 細節可接著看 Ollama Windows GPU 設定教學；想要 ChatGPT 風格介面，再接 Open WebUI 教學。
這篇會先把 Mac / Windows 安裝、模型選擇、GPU 驗證和常見錯誤跑穩。進階的 RAG、多人介面、內部知識庫，等基本速度和資料邊界確認後再做。
你搜尋 Ollama 時，先確認卡在哪一步
Ollama 相關搜尋背後有好幾個階段。先找到自己的階段，再決定留在本文、跳到 Windows GPU 排查，或接 Open WebUI / RAG 工具。
| 你現在的問題 | 先做什麼 | 下一步 |
|---|---|---|
| Ollama 是什麼、能不能在本機跑 AI | 先看本文的適合/不適合與資料邊界 | 若只是想認識概念，看 Ollama 入門入口 |
| Ollama Mac / Windows 安裝 | 用官方安裝方式跑 ollama run llama3.2，再用 ollama ps 驗證 | 留在本文的安裝與常見錯誤段落 |
| Ollama Windows GPU 設定、速度很慢 | 先看 ollama ps 的 Processor 欄位，不要只看工作管理員 | Ollama Windows GPU 設定教學 |
| 想要像 ChatGPT 一樣的網頁介面 | 命令列跑通後再接介面層 | Open WebUI 本機 AI 教學 |
| 想做公司文件問答或本機 RAG | 先畫清楚文件權限、embedding、向量資料庫與刪除流程 | AnythingLLM 本機 RAG 教學 |
| 想比較本機、雲端 API、租 GPU 成本 | 把硬體、維護、授權、token 與閒置成本分開算 | 開源 LLM 與本地端 LLM 比較 |
最短路線是：安裝 → 小模型 → ollama ps → 模型/硬體選擇 → Open WebUI 或 RAG。不要一開始就同時處理大模型、Docker、WSL2、多人帳號和公司文件。
先判斷你適不適合用 Ollama
Ollama 的價值是把模型下載、啟動、命令列介面（CLI）和本機 API 包在一起。官方 quickstart 說明它可用在 macOS、Windows 與 Linux，並會在本機提供 API；GitHub README 也列出 ollama run、REST API、Python / JavaScript client 和模型 library。
| 你的情境 | 建議 | 原因 |
|---|---|---|
| 想學本機 AI、離線聊天、測試開放權重模型 | 適合從 Ollama 開始 | 安裝簡單，模型可用一行指令下載和執行。 |
| 有公司文件、客戶資料、個人筆記，不想先丟雲端 | 適合先做本機測試 | 官方 FAQ 說明，本機執行時 Ollama 不會看到你的提示詞（prompts）或資料；若使用雲端託管模型（cloud-hosted models），資料處理規則則依其雲端功能而定。 |
| 只是要最高品質寫作、複雜推理、長文件或多人協作 | 先保留 ChatGPT / Claude / Gemini | 本機模型的品質、上下文、速度和維護成本會受硬體限制。 |
| 想把模型接進內部工具、RAG 或本機 API | 適合，但先做權限邊界 | Ollama 預設在 127.0.0.1:11434，開到網路前要先懂 OLLAMA_HOST、防火牆和存取控制。 |
Ollama 是模型管理與執行工具；你實際跑的是 Llama、Gemma、Qwen、Mistral 或其他模型。每個模型的參數量、授權、上下文長度、中文能力和商用限制都要回到模型頁與原始授權確認。能在 Ollama library 下載，只代表它可被 Ollama 拉取與執行，不代表完全開源、可商用或適合公司資料。
Mac / Windows 安裝流程：先跑通，再調效能
官方 README 提供手動下載與安裝指令；官方 Windows 與 macOS 文件則補充系統需求與檔案位置。第一次安裝請先用官方路徑，不要先把 Docker、WSL2、代理伺服器和自訂模型路徑全部混在一起。
Mac 安裝重點
Ollama macOS 文件列出系統需求：macOS Sonoma（v14）或更新版本；Apple M 系列支援 CPU 與 GPU，x86 Mac 以 CPU 為主。
- 到 Ollama 下載頁取得 macOS 版本，或依官方 README 使用安裝指令。
- 開啟 Ollama App，讓它建立
ollama命令列捷徑。 - 打開 Terminal，執行：
ollama run llama3.2第一次執行會下載模型。若你只是測試安裝，不必選最大模型；先用 1B、3B、4B 這類小模型確認下載、啟動、回答和停止流程。
Mac 的模型與設定主要在 ~/.ollama，log 在 ~/.ollama/logs。如果模型下載後磁碟突然少很多，先看這個資料夾。
Windows 安裝重點
Ollama Windows 文件寫明，Windows 版是原生應用程式，安裝後會在背景執行，cmd、PowerShell 或其他終端機都能使用 ollama 指令，API 會在 http://localhost:11434。
官方列出的 Windows 基本需求包含：
- Windows 10 22H2 或更新版本。
- NVIDIA 顯卡需要符合官方驅動版本要求。
- AMD Radeon 加速要看 ROCm / HIP 或 Vulkan 支援狀態。
- 安裝本體至少需要數 GB 空間；模型會再佔用數十到數百 GB。
安裝後用 PowerShell 驗證：
ollama run llama3.2
ollama ps如果你要把模型放到 D 槽，官方文件建議設定 OLLAMA_MODELS 環境變數，然後退出 tray 裡的 Ollama 再重新啟動。不要只搬資料夾，否則更新或服務重啟後容易找不到模型。
模型怎麼選？先看任務、參數量、授權和硬體
選模型時先問四個問題：要做什麼任務、模型多大、授權能不能用、你的硬體能不能把模型和上下文放進記憶體。
| 你要做的事 | 先試的模型方向 | 硬體與授權提醒 |
|---|---|---|
| 安裝驗證、日常聊天、摘要、繁中改寫 | 1B–4B 小模型或預設 small tag | 低階筆電也比較容易跑；品質適合測流程，不適合重大決策。 |
| 一般寫作、筆記整理、簡單程式碼 | 7B–9B 級距的通用模型 | 需要更多 RAM / VRAM；Windows 純 CPU 會明顯變慢。 |
| 中文、程式、數學或推理任務 | Qwen、DeepSeek、Gemma、Llama 等對應任務模型 | 中文與程式能力要實測；商用前看模型授權，不看社群口碑下結論。 |
| 本機知識庫、RAG、文件檢索 | 對話模型 + embedding 模型 | Embedding、向量資料庫與文件權限要另外設計；Ollama 只負責模型執行的一部分。 |
Ollama library會列出模型與 tags；例如模型頁常會顯示不同參數量、檔案大小、輸入型態與上下文資訊。對新手最實用的規則是：先用小模型跑通，再逐步變大。如果你一開始就下載 30B、70B 或更大的模型，常見結果是磁碟被塞滿、速度很慢，最後還不知道問題出在硬體還是設定。
也要分清楚三種成本：
- 本機硬體成本：顯示卡、RAM、SSD、電費和散熱。Ollama 本機執行不按 token 收費，硬體和維護仍會形成成本。
- 雲端 API 成本：ChatGPT、Claude、Gemini 或其他 API 依方案、用量或 token 計費，能力與維護負擔通常比較穩。
- 租 GPU 自架成本：適合大量推論或特定模型需求；要自己處理部署、監控、更新、安全和閒置成本。
如果你的任務是少量敏感文件摘要，本機很有吸引力；如果是大量使用者同時對話、長上下文工具代理或高品質商業輸出，雲端模型或租算力可能更務實。還在比較模型授權、隱私、速度和 API 成本時，可接著看 開源 LLM 與本地端 LLM 比較。
GPU 有沒有吃到？用 ollama ps 當第一個答案
Ollama FAQ的 GPU 檢查方法很明確：用 ollama ps 看目前載入記憶體的模型。輸出裡的 PROCESSOR 欄位會告訴你模型跑在哪裡：
100% GPU：模型完整放進 GPU。100% CPU：模型放在系統記憶體，用 CPU 推論。48%/52% CPU/GPU這類混合比例：模型部分進 GPU、部分在系統記憶體。
ollama ps如果是 Windows + NVIDIA，再開另一個 PowerShell 或命令提示字元看：
nvidia-smi看到 VRAM 使用量上升，通常代表模型有進顯卡。仍然要以 ollama ps 的 Processor 欄位為主，因為工作管理員有時不容易看出 AI 推論的實際載入狀態。
官方 GPU 支援文件列出 NVIDIA、AMD Radeon、Apple Metal 與 Vulkan 路線。幾個實用重點：
- NVIDIA 要看 compute capability 與驅動版本；舊卡可能需要更新驅動或已不適合跑較大模型。
- Apple 裝置透過 Metal API 做 GPU 加速，Apple Silicon 的統一記憶體讓小到中型模型更容易上手。
- AMD 在 Windows / Linux 的 ROCm、HIP、Vulkan 狀態差異較大；遇到不穩定時，先回到官方 GPU 文件和伺服器紀錄（server log）判斷。
- macOS 上的 Docker 沒有 GPU passthrough；如果你在 Mac 上用 Docker 跑 Ollama，效能期待要保守。
上下文長度、磁碟和連線位置：三個最常被忽略的設定
上下文長度會吃記憶體
上下文長度（context length）是模型一次能參考多少詞元（tokens）。官方 context length 文件說明，較大的上下文會增加記憶體需求；搜尋、代理和程式工具（coding tools）需要較長上下文時，要先確認 VRAM 足夠，再用 ollama ps 檢查模型是否轉回 CPU。
新手不要先把上下文拉滿。遇到速度變慢、模型掉到 CPU、電腦開始換頁，先把模型變小或上下文降回保守值。
模型檔案會快速吃掉 SSD
官方 FAQ 列出模型預設位置：
- macOS：
~/.ollama/models - Linux：
/usr/share/ollama/.ollama/models - Windows：
C:\Users\%username%\.ollama\models
常用指令：
ollama list
ollama rm <模型名>如果你常測模型，養成定期刪掉不用模型的習慣。很多「Ollama 變怪」其實是 C 槽或家目錄空間不足。
本機 API 預設在 localhost
Ollama API 預設是本機的 127.0.0.1:11434。這對個人測試很安全；如果你用 OLLAMA_HOST 把它開到區網或公開網路，就要自己處理防火牆、反向代理、驗證和誰可以呼叫模型。
若你只是想讓 Open WebUI 連本機 Ollama，先保持在本機或可信區網，不要直接把 11434 port 暴露到網際網路。
加 Open WebUI：需要介面時再接
命令列適合驗證，但長期聊天、整理文件、比較模型、讓非工程同事使用時，圖形介面（GUI）會更順。Open WebUI 是常見搭配，官方快速開始（quick start）提供 Docker 指令，並說明 -p 3000:8080 會把介面開在本機 3000 port，資料卷（volume）用來保留資料。
docker run -d -p 3000:8080 \
-v open-webui:/app/backend/data \
--name open-webui \
ghcr.io/open-webui/open-webui:main接好後開 http://localhost:3000。如果 Open WebUI 連不到 Ollama，先檢查三件事：
- Ollama 是否正在執行：
ollama ps或ollama list能不能回應。 - Ollama API 是否在
http://localhost:11434。 - Docker 容器裡的 Open WebUI 是否需要用
host.docker.internal連回主機。
Open WebUI 適合當介面層，不要把它當成資料治理的完整解法。帳號、文件上傳、多人使用、模型權限、備份和刪除流程都要另外設定。
本機 RAG 可以做，但先把資料邊界畫清楚
Ollama 常被拿來做本機檢索增強生成（RAG）：先把文件切段、轉成嵌入向量（embedding），放進向量資料庫，再讓模型根據檢索結果回答。這條路適合個人筆記、公司 SOP、合約範本、客服知識庫或技術文件查詢。
最短路徑可以這樣分工：
- Ollama：跑對話模型與 embedding 模型。
- Open WebUI、AnythingLLM 或自寫程式：負責上傳文件、切段、檢索和對話流程。
- 向量資料庫或內建儲存：存放文件片段與向量。
- 權限與備份：決定誰能看哪些文件、資料要留多久、怎麼刪除。
如果你正在做文件問答，可接著看 AnythingLLM 教學；如果你只想先有多人可用的網頁介面，看 Open WebUI 教學 會更聚焦。
常見錯誤排查清單
1. 指令找不到 ollama
Mac 先確認 Ollama App 是否已經建立 /usr/local/bin/ollama 捷徑；Windows 重新開一個新的 PowerShell，因為安裝程式更新 PATH 後，舊終端機可能還讀不到。
2. 模型下載很慢或失敗
先確認網路、代理伺服器和磁碟空間。官方 FAQ 提到模型下載使用 HTTPS proxy；如果公司網路需要代理，要設定 HTTPS_PROXY，並安裝正確的憑證。避免亂設 HTTP_PROXY 影響本機 client 連 server。
3. 跑起來很慢
先看 ollama ps。如果是 100% CPU，先換小模型、減少上下文長度，或處理 GPU 驅動。若是 Windows + NVIDIA，接著用 Windows GPU 排查文 檢查驅動、nvidia-smi、Docker / WSL2 與退回 CPU（CPU fallback）。
4. C 槽或家目錄快滿
用 ollama list 找出不用的模型，再用 ollama rm <模型名> 刪除。Windows 可設定 OLLAMA_MODELS 到其他磁碟；Mac / Linux 也可以把模型資料夾移到容量較大的磁碟，但要確保權限和啟動流程正確。
5. Open WebUI 連不到 Ollama
先在主機跑 curl http://localhost:11434/api/tags 確認 Ollama API 存活，再看 Open WebUI 容器是否能連回主機。Docker 容器有自己的網路視角；容器裡的 localhost 指的是容器自己。
6. 回答品質差或中文不穩
先換模型，再調提示。小模型很適合驗證流程，但複雜推理、長文改稿、繁中語氣和程式碼任務不一定穩。若任務重要，保留雲端模型交叉檢查，並把本機模型用在敏感資料初稿、重複任務或離線流程。
什麼時候該留在本機，什麼時候該回雲端？
把 Ollama 放進工作流時，可以用這個判斷：
| 決策問題 | 偏向本機 Ollama | 偏向雲端模型 / API |
|---|---|---|
| 資料敏感度 | 個人筆記、內部文件、不能上傳雲端的草稿 | 已允許進雲端服務、需要多人協作與稽核 |
| 任務複雜度 | 摘要、分類、格式轉換、簡單問答、離線草稿 | 複雜推理、長上下文、工具代理、嚴格事實查核 |
| 成本型態 | 已有可用硬體、使用量中低、可接受維護 | 高峰流量、多人使用、需要 SLA、硬體閒置成本高 |
| 模型授權 | 已確認模型授權與商用限制 | 由供應商處理模型與服務條款，但要看資料政策 |
最穩的做法，是把 Ollama 當成本機 AI 基礎設施的一層：敏感資料、離線草稿、模型實驗先在本機跑；高風險決策、正式發布、長上下文和多人流程再交給更穩的雲端模型或企業方案。
FAQ
Ollama Windows 怎麼確認有用到 GPU？
先執行模型，再跑 ollama ps。PROCESSOR 顯示 100% GPU 代表完整進 GPU；顯示 100% CPU 代表用 CPU；混合比例代表部分在 CPU、部分在 GPU。NVIDIA 使用者可再用 nvidia-smi 看 VRAM 是否上升。若仍不確定，接著看 Ollama Windows GPU 設定教學。
沒有獨立顯卡可以跑 Ollama 嗎？
可以跑小模型，但速度和模型大小會受限。Apple M 系列因為統一記憶體和 Metal 加速，通常比純 CPU Windows 筆電更適合入門。本機測試先用 1B–4B 級距，確認流程後再往更大模型嘗試。
Ollama 會把我的提示詞傳回官方嗎？
官方 FAQ 說明，本機執行時 Ollama 不會看到你的提示詞或資料；使用雲端託管模型時，提示和回覆會被處理以提供服務，但官方說不會儲存、記錄或拿來訓練。若你要完全關閉雲端功能，可依官方文件設定 disable_ollama_cloud 或 OLLAMA_NO_CLOUD=1，並重新啟動 Ollama。
Ollama 和 LM Studio 怎麼選？
想用命令列、本機 API、接 Open WebUI、寫程式或做自動化，先選 Ollama。想用桌面介面下載模型、聊天、看模型資訊和開本機 server，LM Studio 會比較直覺。兩者可以並存，但不要同時讓多個工具搶同一張顯卡跑大模型。
Ollama 適合公司內部文件問答嗎？
適合做 PoC 或小型內部知識庫，但要把模型、文件切段、embedding、向量資料庫、帳號權限、備份和刪除流程一起設計。只裝 Ollama 還不等於完成公司級 RAG；可以先用 AnythingLLM 或 Open WebUI 做受控測試。