Ollama 可以在 Mac、Windows 或 Linux 下載並執行本機模型。第一次使用，先用小模型完成「下載、回答、查看處理器、呼叫 API、停止與移除」整條流程，再決定要不要加大模型或接網頁介面。
先裝 Ollama、跑一個小模型、再用 ollama ps 看處理器（Processor）欄位。如果顯示 100% GPU，代表模型完整進顯示記憶體（VRAM）；如果顯示 100% CPU 或 CPU/GPU 混合，先降模型大小、縮短上下文長度，或依你的顯卡更新驅動。Windows GPU 細節可接著看 Ollama Windows GPU 設定教學；想要 ChatGPT 風格介面，再接 Open WebUI 教學。
先把 Mac／Windows 安裝、模型選擇、GPU 驗證和常見錯誤跑穩。進階的 RAG、多人介面、內部知識庫，等基本速度和資料邊界確認後再做。
先確認卡在哪一步
先找到自己的階段，再決定處理安裝、Windows GPU 排查，或 Open WebUI／RAG 工具。
| 你現在的問題 | 先做什麼 | 下一步 |
|---|---|---|
| Ollama 是什麼、能不能在本機跑 AI | 先看本文的適合/不適合與資料邊界 | 若只是想認識概念，看 Ollama 入門入口 |
| Ollama Mac / Windows 安裝 | 用官方安裝方式跑 ollama run llama3.2:1b，再用 ollama ps 驗證 | 留在本文的安裝與常見錯誤段落 |
| Ollama Windows GPU 設定、速度很慢 | 先看 ollama ps 的 Processor 欄位，不要只看工作管理員 | Ollama Windows GPU 設定教學 |
| 想要像 ChatGPT 一樣的網頁介面 | 命令列跑通後再接介面層 | Open WebUI 本機 AI 教學 |
| 想做公司文件問答或本機 RAG | 先畫清楚文件權限、embedding、向量資料庫與刪除流程 | AnythingLLM 本機 RAG 教學 |
| 想比較本機、雲端 API、租 GPU 成本 | 把硬體、維護、授權、token 與閒置成本分開算 | 開源 LLM 與本地端 LLM 比較 |
最短路線是：安裝 → 小模型 → ollama ps → 模型/硬體選擇 → Open WebUI 或 RAG。不要一開始就同時處理大模型、Docker、WSL2、多人帳號和公司文件。
先判斷你適不適合用 Ollama
Ollama 把模型下載、啟動、命令列介面（CLI）和本機 API 包在一起。官方 Quickstart目前也提供直接執行 ollama 開啟互動選單的方式。選單能啟動模型與整合工具；本文先用明確的模型標籤完成基本驗證。
想學本機 AI、離線聊天或測開放權重模型，可以從 Ollama 開始。只想要高品質寫作、複雜推理或多人協作，則先保留現有的雲端工具；本機模型的品質、上下文與速度仍受硬體限制。
有客戶資料或內部文件時，先用去識別化內容驗證本機路徑。官方 FAQ 說明，本機執行時 Ollama 不會看到提示詞或資料；若改選雲端託管模型，資料處理就要依雲端功能判斷。接內部工具或 RAG 前，也先保留預設的本機 API 位址，確認防火牆與存取控制才開放其他電腦。
Ollama 是模型管理與執行工具；你實際跑的是 Llama、Gemma、Qwen、Mistral 或其他模型。每個模型的參數量、授權、上下文長度、中文能力和商用限制都要回到模型頁與原始授權確認。能在 Ollama library 下載，只代表它可被 Ollama 拉取與執行，不代表完全開源、可商用或適合公司資料。
Mac / Windows 安裝流程：先跑通，再調效能
官方 README 提供手動下載與安裝指令；官方 Windows 與 macOS 文件則補充系統需求與檔案位置。第一次安裝請先用官方路徑，不要先把 Docker、WSL2、代理伺服器和自訂模型路徑全部混在一起。
Mac 安裝重點
Ollama macOS 文件列出系統需求：macOS Sonoma（v14）或更新版本；Apple M 系列支援 CPU 與 GPU，x86 Mac 以 CPU 為主。
- 到 Ollama 下載頁取得 macOS 版本，或依官方 README 使用安裝指令。
- 開啟 Ollama App，讓它建立
ollama命令列捷徑。 - 打開 Terminal，執行：
ollama run llama3.2:1b第一次執行會下載模型。若你只是測試安裝，不必選最大模型；先用 1B、3B、4B 這類小模型確認下載、啟動、回答和停止流程。
Mac 的模型與設定主要在 ~/.ollama，log 在 ~/.ollama/logs。如果模型下載後磁碟突然少很多，先看這個資料夾。
Windows 安裝重點
Ollama Windows 文件寫明，Windows 版是原生應用程式，安裝後會在背景執行，cmd、PowerShell 或其他終端機都能使用 ollama 指令，API 會在 http://localhost:11434。
官方列出的 Windows 基本需求包含：
- Windows 10 22H2 或更新版本。
- NVIDIA 顯卡需要符合官方驅動版本要求。
- AMD Radeon 加速要看 ROCm / HIP 或 Vulkan 支援狀態。
- 安裝本體至少需要數 GB 空間；模型會再佔用數十到數百 GB。
安裝後用 PowerShell 驗證：
ollama run llama3.2:1b回答完成後先在聊天輸入 /bye，回到 PowerShell 再執行 ollama ps；不要把作業系統指令貼進模型對話。
如果你要把模型放到 D 槽，官方文件建議設定 OLLAMA_MODELS 環境變數，然後退出 tray 裡的 Ollama 再重新啟動。不要只搬資料夾，否則更新或服務重啟後容易找不到模型。
模型怎麼選？先看任務、參數量、授權和硬體
一條完整驗收路徑：從小模型到 API
這組操作於 2026-09-14 對照 CLI 文件與 API 文件整理。本次編輯環境沒有安裝 Ollama，未執行模型下載、推論或 GPU 測速；以下列的是讀者操作時的成功條件，沒有實測秒數。
先看 Llama 3.2 模型頁：llama3.2:1b 下載大小約 1.3 GB，預設 llama3.2 則指向約 2.0 GB 的 3B 版本。這裡刻意用 1B 做通路測試，不把它當成最新或最強的中文模型。磁碟大小不等於所需 RAM／VRAM；還得留給上下文、運算緩衝與系統使用。
第一步，下載並確認清單。 在終端機逐行執行：
ollama --version
ollama pull llama3.2:1b
ollama list記下版本。下載完成後，ollama list 應出現同名模型；有下載進度卻沒有模型列，不算完成。若模型標籤找不到，先比對官方頁的完整拼字；若連不到服務，先啟動 Ollama 應用程式，不必重裝模型。
第二步，提出有明確答案的問題。
ollama run llama3.2:1b看到聊天輸入提示後，貼上練習題：「請用繁體中文回答：會議改到週五上午十點，地點是台北辦公室。請只列時間與地點，不補其他資訊。」合格回答應保留「週五上午十點」和「台北辦公室」。能回字但漏掉事實，代表服務跑通、內容尚未通過驗收；不要混為模型品質保證。
輸入 /bye 離開聊天、回到原本終端機後，立即執行 ollama ps。看 PROCESSOR 判斷 CPU／GPU 分配，再用作業系統的記憶體監看工具觀察負載。ps 只列仍載入的模型；過了一段時間沒有列出，不代表模型檔案被刪除，可以重新提問後再看。
第三步，從 PowerShell 呼叫 API。 這段使用 UTF-8 位元組送出中文，避免舊版 PowerShell 的編碼差異；不需要 API 金鑰。
$requestBody = @{
model = 'llama3.2:1b'
prompt = '只回答會議地點：會議在台北辦公室。'
stream = $false
} | ConvertTo-Json
$result = Invoke-RestMethod -Method Post `
-Uri 'http://127.0.0.1:11434/api/generate' `
-ContentType 'application/json; charset=utf-8' `
-Body ([System.Text.Encoding]::UTF8.GetBytes($requestBody))
$result | Select-Object model, response, done應收到包含 model、response、done 的物件，且 done 為 True；response 還要人工核對是否回答台北辦公室。stream = false 是為了等完整 JSON 回應，別把逐行串流輸出當成單一 JSON 解析。連線被拒先查背景服務；模型不存在先核對 ollama list；記憶體不足則降模型與上下文，不要反覆重送同一個大型請求。
第四步，區分釋放記憶體與刪除下載。 不再需要練習模型時才執行：
ollama stop llama3.2:1b
ollama ps
ollama rm llama3.2:1b
ollama liststop 讓模型卸載，rm 才移除本機模型。停止後 ps 不應再列它；移除後 list 不應再列該標籤。其他模型可能共用資料層，磁碟釋放量不一定等於清單大小。之後再 run 同名模型，會需要重新下載。
要確認離線使用，先下載好本機模型，暫時中斷網路後重問練習題；不要選帶有 :cloud 的雲端模型，也不要啟用需要外連的工具。只看到 Ollama 在自己電腦上執行，還不能證明每次請求都留在本機。
選模型時先問四個問題：要做什麼任務、模型多大、授權能不能用、你的硬體能不能把模型和上下文放進記憶體。
只驗證安裝、摘要或日常聊天，先試小模型。例如前面的 1B 練習能降低下載負擔，但內容品質仍要逐項看；跑得動，不代表適合重要決策。
一般寫作、筆記或程式，才逐步加大模型。先記錄目前的 RAM／VRAM 與可用磁碟，再選不同參數量和量化版本比較；不要光憑電腦的總記憶體就認定能跑某一個模型。模型載入後，上下文還會繼續增加記憶體需求。
中文、推理與文件問答要按任務選。Qwen、DeepSeek、Gemma、Llama 等系列各有不同版本，中文語氣、程式與數學表現要用自己的題目比較；商用前看該版本授權。RAG 另外需要嵌入模型、文件檢索與權限，不能只換對話模型就算完成。
Ollama library會列出模型與 tags；例如模型頁常會顯示不同參數量、檔案大小、輸入型態與上下文資訊。對新手最實用的規則是：先用小模型跑通，再逐步變大。如果你一開始就下載 30B、70B 或更大的模型，常見結果是磁碟被塞滿、速度很慢，最後還不知道問題出在硬體還是設定。
也要分清楚三種成本：
- 本機硬體成本：顯示卡、RAM、SSD、電費和散熱。Ollama 本機執行不按 token 收費，硬體和維護仍會形成成本。
- 雲端 API 成本：ChatGPT、Claude、Gemini 或其他 API 依方案、用量或 token 計費，能力與維護負擔通常比較穩。
- 租 GPU 自架成本：適合大量推論或特定模型需求；要自己處理部署、監控、更新、安全和閒置成本。
如果你的任務是少量敏感文件摘要，本機很有吸引力；如果是大量使用者同時對話、長上下文工具代理或高品質商業輸出，雲端模型或租算力可能更務實。還在比較模型授權、隱私、速度和 API 成本時，可接著看 開源 LLM 與本地端 LLM 比較。
GPU 有沒有吃到？用 ollama ps 當第一個答案
Ollama FAQ的 GPU 檢查方法很明確：用 ollama ps 看目前載入記憶體的模型。輸出裡的 PROCESSOR 欄位會告訴你模型跑在哪裡：
100% GPU：模型完整放進 GPU。100% CPU：模型放在系統記憶體，用 CPU 推論。48%/52% CPU/GPU這類混合比例：模型部分進 GPU、部分在系統記憶體。
ollama ps如果是 Windows + NVIDIA，再開另一個 PowerShell 或命令提示字元看：
nvidia-smi看到 VRAM 使用量上升，通常代表模型有進顯卡。仍然要以 ollama ps 的 Processor 欄位為主，因為工作管理員有時不容易看出 AI 推論的實際載入狀態。
官方 GPU 支援文件列出 NVIDIA、AMD Radeon、Apple Metal 與 Vulkan 路線。幾個實用重點：
- NVIDIA 要看 compute capability 與驅動版本；舊卡可能需要更新驅動或已不適合跑較大模型。
- Apple 裝置透過 Metal API 做 GPU 加速，Apple Silicon 的統一記憶體讓小到中型模型更容易上手。
- AMD 在 Windows / Linux 的 ROCm、HIP、Vulkan 狀態差異較大；遇到不穩定時，先回到官方 GPU 文件和伺服器紀錄（server log）判斷。
- macOS 上的 Docker 沒有 GPU passthrough；如果你在 Mac 上用 Docker 跑 Ollama，效能期待要保守。
上下文長度、磁碟和連線位置：三個最常被忽略的設定
上下文長度會吃記憶體
上下文長度（context length）是模型一次能參考多少詞元（tokens）。官方 context length 文件說明，較大的上下文會增加記憶體需求；搜尋、代理和程式工具（coding tools）需要較長上下文時，要先確認 VRAM 足夠，再用 ollama ps 檢查模型是否轉回 CPU。
新手不要先把上下文拉滿。遇到速度變慢、模型掉到 CPU、電腦開始換頁，先把模型變小或上下文降回保守值。
模型檔案會快速吃掉 SSD
官方 FAQ 列出模型預設位置：
- macOS：
~/.ollama/models - Linux：
/usr/share/ollama/.ollama/models - Windows：
C:\Users\%username%\.ollama\models
常用指令：
ollama list
ollama rm <模型名>如果你常測模型，養成定期刪掉不用模型的習慣。很多「Ollama 變怪」其實是 C 槽或家目錄空間不足。
本機 API 預設在 localhost
Ollama API 預設是本機的 127.0.0.1:11434。這對個人測試很安全；如果你用 OLLAMA_HOST 把它開到區網或公開網路，就要自己處理防火牆、反向代理、驗證和誰可以呼叫模型。
若你只是想讓 Open WebUI 連本機 Ollama，先保持在本機或可信區網，不要直接把 11434 port 暴露到網際網路。
加 Open WebUI：需要介面時再接
命令列適合驗證，長期聊天可再接 Open WebUI。官方快速開始使用 Docker，資料卷保存聊天與帳號。下面是 Bash 的個人測試範例：把連接埠限於本機，補上容器連回主機的名稱，並建立固定的工作階段密鑰。先確認 Bash、OpenSSL 與 Docker 都可用；Windows 讀者可在 WSL 終端機執行。
export WEBUI_SECRET_KEY="$(openssl rand -hex 32)"
docker run -d -p 127.0.0.1:3000:8080 \
--add-host=host.docker.internal:host-gateway \
-e WEBUI_SECRET_KEY="$WEBUI_SECRET_KEY" \
-v open-webui:/app/backend/data \
--name open-webui \
ghcr.io/open-webui/open-webui:main密鑰要自行妥善保存，重建容器時沿用；不要公開貼出。這裡未實際啟動 Docker 容器。接好後開 http://localhost:3000，完成初次帳號設定，並在連線設定確認 Ollama 位址為 http://host.docker.internal:11434。如果仍連不到，先檢查三件事：
- Ollama 是否正在執行：
ollama ps或ollama list能不能回應。 - Ollama API 是否在
http://localhost:11434。 - Docker 容器裡的 Open WebUI 是否需要用
host.docker.internal連回主機。
Open WebUI 適合當介面層，不要把它當成資料治理的完整解法。帳號、文件上傳、多人使用、模型權限、備份和刪除流程都要另外設定。
本機 RAG 可以做，但先把資料邊界畫清楚
Ollama 常被拿來做本機檢索增強生成（RAG）：先把文件切段、轉成嵌入向量（embedding），放進向量資料庫，再讓模型根據檢索結果回答。這條路適合個人筆記、公司 SOP、合約範本、客服知識庫或技術文件查詢。
最短路徑可以這樣分工：
- Ollama：跑對話模型與 embedding 模型。
- Open WebUI、AnythingLLM 或自寫程式：負責上傳文件、切段、檢索和對話流程。
- 向量資料庫或內建儲存：存放文件片段與向量。
- 權限與備份：決定誰能看哪些文件、資料要留多久、怎麼刪除。
如果你正在做文件問答，可接著看 AnythingLLM 教學；如果你只想先有多人可用的網頁介面，看 Open WebUI 教學 會更聚焦。
常見錯誤排查清單
1. 指令找不到 ollama
Mac 先確認 Ollama App 是否已經建立 /usr/local/bin/ollama 捷徑；Windows 重新開一個新的 PowerShell，因為安裝程式更新 PATH 後，舊終端機可能還讀不到。
2. 模型下載很慢或失敗
先確認網路、代理伺服器和磁碟空間。官方 FAQ 提到模型下載使用 HTTPS proxy；如果公司網路需要代理，要設定 HTTPS_PROXY，並安裝正確的憑證。避免亂設 HTTP_PROXY 影響本機 client 連 server。
3. 跑起來很慢
先看 ollama ps。如果是 100% CPU，先換小模型、減少上下文長度，或處理 GPU 驅動。若是 Windows + NVIDIA，接著用 Windows GPU 排查文 檢查驅動、nvidia-smi、Docker / WSL2 與退回 CPU（CPU fallback）。
4. C 槽或家目錄快滿
用 ollama list 找出不用的模型，再用 ollama rm <模型名> 刪除。Windows 可設定 OLLAMA_MODELS 到其他磁碟；Mac / Linux 也可以把模型資料夾移到容量較大的磁碟，但要確保權限和啟動流程正確。
5. Open WebUI 連不到 Ollama
先在主機跑 curl http://localhost:11434/api/tags 確認 Ollama API 存活，再看 Open WebUI 容器是否能連回主機。Docker 容器有自己的網路視角；容器裡的 localhost 指的是容器自己。
6. 回答品質差或中文不穩
先換模型，再調提示。小模型很適合驗證流程，但複雜推理、長文改稿、繁中語氣和程式碼任務不一定穩。若任務重要，保留雲端模型交叉檢查，並把本機模型用在敏感資料初稿、重複任務或離線流程。
什麼時候該留在本機，什麼時候該回雲端？
把 Ollama 放進工作流時，可以用這個判斷：
如果資料必須留在電腦、可接受自行維護且工作量不大，本機 Ollama 值得先試。若使用者多、需要長上下文或特定高品質模型，則把雲端服務與租用算力一起比較。
成本不能只比月費：本機還有硬體、電費、磁碟、維護與備份；雲端則要算實際用量和資料授權。兩種方式可以按資料與任務分工，重要輸出仍由人核對，不能因為是在本機生成就省略內容驗收。
常見問題
Ollama Windows 怎麼確認有用到 GPU？
先執行模型，再跑 ollama ps。PROCESSOR 顯示 100% GPU 代表完整進 GPU；顯示 100% CPU 代表用 CPU；混合比例代表部分在 CPU、部分在 GPU。NVIDIA 使用者可再用 nvidia-smi 看 VRAM 是否上升。若仍不確定，接著看 Ollama Windows GPU 設定教學。
沒有獨立顯卡可以跑 Ollama 嗎？
可以跑小模型，但速度和模型大小會受限。Apple M 系列因為統一記憶體和 Metal 加速，通常比純 CPU Windows 筆電更適合入門。本機測試先用 1B–4B 級距，確認流程後再往更大模型嘗試。
Ollama 會把我的提示詞傳回官方嗎？
官方 FAQ 說明，本機執行時 Ollama 不會看到你的提示詞或資料；使用雲端託管模型時，提示和回覆會被處理以提供服務，但官方說不會儲存、記錄或拿來訓練。若你要完全關閉雲端功能，可依官方文件設定 disable_ollama_cloud 或 OLLAMA_NO_CLOUD=1，並重新啟動 Ollama。
Ollama 和 LM Studio 怎麼選？
想用命令列、本機 API、接 Open WebUI、寫程式或做自動化，先選 Ollama。想用桌面介面下載模型、聊天、看模型資訊和開本機 server，LM Studio 會比較直覺。兩者可以並存，但不要同時讓多個工具搶同一張顯卡跑大模型。
Ollama 適合公司內部文件問答嗎？
適合做 PoC 或小型內部知識庫，但要把模型、文件切段、embedding、向量資料庫、帳號權限、備份和刪除流程一起設計。只裝 Ollama 還不等於完成公司級 RAG；可以先用 AnythingLLM 或 Open WebUI 做受控測試。