回到頂部
Ollama 本地 AI:在自己的電腦執行開放權重模型,並串接本機 API 與圖形介面

Ollama 是什麼?本地 AI 入門與完整教學入口

Ollama 是在 Mac、Windows、Linux 跑本機 AI 模型的工具。先看它適合誰、能做什麼,再接完整安裝、GPU、Open WebUI 與 RAG 教學。

內容查核: 來源查核:

Ollama 官方 quickstart說明,Ollama 可在 macOS、Windows 與 Linux 使用;Ollama library則列出可下載的模型、tags、檔案大小與上下文資訊。你可以用命令列介面(CLI)跑模型,也可以把它接到本機 API、Open WebUI、AnythingLLM 或其他工具,做離線聊天、文件摘要、模型測試與本機知識庫。

如果你要直接安裝,請看完整新版:Ollama 教學 2026:Mac / Windows 安裝、本機模型與 GPU 排查。這一頁保留成入門判斷入口,幫你先確認自己是不是需要 Ollama。

什麼情況適合先試 Ollama?

你的需求是否適合下一步
想在 Mac 或 Windows 跑第一個本機模型適合先看 完整安裝教學 跑小模型。
想確認 Windows GPU 有沒有吃到適合,但要排查跑 ollama ps,再看 Windows GPU 設定教學。
想要像 ChatGPT 一樣的網頁介面Ollama 只是底層接 Open WebUI 網頁介面或 LM Studio 桌面工具。
想做公司文件問答或私有 RAG可以做 PoC先確認資料權限,再看 AnythingLLM 教學。
想用最強模型處理長文件與複雜推理可能要雲端模型本機模型受硬體、上下文與模型授權限制,正式輸出仍要交叉檢查。

先知道 Ollama 解決哪一層問題

Ollama 負責的是「把模型拉下來、在本機啟動、提供命令列和 API」。它不會自動替你完成資料治理、商用授權判斷、文件權限、備份、多人帳號或模型品質驗證。

安裝前先分清楚:

  • Ollama 是執行工具:官方文件與 README 說明它可在 macOS、Windows、Linux 使用,並提供本機 API。
  • 模型參數量與授權要另外看:Llama、Qwen、Gemma、Mistral 等模型各有參數量、tags、授權與使用限制。
  • 硬體會決定體驗:CPU 可以跑小模型;GPU、顯示記憶體(VRAM)、RAM、SSD 和上下文長度會影響速度與可用模型大小。先用小參數量模型驗證流程,再往更大模型嘗試。
  • 本機不等於零風險:資料不出機器只是第一步;如果你把 API 開到網路、上傳公司文件到 Web UI,仍要設權限和備份流程。

最短路線

  1. 用官方方式安裝 Ollama。
  2. 先跑小模型確認 ollama run 成功。
  3. 用 ollama ps 看模型在 CPU 還是 GPU。
  4. 再決定要不要接 Open WebUI 網頁介面、LM Studio 桌面管理工具或 AnythingLLM 文件知識庫。
  5. 商用或公司資料場景,先確認模型授權、資料權限和誰能使用。

完整步驟、常見錯誤和官方來源都放在 Ollama 完整教學。如果你還在比較本機模型與雲端 API 的成本、隱私和品質差異,可以接著看 開源 LLM 與本地端 LLM 比較。

№ · further reading

延伸閱讀