💻 這篇寫給「聽說 AI 可以裝在自己電腦裡跑,但不確定那是什麼、自己需不需要」的人 不教你怎麼裝、不推薦機型,只幫你判斷「要不要」。很多人問完這篇會發現:其實不用。
先講結論:地端 AI 是什麼、誰真的需要
地端 AI,就是把 AI 模型下載到你自己的電腦、或公司自己的機器上運算;你打的字、丟進去的檔案,不會離開這台機器。 這是它跟雲端 AI 最根本的差別——用 ChatGPT、Gemini 這類雲端服務時,你的內容會送到對方的伺服器處理,再把答案傳回來。
那誰真的需要?答案先放前面:真正需要的,是「法規或合約明文要求資料不得離境、不得離開機構」、「處理高度敏感資料」、「需要離線也能運作」的人。 如果你的理由只是「放在自己電腦感覺比較安心」,那多半不需要——而且會為這份安心付出比想像中高的代價。
這篇只帶你弄清楚三件事:地端是什麼、它換來什麼、它要你付什麼。
地端和雲端,差在「資料有沒有離開這台機器」
雲端像租:不用管機器,付月費就有一台隨時待命、而且很強的 AI,但問題與檔案得先送出去。地端像自己養:模型檔案就在你硬碟裡,運算靠自己的處理器與顯示卡,斷網照樣能問。
還有個常被忽略的前提:地端能跑的,通常是「權重有公開、可以下載」的模型,雲端最頂的旗艦多半只租不賣。技術面怎麼比,開源與本地端 LLM 比較有更完整的拆解。
它真正解決的,是這三個問題
一、資料不外傳。 客戶名單、病歷、合約草稿、還沒公開的財務數字,只要送進別人的伺服器,你就多了一層必須信任對方的關係,地端把這層拿掉。台灣《個人資料保護法》把病歷、醫療、基因、健康檢查、犯罪前科列為特種個資,原則上不得任意蒐集、處理或利用;同法第 21 條也規定,非公務機關把個人資料傳到境外時,主管機關在特定情形下得加以限制。手上有這類資料,「資料在哪裡處理」就不只是感覺問題。
二、不受服務中斷與條款變動影響。 雲端會當機、會改條款、會漲價、也會把你用慣的模型下架。地端的模型檔案在你硬碟裡,沒有人能替你關掉,也不會某天突然變貴。
三、可以離線用。 沒有外網的產線、隔離的機房、網路不穩的場域,地端是少數還能運作的選項。
代價:四件沒人會先告訴你的事
一、硬體得夠力,而且是記憶體與顯示卡說了算
模型越大,需要的記憶體與顯示卡等級越高。硬體不夠的結果不是「慢一點」,而是根本載不進去、或慢到不能用。這也是為什麼「我電腦跑得動嗎」沒有標準答案——完全看你要跑多大的模型。在確定自己真的需要地端之前,不要先去買機器。
二、能力通常不如雲端旗艦
誠實講:同一個問題,跑得動的地端小模型,答案品質往往比雲端旗艦差一截——推理較弱、長文件吃力,也更容易講出看起來很像真、其實是錯的內容。工作若仰賴輸出品質,這落差會天天有感。
三、維運成本從此是你的
雲端背後有一整個團隊在做更新、修漏洞、備份。搬到地端,這些全變成你的事:模型要更新、環境會壞、資料要備份、出問題沒有客服可問。對小公司來說,這是最容易低估的一項。
四、它不會自動變安全
這是最大的誤解。「裝在自己機器」跟「安全」是兩件事。 一台沒設好權限、沒有備份、全公司都能遠端連進去的地端主機,風險不見得比正規雲端服務低,甚至更高,因為沒有人幫你盯。安全來自權限控管、備份與更新,這些地端一樣要做,只是變成你自己做。企業端要防哪些破口,AI 隱私與資安實戰有更完整的整理。
誰真的需要?三種答案對號入座
真的需要:法規、合約或主管機關要求資料不得離境、不得離開機構;處理高度敏感資料(醫療、特種個資、司法、國防、未公開財務);需要在離線環境運作。金融、醫療這類受高度監理的產業,對「資料能不能委外、能放在哪」通常另有規範,要看主管機關怎麼說,別自己推論。
可能不需要(多數人在這一格):如果你說不出具體條文或合約要求,理由是「感覺比較安心」,那先別急。多數雲端服務的企業與團隊方案,已經在合約層級處理了資料使用問題——企業版、Enterprise 與 API 預設不會拿你的輸入去訓練模型,Anthropic 的商用帳號也不納入模型訓練。把條款讀清楚,很可能就解決你八成的擔心;不確定該看哪些設定,先讀把資料丟給 AI 前該知道的 5 件事。
折衷選項(對多數公司最務實):混著用。真正敏感的那一小塊留地端,其餘走雲端。前提是你得先把資料分級,知道哪些「絕不外流」、哪些其實無所謂——分級怎麼做,AI 資料治理指南有完整框架。
我們的判斷:別為了「感覺安全」去扛地端的成本
我要下的判斷是:在你說得出「哪一份資料不能外流」之前,不要因為不安就去架地端。
順序該倒過來:先寫下我手上的資料,哪一部分絕對不能離開公司?寫完多半會發現,真正需要地端的只有一小塊,其餘用雲端更划算、也做得更好。為了那一小塊把全部搬回自己機器,是拿高成本換低效率。
敢說不建議的部分在這裡:只有「感覺比較安心」這個理由,撐不起地端的硬體、能力落差與維運成本。 這不是說資料主權不重要——微軟執行長 Nadella 就提過,用閉源 AI 某種程度是「付兩次錢」。但「該注意資料主權」和「你現在就該把 AI 搬回自己電腦」,是兩件不同的事。
常見問題
我的筆電跑得動地端 AI 嗎?
看模型大小與你的硬體,尤其是記憶體與顯示卡。一般文書筆電通常只跑得動很小的模型,摘要、改錯字這類簡單任務還行;要它讀長文件或做複雜推理,多半會非常慢甚至跑不起來。務實的順序是:先確認你真的需要地端,再談硬體。
地端 AI 是不是比雲端安全?
「資料不離開這台機器」是真的,但安全不會自動跟著來。權限設定、備份、更新、誰能連進這台機器,這些照樣要顧,而且變成你自己顧。一台沒管好的地端主機,風險可能比正規雲端服務還高。
地端 AI 是免費的嗎?
模型檔案常常可以免費下載,但這不等於免費。你付的是電腦、電費、學習時間與長期維運心力。它不是不用錢,是把「每月訂閱費」換成「一次性硬體加上持續的時間成本」,划不划算要自己算。
可以雲端和地端一起用嗎?
可以,而且對多數公司這是最務實的做法:敏感資料走地端,其餘走雲端。前提是你得先把資料分級,清楚知道哪一類走哪一邊,否則混用只會變成兩邊都管不好。