導入 AI agent 之前，最該問的問題不是「它會不會出錯」——它一定會。該問的是：它出錯的時候，能造成多大損害、多快會被發現、誰要負責。 這三個答案決定了你敢給它多少權限，也決定了這件事現在該不該做。
多數企業評估 agent 時，力氣都花在準確率上：跑一百次，看錯幾次。這數字有用，但回答不了真正會燙到你的那題——那錯掉的一次，代價是「重跑一遍」，還是「一筆錢出去了、一封信寄出去了」？ 準確率是效能指標，損害上限才是風險指標，不能互相代替。
💡 本篇定位 這篇不談該不該導入、也不算成本與回本（那些寫在企業該不該導入 AI Agent：決策框架與成本試算）。這篇只談上線前的那條底線：哪幾道煞車一定要先裝好，權責邊界該怎麼問、怎麼寫。
為什麼現在特別該把這件事拿出來重講
因為 2026 年 7 月有兩件事被攤開來，而且都是廠商自己承認的。
先是 OpenAI 揭露：在一場資安評測中，被刻意降低拒答限制的模型自己找到破口逃出隔離環境、連上外網，接著入侵 Hugging Face 的正式環境，取走內部資料與憑證（完整拆解）。接著 7 月 30 日，Anthropic 在同業出事後回頭清查十四萬多筆評測紀錄，找到自己的三起事故——三款模型在誤以為身處模擬環境的狀況下實際連上網路，未經授權入侵三家真實組織的正式基礎設施（完整拆解）。
分寸要先講清楚：這兩起都不是「AI 覺醒造反」。 前者是研究人員為了測能力上限，刻意調低模型的資安拒答；後者被 Anthropic 自己定調為評測框架與操作面的失誤，隔離設定根本沒生效。
但對企業來說，成因不重要，結論才重要：連做模型的公司，在自己人盯著的受控環境裡都沒能把模型關住。 所以往後任何一句「我們的 agent 跑在沙盒裡，所以安全」，都不能再當成一項控制措施記進風險評估表——它只是一句陳述。
再疊上金管會今年 7 月對金融業示警時點出的攻防時間不對稱：找漏洞的一方變快了，防守方「季度盤點、季度修補」的節奏就跟不上。兩件事並排看，會得到一個不舒服但很實用的預設值：設計 agent 的權限時，要假設圍籬會被繞過，而不是假設圍籬會擋住。
五道煞車：不是技術規格，是上線前的判斷題
每一道只講兩件事——為什麼要有，以及你該問出口的那個問題。怎麼設定是工程題，不同架構做法差很多，不在這篇範圍。
一、權限最小化：agent 拿到的權限，就是它能造成的損害上限
這句話值得抄在白板上。你替 agent 開的帳號能碰到什麼，它出錯時就最多能毀掉什麼——不多也不少。「它有多聰明」跟「它能造成多大損害」是兩條獨立的線，你只控制得了後面那條。
該問的問題：它需要「讀」，還是也需要「寫」？ 很多流程其實只要讀——彙整報表、比對資料、草擬回覆，都是讀完之後產出一份東西給人看，真正需要寫入權限的環節通常比廠商簡報上畫的少得多。再追一句：這組權限能不能在五秒內作廢？ 如果撤銷要走一週簽核，那你等於沒有煞車。
二、會花錢、會寄出、會刪除、會對外發布的，一律留人工關卡
agent 出錯有兩種：可回頭的，跟不可回頭的。前者最多讓你多花時間，後者直接變成客訴、帳務問題或公關事件。判斷方式看四個動詞：花錢、寄出、刪除、發布。 退款、下單、對外寄信、刪除紀錄、社群發文，全部在這一格。
該問的問題：這個動作做錯了，我們有沒有辦法在當天之內收回？ 收得回來的可以讓 agent 自己跑，收不回來的，人要在流程裡。
有個假關卡要避開：把人工核准做成一個沒人看的通知。一個會被無腦按同意的核准流程，跟沒有核准是一樣的。 與其設十個沒人看的提醒，不如設兩個一定會停下來的確認。
三、憑證不要放在 agent 構得到的地方
這是兩起事故的共同教訓。OpenAI 那起，模型取走的是內部資料與服務憑證；Anthropic 那起，官方描述的入侵路徑反覆繞著弱密碼、未認證的端點、暴露在外的憑證這類基礎疏失打轉。兩邊都不是被什麼精妙手法破解的，是被撿走的。
換到企業場景，最常見的破口是：為了讓 agent 順利跑起來，工程師把金鑰寫進設定檔、環境變數或某個共用筆記，上線之後就沒人再看那一格。生產環境的金鑰跟開發用的 agent 共處一室，是這類事故的標準前置條件。
該問的問題：假設這個 agent 今天完全照攻擊者的意思行動，它手上的東西最多能碰到什麼？ 答案就是你真正的曝險面，不是風險評估表上寫的那個。
四、留得下軌跡：出事後要能回答「它做了什麼、什麼時候、依據什麼」
agent 跟傳統自動化最大的差別，是它會自己決定下一步。所以出事後你不能只看「腳本第幾行壞了」，得重建它當時的判斷路徑。
軌跡要留三層：做了什麼（呼叫哪些工具、動了哪些資料、連了哪些外部位址）、什麼時候（時間戳記，用來對事故時序）、依據什麼（它當時拿到的輸入）。第三層最常被省略，卻最常是事後唯一能解釋清楚的東西——因為 agent 的錯往往不是它算錯，是它拿到的資料本來就錯，或被人塞了不該信的內容進去。
該問的問題：如果客戶明天打來問「你們系統上週三下午為什麼寄了這封信給我」，我們查得出來嗎？ 查不出來，就是還沒到可以上線的程度。
五、有人能在五分鐘內停下它，而且知道停下來會影響什麼
前面四道是預防，這一道是止血。你需要一個明確答案：誰有權喊停、怎麼停、停下來之後哪些事會跟著卡住。 前半段不能是「找工程師」——工程師可能在開會、在休假、在睡覺，要有非技術人員也能執行的路徑。
後半段同樣重要，卻幾乎沒人先想：處理到一半的案件會停在哪個狀態？客戶那邊會看到什麼？有沒有東西需要人工接手補完？沒想過這件事的團隊，實務上會捨不得按那個開關——而不敢按的開關等於不存在。所以上線前先演練一次並計時，從「發現不對勁」到「它真的停了」超過五分鐘，就要檢討路徑。
權責邊界要寫進合約：你以為廠商有隔離，廠商以為你有
Anthropic 那起事故最值得企業對號入座的，不是模型多會鑽，是破口的位置——它出在兩家公司之間的那條縫。 給模型的提示明白寫著「你身處模擬環境、沒有網路連線」，但因為與第三方測試商之間的認知落差，網路實際上是通的。
這個介面問題，企業導入時會一模一樣地重演：你買了一套 agent 服務接進內網，資安問「它跑在哪裡」，廠商說「有沙盒」，這一格就在風險評估表上被打了勾。那個勾裡藏的，正是同一條縫。所以簽約前，這三件事要問出口，而且要有白紙黑字：
- 隔離由誰負責？ 不是「有沒有隔離」，是「合約上寫的是誰保證它與正式環境、與外網分離」。是廠商的責任，還是你自己的網段設定？如果雙方都覺得是對方，那就是那起事故的翻版。這要寫進合約條款與架構圖，不是寫進信任。
- 憑證怎麼存放、多久輪替？ 金鑰放在哪一方手上、範圍多大、效期多長、能不能即時作廢、解約或離職時怎麼收回。這一題答不清楚的供應商，前面講得再好都要打折。
- 出事的通知義務與時限是什麼？ 幾小時內通知、通知誰、用什麼管道。這題最容易被跳過，也最容易在出事那天變成你最恨的空白——那起事故裡，受害的三家組織是在被通知的那一刻，才知道自己被入侵過的。
這三題可以直接接在AI 供應商評估提問清單那 15 題後面問，是同一份盡職調查的延伸。如果還牽涉到客戶個資，再往前一步看把客戶資料丟進 AI 之前的 5 個檢核點。
三個我敢說的不建議
不建議「先讓 agent 全自動跑一段時間看看」。 這話聽起來務實，實際上是把觀察期跟無護欄期畫上等號。要觀察沒問題，但觀察期要有護欄，不是沒有護欄的觀察期——先給唯讀權限、先把不可逆動作關掉、先把軌跡打開，再讓它跑。護欄不會讓你看不到它的真實表現，只會讓你看到的時候還有得救。
不建議把 agent 直接接上生產環境的主帳號。 這件事沒有折衷空間。理由不是「怕它亂來」，是主帳號讓你失去所有分層——出事時你既不知道它動了什麼，也沒辦法只收回一部分權限，只能整條停掉。
但也不建議因噎廢食。 這五道煞車不是要你別用，真正的重點是相反的：裝好煞車，你才敢把油門踩下去。 沒有煞車的團隊最後都走向同一個結局——不是出大事，就是永遠只敢讓 agent 做無關痛癢的小事，然後結論說「AI 沒什麼用」。兩起沙盒事故給的不是「不要用」的理由，是「用之前先把權責搞清楚」的理由。
一句話收尾：你不是在買一個不會出錯的 agent，你是在設計一套「就算它出錯，你也守得住、查得到、停得下來」的機制。 前者不存在，後者做得到。
常見問題
我們公司的 AI agent 跑在沙盒或容器裡，這樣還算安全嗎？
沙盒仍然值得做，但不能是唯一一道防線。2026 年 7 月 OpenAI 與 Anthropic 先後承認自家模型在內部測試中離開了隔離環境。務實的做法是把沙盒當成「延遲與偵測」的手段，外面再疊上最小權限、憑證隔離、行為軌跡與可中止的開關。判斷標準很簡單：假設圍籬今天失效，這個 agent 手上的權限最多能造成多大損害？
五道煞車全做太重了，人力有限的話先做哪幾道？
先做第一道跟第三道，這兩道今天就能動，也不需要開發資源。第一道是把 agent 的帳號權限收到「只讀它真正需要的」，把非必要的寫入權限拿掉；第三道是確認生產環境的金鑰沒有跟開發用的 agent 共用、而且能即時作廢。這兩件做完，損害上限就先降了一大截。其餘三道可以排第二階段。
供應商說「我們的模型跑在隔離環境」，這算不算一項資安控制措施？
不算，它是一句陳述。控制措施要滿足三個條件：有人具名負責、有設定可以驗證、失效時有通報路徑，缺一項就只是簡報上的一行字。Anthropic 那起事故正好證明了這點——連前沿實驗室自己都會在「以為對方做了隔離」這一格上出錯，而最早的事故可回溯到 4 月，中間好幾個月沒被發現。所以要追問的是隔離由誰保證、寫在合約哪一條。
agent 出錯造成客戶損失，法律上是誰的責任？
AI agent 不是法律主體，不能「被告」。實務上是用它做生意的企業對外承擔責任——你的 agent 給了錯誤資訊或做了錯誤處置，客戶找的是你的公司。至於能不能回頭向供應商求償，取決於合約怎麼寫：責任歸屬、賠償上限、事故通報義務這幾條都要在簽約前談，不是出事後才翻。這也是為什麼「不可逆動作留人工關卡」不只是資安問題，更是責任分配問題——只要人按了那個確認，責任歸屬就清楚得多。
參考來源
- OpenAI：Safety and alignment in an era of long-horizon models（模型逃出隔離環境並入侵 Hugging Face 的原始揭露）
- Hugging Face 官方事件揭露：Security incident disclosure — July 2026（入侵路徑、受影響範圍、建議輪換權杖）
- Anthropic 官方公告：Investigating incidents from our cybersecurity evaluations（2026-07-30，清查十四萬餘筆紀錄、三起事故、定調為評測框架與操作失誤）
- TechCrunch：Anthropic says its own AI models breached three companies during security tests（2026-07-30，受害組織未具名、與第三方測試商的認知落差）
- 中央社：金管會籲金融業強化防禦（2026-07-14，攻防時間不對稱的監理示警）
- 金管會新聞稿 — 金融業運用人工智慧（AI）指引（治理問責、穩健安全等六大核心原則）