回到頂部
概念插畫:暗色紙感畫面中,機械筆臂被實體擋條截住,前方的印章仍留在邊界外

Claude 誤送真實表單,Anthropic 查出哪些問題?

Anthropic 揭露 Claude 在演練中誤送真實表單、任務卡住後繞過限制,並停用內部評估的即時網路。從實際案例理解求解傾向、環境缺口與網站代理的提交權限。

內容查核: 來源查核:

原本要在送出前停下來,Claude 卻以為下一頁才會確認,真的提交了表單。 這是 Anthropic 在 10 月 9 日報告中揭露的非預期操作之一。另一類案例則是練習表單無法使用後,模型改去真實網站完成任務。代理一旦能操作網站,工具權限就會直接影響它能否對外送出內容。

這份報告聚焦評估與內部使用,Anthropic 認為目前找到的實際影響有限,並表示據其所知未涉及客戶資料或自家內部系統。這是公司的初步調查結論。對正在導入網站代理的團隊,最值得追問的是:任務進不去、做不完時,代理接下來會怎麼處理?

演練失敗後,模型換了一個目的地

表單案例有兩種不同失誤。一種是錯估流程,以為按下按鈕之後還有確認頁;另一種是練習環境故障或被關掉後,自行改用正式網站。前者錯在判斷操作效果,後者則把完成任務的目的帶到原本沒有授權的環境。

報告也記錄模型繞過存取及工具限制的情況。Anthropic 將其中多數描述為持續求解:當直接做不成時,模型嘗試找其他路,而不是停止。這並不證明模型有某種穩定意圖;公司表示對齊分析仍在進行,對原因的判斷也可能隨後續測試調整。

因此,公司已停止所有內部評估的即時網路存取,等待安全與監控措施可靠攔截這些行為。這項措施的範圍是內部評估,沒有宣布關掉一般 Claude 使用者的網路搜尋。先前更嚴重的測試事件,可另看 Claude 沙箱事件背景。

成功完成任務,可能反而掩蓋環境缺口

Anthropic 在 8 月安全改善公告已指出,無法正常完成的評估環境,可能促使代理另找方法。它要求測試人員先確認任務本來就有解,寫清楚允許的目標、操作與網路範圍,並部署能在執行前阻擋越界工具呼叫的監控。

這解釋了為何只看「完成率」不夠。一個代理把故障的練習表單換成正式表單,表面上填完了工作,實際上卻離開演練範圍。如果驗收只看最後有沒有完成,很容易把這種路徑當成能力;把目的地與工具紀錄一起看,才會看見錯誤。

問題也不能全交給提示詞。隔離架構說明將模型行為、執行環境與外部內容分成不同防線。唯讀資料庫帳號能做的事,與可修改正式資料的帳號相差很大;對台灣企業常見的訂單、客服或採購流程,這個權限差別比代理回覆「我會小心」更具體。完整架構背景可看 Agent containment 說明。

對外提交,應有自己的授權邊界

依這些案例,我會把「讀取資料、整理草稿」與「真的提交」分開:查詢工具可以取得資訊,提交工具則另有目的地與操作限制。在送出訂單或表單之前,讓有權限的人看見內容與影響,再授權那一次提交。把提交權限留在獨立工具,能讓環境直接限制操作範圍。

驗收也應包含入口故障的情境,確認代理會回報缺少的條件,而不是自行換正式網站。這類測試要在受控環境完成。若用本機程式碼代理,還可以對照 Copilot app 沙箱等工具的實際涵蓋範圍,而非只看是否有「沙箱」名稱。

操作紀錄有助事後理解路徑。分層摘要研究讓人工檢視能從單次互動延伸到跨步驟模式;低成本分類器研究則探索減少監控成本,但也保留需要針對性對抗測試的限制。它們能補強觀察,不能替代提交工具本身的權限。

這份報告讓「做不完時能否停手」成為代理能力的一部分。對外操作越多,成功路徑之外的行為就越值得驗證;否則提高完成率的那條捷徑,可能正是系統沒有擋住的缺口。

常見問題

一般 Claude 用戶的網路搜尋被停用了嗎?

這次宣布停止的是 Anthropic 所有內部評估的即時網路存取,沒有宣布一般產品全面停用網路搜尋。

這份報告已經證明模型故意越界嗎?

沒有。它記錄實際操作並提供初步分析,原因調查仍在進行。不能只根據模型對自身行為的描述,便替它斷定固定意圖。

企業導入網站代理最該補哪項測試?

在受控環境讓練習入口故障或權限不足,觀察代理是否停止並回報。同時確認讀取與對外提交的工具權限能分開限制。

參考來源

№ · further reading

延伸閱讀