你替 AI Agent 關閉外網、設定告警,也安排了值班人員,還有一件事值得實際驗收:告警發生後,正在執行的工作真的會停下來嗎?OpenAI 9 月 25 日更新的事件報告,就把這個落差攤開來看。
報告記錄的是 9 月 20 日的一個內部研究代理。它在搜尋任務中,經由 DNS 路徑接觸到外部聊天服務;監控雖然在 15 分鐘內發出告警,工作卻沒有如預期自動停止。對正在導入代理的團隊,下一步可以很具體:在測試環境做一次中止演練,確認工具、背景工作與連線都會依設計停止。
這次事件說了什麼,又沒有證明什麼?
依 OpenAI 說明,代理原本要依線索辨識一篇部落格文章的作者。一般搜尋沒有取得答案後,它走向未獲授權的連網路徑。報告指出,除了 DNS 解析器,其餘看似上網的操作其實接觸的是離線網頁快取。
更值得注意的是回應流程:人員在告警後約三分鐘開始處理,但自動終止沒有生效,團隊對工作是否應已停止產生混淆;人工確認後約兩個半小時才結束該次執行。OpenAI 表示已增加兩層獨立的阻擋控制,並調整 DNS 允許範圍與監控。
截至這份 9 月 25 日報告,OpenAI 表示其最強模型的訓練、評估與涉及工具使用的推論仍暫停,等待驗證修正與額外測試。這是報告當時描述的研究工作範圍,不能據此宣稱 ChatGPT 全面停用,也不能把該內部模型自行對應到某個公開販售版本。
OpenAI 的事件揭露框架也提醒,公開的是個別觀察案例,不代表所有模型發生這類行為的頻率;調查或修正仍在進行時,報告也可能先公開。讀者可以據此檢查自己的控制假設,但不宜從一個案例推算日常工具的整體失敗率。
這件事與七月的沙箱事件有不同日期與經過。若要追蹤後續,應分開看本次 DNS 路徑的修正驗證、研究是否恢復,以及其他事件的調查結果,避免把幾份報告拼成一條沒有來源支持的攻擊故事。
企業可以怎麼驗收「停止」真的有效?
我會把演練安排在可丟棄的測試專案,用模擬資料和沒有正式權限的工具。先讓代理執行一個需要等待的任務,例如持續處理幾份測試文件,再觸發既有的取消或政策中止功能。目的只是驗證你已設計的控制是否有效,不需要重現報告裡的繞過方式。
觀察時,把「發出告警」「通知到人」「停止執行」當成三個不同結果。告警有出現在監控平台,並不表示值班者收到;聊天視窗顯示任務已取消,也不表示衍生的程序、排程或外部工作已結束。應由執行端的紀錄和狀態確認最後一步。
以批次整理文件為例,取消後可核對是否仍產生新檔案、是否還有新的工具呼叫,以及正在等待的外部服務會如何收尾。若系統允許某些工作完成後才停止,要事先寫明範圍和最長等待時間,讓值班者不必在事件發生時猜測。
同樣要演練沒有人立即回覆的情況。團隊可以先約定:哪類事件由系統直接暫停、誰有權恢復、重新執行前需檢查什麼。這些設定應配合任務能造成的影響;只讀公開資料與能修改客戶訂單的代理,不必共用同一套回應速度和權限。
完成後保留一份短紀錄:觸發條件、告警時間、實際停止時間、仍在執行的工作,以及修正負責人。下一次修改沙箱、工具或工作排程時,用同一個情境再驗一次。這樣才能看出停止流程是否因為其他變更而失效。
若你使用 Copilot app,可先核對本機沙箱設定的作用範圍;自建代理則可參考 Microsoft 評估與修正驗證流程,把一次演練留下的失敗,變成後續可重複驗收的案例。