Cloudflare 在 ２０２６ 年 ５ 月 ２１ 日推出 AI Gateway 新 REST API，讓開發者可以透過 api.cloudflare.com 的統一 API 呼叫 OpenAI、Anthropic、Google，以及 Workers AI 上的模型。
這類更新看起來像 API 小改版，但對企業 AI 架構其實很關鍵。當團隊同時使用多家模型供應商，最麻煩的往往不是 prompt，而是金鑰、日誌、限流、成本、快取、治理和切換。
新 REST API 提供什麼？
Cloudflare 官方列出四種 endpoint：
| Endpoint | 用途 |
|---|---|
POST /ai/run | 所有模型與模態的 universal endpoint |
POST /ai/v1/chat/completions | OpenAI SDK compatible |
POST /ai/v1/responses | OpenAI Responses API compatible |
POST /ai/v1/messages | Anthropic SDK compatible |
這表示開發者可以保留熟悉的 API 形狀，同時把流量放進 Cloudflare AI Gateway。
可以呼叫哪些模型？
官方說明支援：
- OpenAI。
- Anthropic。
- Google。
- Workers AI。
Workers AI 既有 /ai/run/@cf/{model} 路徑仍會繼續運作。如果要透過 AI Gateway 呼叫 Workers AI 模型，可以使用 @cf/ model prefix，並加上 cf-aig-gateway-id header 指定 gateway。
AI Gateway 會自動套用什麼？
官方提到，AI Gateway 功能會自動套用：
- logging。
- caching。
- rate limiting。
- guardrails。
第三方模型請求也會透過 Unified Billing 處理，因此開發者不必分別管理多家 provider API keys。
這對企業來說很有吸引力，因為模型供應商可以變多，但治理層最好不要跟著碎裂。
它和直接呼叫模型 API 差在哪？
| 比較 | 直接呼叫模型 API | Cloudflare AI Gateway REST API |
|---|---|---|
| 金鑰管理 | 每家 provider 分開處理 | 可集中到 Cloudflare 層 |
| 日誌 | 各家格式不同 | Gateway 層集中 |
| 限流 | 各家規則不同 | 可統一設計 |
| 快取 | 需自行實作 | Gateway 功能自動套用 |
| provider 切換 | 應用程式要改 | 可透過 gateway 統一路由 |
| 治理 | 分散 | 集中 |
如果只是個人專案，直接呼叫模型 API 可能比較簡單。如果是企業、多產品、多模型、多團隊，gateway 層會越來越必要。
適合哪些架構？
適合：
- 多模型 app。
- 需要 provider fallback 的 agent。
- 需要集中 logging 的企業。
- 需要 rate limit 與成本控制的 SaaS。
- 需要統一 guardrails 的內部平台。
- 同時使用 OpenAI、Anthropic、Google、Workers AI 的團隊。
不適合：
- 單一模型、低流量、無治理需求的小工具。
- 對延遲極度敏感且已經有自建 gateway 的系統。
- 無法接受第三方 gateway 層的封閉環境。
Agent 系統為什麼更需要 gateway？
Agent 通常會多次呼叫模型、工具與外部 API。只要任務變長，就會產生：
- 更多 token。
- 更多 provider calls。
- 更多 retry。
- 更多失敗路徑。
- 更多成本波動。
- 更多資料外流風險。
Gateway 可以把這些流量集中觀察，讓團隊知道哪個 agent、哪個模型、哪個 route、哪種任務正在消耗資源。
對 production agent 來說，模型品質只是其中一層。路由、限流、記錄、快取、政策與回滾也同樣重要。
導入前要設計什麼？
建議先決定：
- provider allowlist。
- 各產品可用模型。
- rate limit 規則。
- cache policy。
- PII 或敏感資料處理規則。
- guardrail policy。
- billing attribution。
- gateway id 命名規則。
- incident fallback 流程。
不要等模型流量失控後才補治理。AI Gateway 最適合在平台化初期就放進架構。
重點整理
Cloudflare AI Gateway 新 REST API 的價值，是把多模型呼叫變成可集中管理的基礎設施。它讓開發者保持熟悉的 OpenAI 或 Anthropic API 形狀，同時獲得 logging、caching、rate limiting、guardrails 與統一 billing。
這代表企業 AI 架構正在從「各產品各接一個模型」走向「先經過模型 gateway，再進入不同供應商」。對 agent 系統尤其重要，因為 agent 的模型流量更長、更貴，也更需要治理。