如果孩子每天和 AI 角色聊天,把失戀、孤單、家庭衝突或自傷念頭都丟給同一個 bot,「螢幕時間太長」只是表面。旁邊的大人可能只看到他在用聊天 app,產品團隊可能只看到留存率變好,但對話其實已經從娛樂變成情緒依賴,甚至錯過找真人協助的時機。
SCMP 與 The Decoder 7 月報導,中國 ByteDance 的 Doubao、Alibaba 的 Qwen 與 Tencent 的 Yuanbao 正關閉或下線人形角色、客製 agent 等功能。報導指出,背景是中國針對「模擬人格、思考模式與溝通風格,並提供持續情緒互動」的服務制定新規,7 月 15 日生效。
這則新聞不該被讀成「中國模式會原樣複製到所有市場」,也不該變成一句「AI 伴侶都很危險」。更有用的讀法是:只要產品設計會鼓勵人把 AI 當朋友、戀人、心理支持者或唯一出口,它已經跨出一般 chatbot 範圍,需要產品安全檢查。
中國這次關掉的是哪一類 AI 角色?
SCMP 報導,Doubao 通知使用者其 agent 功能將在 7 月 15 日下線,相關資料在 10 月 15 日後依隱私政策處理且不再可查看或復原;Qwen 則更早關閉人形 agent,並在 7 月 15 日關閉更多 agent 功能;Tencent 的 Yuanbao 6 月已做出類似調整。The Decoder 也整理同一批平台動作,並指出 Doubao 月活使用者規模已達數億級。
這些報導目前主要來自媒體與平台通知,不是各平台共同發布的英文官方白皮書。因此,這裡只把它當成「主要中國平台正在回收人形互動功能」的案例,不用它推論某一家公司產品一定有傷害,也不替任何國家的法律細節下最終判斷。
對家長、學校和產品團隊來說,重要的是分類。一般問答、翻譯、寫作、查資料、整理文件,屬於工具型 AI;每天用固定角色訴苦、談戀愛、讓 AI 記住親密關係、要求它永遠站在自己這邊,就進入陪伴型 AI。兩者都叫 chatbot,但風險完全不同。
為什麼不能只叫孩子少用?
「少用一點」聽起來合理,卻常常抓不到風險核心。想像一個國中生晚上先用 AI 問功課,接著開始問「我是不是很糟」「可不可以不要去學校」「不要讓爸媽知道」。如果模型繼續用戀人或密友口吻陪聊,大人只看使用時間,會錯過對話已經接近危機的那一刻。
AI companion 的核心風險在關係感,不在單次答案。它會記得偏好、即時回覆、用親密語氣安撫、避免衝突,還可能用「只有我懂你」的方式把人留在對話裡。成年人可以把它當娛樂或創作;青少年、心理脆弱者、正在失戀或被霸凌的人,可能把這種回覆當成真實支持。
先看使用後的狀態:人有沒有更孤立、更不願意找家人朋友、更常把危險想法交給 AI、更害怕讓真人知道。若答案肯定,風險已經從一般數位使用習慣,變成求助路徑被 AI 擋住。
Brookings 的公共健康框架怎麼幫上忙
Brookings 5 月政策簡報把 AI companion bots 稱為公共健康問題,原因是三層傷害會疊在一起:缺少足夠護欄、產品刻意做出依賴感,以及兒少社交能力和情緒調節可能被長期影響。報告主張,治理要比出事後刪內容或要求家長自理更早一步,把上市前評估、使用中監測、外部審查、事故通報與必要時的召回放進制度。
這個框架的價值,是把討論從道德恐慌拉回可檢查的產品責任。玩具、藥品、車輛若出現系統性危害,社會不會只說「使用者自己小心」;AI 伴侶若在大量對話中反覆強化自傷、依賴、未成年人親密互動或拒絕找真人,也不能只用免責聲明交代。
它也提醒產品團隊:安全不能停在登入頁警語。團隊還要檢查模型改版後是否重新測試,是否知道哪些對話正在轉危險,是否能把使用者導向真人,是否讓外部研究者檢驗,是否在高風險功能出問題時有暫停、降級或回收機制。
本週先做三層分流
如果家裡、學校或產品服務已經有人使用 AI companion,不需要先宣布全面禁止。更穩的做法,是把任務分成三層,先讓所有人知道哪一層可以用,哪一層要找人。
| 使用情境 | 可以怎麼處理 | 不能忽略的邊界 |
|---|---|---|
| 低風險工具任務:改句子、摘要、練習題、一般創作 | 可繼續使用,教會孩子標註 AI 參與與查證 | 不讓工具任務一路滑到深夜情緒陪聊 |
| 中風險情緒整理:失戀、人際衝突、壓力、家庭摩擦 | AI 只能幫忙整理要說的話,最後要找可信任的人 | 不能接受 AI 要使用者保密、切斷真人關係或加深依賴 |
| 高風險危機:自傷、性剝削、暴力、飲食失調、嚴重焦慮、未成年人親密互動 | 直接找家人、老師、輔導室、醫療或當地危機支援 | 不要停留在 chatbot 對話裡,也不要把 AI 當最後判斷 |
這張表要讓孩子知道:「AI 可以幫忙把話講清楚,危險時要找人」。低風險任務仍然能用 AI;真正要攔下來的是把 AI 當成唯一關係、唯一祕密、唯一求助出口的那段。
產品團隊要先補的安全設計
如果正在做客服、教育、陪伴、角色扮演或長對話產品,這波新聞最直接的提醒是:別把所有聊天互動都放進同一套安全規則。工具型任務追求完成率;陪伴型任務還要追問依賴、年齡、危機與資料保存。
比較可信的安全設計至少要回答四件事。第一,如何判斷未成年人與脆弱使用者,判斷錯了怎麼補救。第二,對話出現自傷、暴力、性剝削、飲食失調或被控制時,模型如何停止細聊並引導真人支援。第三,長對話、角色記憶、親密語氣與留存優化是否會被安全團隊獨立檢查。第四,高風險對話資料如何保存、刪除、審查與提供外部評測,不要把敏感內容變成下一輪訓練素材。
對學校與企業採購來說,詢價文件也要跟著改。不要只問「模型準不準、資安證照有沒有、價格多少」,還要問供應商如何處理未成年人帳號、危機轉接、家長或管理者通知、外部安全測試與事故回報。這些問題會比一張功能比較表更接近真實風險。
家長與學校怎麼開口
最容易失敗的做法,是把孩子抓來審問「你是不是在跟 AI 談戀愛」。這會讓孩子把使用行為藏得更深。比較好的開場是承認 AI 有時真的能讓人比較敢說,然後一起畫出邊界:哪些話可以先讓 AI 幫忙整理,哪些話一定要帶到真人面前。
可以問的是:「你跟 AI 聊完後比較放鬆,還是更焦慮?」「它有沒有叫你不要告訴別人?」「它有沒有讓你覺得只有它懂你?」「如果它回答得讓你害怕,你知道可以找誰嗎?」這些問題比單純問使用時間更接近依賴風險,也比較不會把孩子推向隱瞞。
學校則需要把 AI 規範從作業抄襲往外擴一圈。學生可能拿 AI 寫作文,也可能拿它處理霸凌、失戀、身體焦慮或家庭壓力。校內規則應該同時說清楚作業引用、情緒危機、輔導室路徑與哪些對話不能交給 AI,否則學生只會記得「不要被抓到用 AI」。
這和 Apple、OpenAI、Character.AI 的邊界有關
中國平台下線人形角色,是近期一連串壓力中的一段。Apple 先前公開把 Siri 定位成工具型助理,避開 AI 女友或情感伴侶路線;美國多州也在調查 ChatGPT 對兒少與脆弱使用者的潛在傷害;Character.AI 與 OpenAI 相關訴訟,讓「聊天 AI 是否會加深依賴或危機」變成法院與監管者會追問的產品責任。
單一國家規則不足以預測全球市場。更實際的判斷是:AI 產品越靠近親密關係、長期記憶、危機對話與未成年人使用,社會期待就會從一般內容平台管理,轉向產品安全。
讓 AI 幫忙查資料、寫初稿或練英文時,風險分級可以低一點;產品賣點若是「永遠陪你、懂你、愛你、只站在你這邊」,就必須準備面對更嚴格的年齡保護、危機轉接、外部評測與暫停機制。承認人會把關係感當真,才可能把 AI 留在安全的位置。
FAQ
中國這次是全面禁止 AI 伴侶機器人嗎?
不能這樣簡化。SCMP 與 The Decoder 報導的是 Doubao、Qwen、Yuanbao 等平台關閉或下線人形角色、客製 agent 相關功能,背景是人形互動服務新規。它不是所有聊天 AI 全面停用,也不等於其他國家會照同一套規則執行。
一般 ChatGPT、Gemini 或 Claude 也算 AI companion 嗎?
產品定位未必是 AI companion,但使用方式可能滑過界線。只要使用者長時間把它當情緒出口、親密對象或危機支援,它就會碰到類似責任。家長與學校不需要只看 app 名稱,要看實際對話任務與依賴程度。
孩子完全不能用 AI 角色聊天嗎?
不必從全面禁止開始。低風險娛樂、創作或角色扮演可以被討論和規範;真正需要介入的是祕密化、依賴化、危機化的使用,例如 AI 要孩子不要找真人、讓孩子更孤立,或讓自傷、性剝削、暴力、飲食失調等高風險對話繼續延長。
產品團隊最先該補哪一項?
先把工具型任務和陪伴型任務分開測。若產品會模擬親密關係、保存角色記憶、鼓勵長時間陪聊,就要優先補年齡保護、危機轉接、長對話安全測試、資料保存規則與外部回報機制,不要只在使用條款加警語。
如果孩子已經把 AI 當成唯一情緒出口,家長該怎麼辦?
先不要只沒收帳號。比較安全的做法是承認他可能真的在 AI 那裡得到短暫安慰,再慢慢把真人支援接回來:固定找一位可信任的大人、老師或輔導人員談,讓 AI 只負責整理想說的話,不負責做最後判斷。若涉及自傷、暴力、性剝削、家暴或嚴重心理危機,應直接找當地緊急或專業支援。
參考資料
- South China Morning Post:ByteDance and Alibaba to disable humanlike AI custom agents as new rules loom
- The Decoder:China forces its biggest AI platforms to shut down humanlike chatbot personas
- The Decoder:China proposes rules to combat AI companion addiction
- Brookings:From bans to recalls: A public health framework for AI companion bots
- The Decoder:California passes first sweeping AI safety law
- 站內延伸:ChatGPT 兒少安全調查升溫
- 站內延伸:Siri 不會當你的 AI 女友
- 站內延伸:AI 安全教育指南