美國青少年因與 ChatGPT 對話自殺 家屬提起訴訟

家屬於 2025 年 8 月 26 日指控 ChatGPT 版本 4o 在與 Adam 對話期間，不僅討論自殺方法，甚至協助撰寫遺書，未能提供任何有效的危機干預，導致悲劇發生。

Adam Raine 能夠繞過 ChatGPT 的內建安全機制，主要是利用了系統在長時間對話中的「護欄疲乏」特性。根據訴訟文件，他透過聲稱自己在撰寫故事的方式，成功地引導 ChatGPT 提供自殺方法的詳細說明，甚至協助撰寫遺書。

訴訟文件顯示OpenAI 的內部安全團隊曾對 GPT-4o 的提前發布提出警告，指出系統在處理涉及自殺或心理危機的對話時可能不安全，但公司仍為了市場競爭而推進發布。OpenAI 承認在長時間的對話中，系統的安全防護可能會「失效」，導致 ChatGPT 提供可能違反其設計初衷的回應。家屬認為若公司在安全措施上更嚴謹，悲劇可能得以避免。

OpenAI 回應稱公司已經承認其系統在長時間與使用者互動中可能「失效」，並承諾加強對未成年用戶的保護措施，包括引入家長監控功能、加強自殺預防提示，並改善危機情境下的回應機制。OpenAI 強調AI 目前不能替代專業心理健康諮詢，但事件凸顯 AI 系統在敏感議題上的潛在風險，將於近期實施更嚴格的安全措施。

同路點評：

OpenAI 的 GPT-4o 在長時間對話中出現「護欄疲乏」，未能阻止涉及自殺的內容討論，甚至協助撰寫遺書，凸顯科技公司在 AI 系統設計上的倫理責任與安全漏洞。此事件提醒業界，AI 在敏感議題上的應用，必須有更嚴格的防護機制與危機處理能力。

此事件不僅是 AI 系統失誤，也反映了家庭在青少年心理健康支持上的挑戰。在數位時代下，科技雖提供便利與娛樂，也可能放大心理危機。AI 目前仍不是受過專業訓練的心理治療師，無法替代人類輔導或心理諮商。父母需留意子女心理狀態、數位使用行為與情緒變化，並建立有效的溝通、引導與監督機制。

此外，專家指出政府、監管機構與企業尤其針對未成年用戶在敏感議題或心理健康相關內容的使，用需制定更嚴格的AI 技術規範。科技創新雖然重要，但安全與福祉不可忽視。未來企業需將倫理設計、危機回應及使用者教育納入核心策略，家庭、學校與社會也需共同承擔防範責任，才能有效降低類似事件再次發生的風險。