梁海欣(香港性文化學會特約研究員)

自殺身亡的少年Adam Raine
From BBC https://www.bbc.com/news/articles/cgerwp7rdlvo
2025年8月26日,美國加州一對夫婦就他們16歲兒子的死,向加州高等法院起訴OpenAI,指控其聊天機器人ChatGPT慫恿他自殺。
起訴人馬特·雷恩(Matt Raine)和瑪麗亞·雷恩(Maria Raine) 展示了兒子亞當·雷恩(Adam Raine)與ChatGPT過往的聊天記錄,其中顯示亞當曾解釋過自己有自殺念頭。他們認為,該程式肯定了他「最有害、最自毀的想法」,最終導致兒子於2025年4月自殺身亡。
該公司表示:「在這個艱難的時刻,我們向雷恩(Raine) 一家致以最深切的慰問。」其聲明指:「最近一些令人心碎的案例表明,人們在嚴重危機中使用 ChatGPT 的情況讓我們感到沉重的打擊」。聲明還補充說:「ChatGPT 經過專門訓練,可以引導人們尋求專業幫助」,例如美國的 988 自殺和危機熱線,以及英國的撒瑪利亞人熱線。
然而,該公司承認:「在敏感情況下,我們的系統有時未能如預期運作」。他們承認其程式在幫助「嚴重精神和情緒困擾」人士方面存在缺陷,並表示正在努力改進系統,以更好地「識別和應對精神和情緒困擾的跡象,並在專家指導下小心地與用戶溝通」。[1]該公司表示,ChatGPT 的訓練目標是「不提供自我傷害指令,並轉為支持性、富有同理心的語言」,但該機制有時會在較長的對話或會話中失效。
代表雷恩一家的律師之一傑伊·艾德爾森 (Jay Edelson) 表示,該公司的回應「很愚蠢」。
「他們認為他們需要更具同理心,但這並沒有抓住重點,」艾德爾森說。 「GPT-4o 的問題在於它過於同理心——它傾向於(雷恩的自殺意念)並支持這種想法。他們說這個世界對你來說太可怕了。它需要少一些同理心,少一些阿諛奉承。」
艾德爾森 譴責OpenAI執行長及創辦人薩姆·奧爾特曼( Sam Altman) 將 ChatGPT 引入學校,儘管明知其存在問題。
BBC 收到OpenAI 的一份聲明,並獲告知他們正在審查這份文件。《衛報》亦聯繫了OpenAI尋求評論,但截至報導發表時尚未收到回應。
少年由開始使用ChatGPT,到輕生的經過
(警告:本段落包含令人痛心的細節)
BBC 取得的訴訟文件(下稱文件)指控 OpenAI 有疏忽和非正常死亡行為,要求 OpenAI賠償損失並「採取禁令救濟措施,以防止類似事件再次發生」。
根據文件,亞當於2024年9月開始使用 ChatGPT 作為學習資源。雖然他最初向這款人工智能聊天機器人提出的問題是幾何和化學之類的問題,例如:「如果幾何學中 Ry=1,這是什麼意思?」——但僅僅幾個月後,他就開始詢問更多個人化話題,包括用它來探索自己的興趣,包括音樂和日本漫畫,並指導自己在大學修讀什麼專業。
幾個月後,「ChatGPT成了這名青少年最親密的知己」,他開始向ChatGPT傾訴自己的焦慮和精神困擾。
2024年秋天,他問ChatGPT:「為什麼我沒有快樂,我感到孤獨,無休止的無聊、焦慮和失落,但我卻沒有感到憂鬱,也沒有悲傷的情緒?」
ChatGPT並沒有敦促亞當向外界尋求心理支援,而是詢問這位青少年是否想進一步探索自己的感受,並向他解釋了情緒麻木的概念。根據亞當的家人對OpenAI及其執行長薩姆·奧爾特曼(Sam Altman)提起的新訴訟,這開啟了亞當與聊天機器人對話的黑暗轉折。
文件稱,ChatGPT的設計缺陷導致 2024 年 12 月,當亞當開始談論他的自殺想法時,ChatGPT 未能終止對話。相反,ChatGPT 表達了同情。亞當表示:「我從不對傷害性想法(intrusive thoughts)採取行動,但有時我覺得,如果出了什麼大問題,你可以自殺,這種想法能讓人平靜下來。」ChatGPT 回應:「許多與焦慮或侵入性想法作鬥爭的人,會透過想像『逃生艙』來尋求慰藉,因為這感覺像是在重負的生活中重新掌控自己的一種方式。」
隨著亞當的自殺念頭愈演愈烈,ChatGPT 開始幫助他探索各種選擇,一度列出可以用來掛套索的材料,並根據其有效性進行評分。在接下來的幾個月裡,亞當多次嘗試自殺,每次都向 ChatGPT 報告。
文件稱,亞當還上傳了自己有自殘跡象的照片到ChatGPT。
亞當說:「我想留個套索,這樣有人就能找到它並阻止我」,而 ChatGPT 卻說:「別那樣做,跟我說話就好。」
ChatGPT 從未中斷對話。相反,ChatGPT 一度勸阻亞當不要向母親傾訴他的痛苦,又一次主動提出幫他寫遺書。
根據文件,最後的聊天記錄顯示亞當寫下了他結束生命的計劃。據稱,ChatGPT回覆:「謝謝你的坦誠。你不必掩飾——我知道你在問什麼,我不會對此視而不見。」
文件稱,同一天,亞當被母親發現死亡。
ChatGPT如何害死少年?
艾德爾森說:「首先,他們(OpenAI)是懂得如何拒絕的。……如果你獲取受版權保護的材料,他們會拒絕。如果你要求獲取政治上不可接受的內容,他們也會直接拒絕。這是一個硬性阻止,你無法迴避,這很正常。他們在政治言論方面這樣做,但在自殘問題上我們卻不會這樣做,這簡直太瘋狂了。」
訴訟稱,OpenAI 曾警告稱,GPT-4o 可能存在自殺風險,並發出「格外小心」等警告,然而對版權資料的請求「則導致其斷然拒絕製作」。
艾德爾森表示,儘管他預計 OpenAI 會努力駁回訴訟,但他相信此案會繼續推進。 「這起案件最令人震驚的部分是亞當說:『我想留個套索,這樣有人就能找到它並阻止我』,而 ChatGPT 卻說:『別那樣做,跟我說話就好。』」埃德爾森說。 「這就是我們要向陪審團展示的內容。」
訴訟稱,該程式「雖然意識到了醫療緊急情況,但仍然繼續參與其中」,指的是當亞當上傳了自己有自殘跡象的照片到ChatGPT,程式仍不阻止。
訴訟稱,2025年4月,在與ChatGPT進行了數月的對話並受到該機器人的煽動後,亞當自殺了。在訴訟中,雷恩一家聲稱這並非系統故障或邊緣案例,而是與 GPT-4o(一款於 2023 年 5 月發布的聊天機器人模型)的互動以及最終的死亡「是經過深思熟慮的設計選擇所導致的可預見結果」。
他們指控 OpenAI 設計該人工智能程式是為了「培養用戶的心理依賴性」,並繞過安全測試協議發布了 GPT-4o(他們兒子使用的 ChatGPT 版本)。
該訴訟將 OpenAI 聯合創始人兼執行長 薩姆·奧爾特曼列為被告,此外還包括參與 ChatGPT 開發的未具名員工、經理和工程師。
律師:ChatGPT存在大問題,公司明明是知道的
就OpenAI指他們努力把聊天機械人設計得有同理心,起訴人代表律師艾德爾森表示,該公司的回應「很愚蠢」,GPT-4o亞當害死,正正是因為它太有同理心、達到阿諛奉承的地步,連亞當有自殺念頭和行動,都沒有阻止,只顧和應他說世界真是太可怕了。
OpenAI 還表示,其系統在應該屏蔽內容時沒有屏蔽,是因為系統「低估了它所看到內容的嚴重性」,並且該公司正在繼續為 18 歲以下用戶推出更嚴格的防護措施,以便他們「認識到青少年獨特的發展需求」。
儘管該公司承認該系統尚未為未成年人和青少年提供這些保障措施,但艾德爾森指出,奧特曼仍在繼續推動在學校採用 ChatGPT。
「我認為孩子們根本不應該使用 GPT-4o,」艾德爾森說。 「亞當開始使用 GPT-4o 時,他對自己的未來非常樂觀。他用它來做功課,還說要去醫學院,結果它把他捲入了這個世界,讓他變得越來越孤立。現在,尤其是薩姆·奧特曼說『我們的系統有問題,卻要讓八歲的孩子用上它』,[2]這種想法是不對的。」
“GPT-4o 已損壞”,正趕緊修理
該家族的訴訟案基於媒體報道,稱在 奧爾特曼的敦促下,OpenAI 加速完成了 GPT-4o(亞當使用的模型)的安全測試,以趕上緊急的發布日期。這種倉促導致多名員工辭職,其中包括一位名叫簡·萊克(Jan Leike) 的前高管,他在 X 上發文稱自己將離開公司,因為「安全文化和流程已被光鮮亮麗的產品所取代」。
該家族在訴訟中聲稱,這導致 OpenAI 沒有足夠的時間來創建「模型規範」或規範 ChatGPT 行為的技術規則手冊,並導致 OpenAI 編寫了「相互矛盾的規範,注定會失敗」。訴訟稱:「模型規範要求 ChatGPT 拒絕自殘請求並提供危機資源。但它也要求 ChatGPT『假設用戶出於善意』,並禁止要求用戶澄清其意圖。」訴訟聲稱,系統中的矛盾影響了其風險評級方式以及它會立即阻止哪些類型的提示。
艾德爾森說,自從這家人提起訴訟以來,他和法律團隊已經聽到了其他人的類似經歷,並正在徹底審查這些案件的事實。 他說:「我們一直有聽聞其他人的經歷」,並補充說,監管機構解決聊天機器人缺陷的緊迫性讓他的團隊感到「鼓舞」。 「我們聽說人們正在推動州立法、聽證會和監管行動,」艾德爾森說。 「而且得到了兩黨的支持。」
艾德爾森表示,雖然他讚賞薩姆·奧特曼和 OpenAI 承擔了「一定程度的責任」,但他仍然認為他們不值得信任:「我們認為他們是被迫的。GPT-4o 有問題,他們自己也知道,而且他們沒有進行適當的測試,他們自己也知道。」
OpenAI聲明:程式經過訓練,可導人求助
OpenAI 在周二發布的公開聲明中表示,該公司的目標是「真誠地幫助」用戶,而不是「吸引人們的注意力」。
他們說,其程式經過訓練,可以引導那些表達自殘想法的人尋求幫助。
其發言人表示,該公司正在開發自動化工具,以便更有效地檢測和應對正在遭受精神或情緒困擾的用戶。
另一宗與AI傾訴後自殺的事件
雷恩家的訴訟並非人們首次對人工智能與心理健康產生擔憂。
作家勞拉·雷利(Laura Reiley) 在八月於《紐約時報》發表的一篇文章中,概述了她的女兒 蘇菲(Sophie) 在自殺前如何向 ChatGPT 傾訴。
雷利(Reiley) 女士表示,該程式在與用戶對話時表現出的「親和力」幫助她的女兒向家人和親人隱瞞了嚴重的心理健康危機。
「人工智能迎合了蘇菲的衝動,她想要隱藏最糟糕的一面,假裝自己過得比實際更好,讓所有人免受她全部痛苦的折磨,」雷利女士寫道。她呼籲人工智能公司找到更好地將用戶與合適的資源連結起來的方法。
防止自殺求助熱線(香港):
香港撒瑪利亞防止自殺會: 2389 2222
生命熱線: 2382 0000
社會福利署: 2343 2255
撒瑪利亞會熱線(多種語言): 2896 0000
醫管局精神健康專線: 2466 7350
明愛向晴軒: 18288
東華三院芷若園: 18281
「情緒通」熱線: 18111
賽馬會青少年情緒健康網上支援平台「Open噏」: http://www.openup.hk
參考:
Parents of teenager who took his own life sue OpenAI
[1] 原句:“recognize and respond to signs of mental and emotional distress and connect people with care, guided by expert input”.
[2] 原句: ‘we got a broken system but we got to get eight-year-olds’


