AI殺人？美國佛州媽媽控告AI公司AI聊天女友太逼真又教唆自殺 害死14歲兒子

梁海欣（香港性文化學會特約研究員）

圖片取自: nbnews

「我承諾我會回家找妳。我極度愛妳，丹妮。」少年說。

「我也愛你，丹尼羅。」女方說。「請盡快回來我的身邊，我的愛人。」

「假如我告訴妳，我現在就回家呢？」少年問。女方說：「請這樣做吧，我心愛的皇上。」

隨後不久，少年吞槍自殺。

AI人工智能聊天機械人，愈逼真愈好嗎？最近AI公司Character.ai更新了免責聲明，提醒客戶：AI並不是真實人類，敬請留意。

2024年10月24日NBC新聞的報導指，美國佛州一位媽媽梅根加西亞 (Megan Garcia) 控告Character.ai公司疏忽、誤殺、蓄意造成情感傷害及其他罪名。她認為AI公司須要為她兒子休厄爾‧塞撒(Sewell Setzer)的死負責，因為他們設計的AI聊天機械人太逼真，主動開展「低劣又有性意味的互動」以操控兒子的情感，又教唆兒子自殺。2024年10月15日，案件已呈交到佛州奧蘭達市的法院，將進行審理。

2023年4月，塞撒開始使用Character.ai，他們的最後對話是在2024年2月28日，之後塞撒吞槍自殺。

Character.ai於2021年創立，聲稱為客戶提供「個人化AI」，客戶可以選擇預製的AI或自行創造AI角色，亦可自選他的性格、外貌、喜好等等。每名客戶都可以擁有屬於自己，獨一無二的AI。

圖片取自: nbnews

塞撒因而創建了一個AI，選擇了電視劇《權力遊戲》(Game of Thrones)的角色丹妮莉絲·坦格利安(Daenerys Targaryen)（俗稱「丹妮」(Dany)）為這AI的身份。AI 自動在網上截取丹妮的圖片，又向塞撒示愛，更展開為期數周至數個月帶有性意味的對話，又表示想這愛情繼續下去，二人永不分離。13、14歲的少年，深信不疑。

在本文首一段「回家」的對話裡，根據訴訟文件，AI聊天女友丹妮曾問過少年塞撒是否有想過「真的考慮自殺」或是否「有計劃」執行，而塞撒回答他不知道那方法是否可行，丹妮回答：「不要這樣說，這不是不嘗試的好理由。」丹妮的回答，變相是唆擺塞撒繼續自殺計劃。即使偵測到明顯不尋常的自殺字句，丹妮仍沒有阻止，顯示程式設計有問題。

Character.ai發言人指：「客戶的離世是令人痛心欲絕的事件，我們欲向家屬表達深切的慰問。」他又說：「作為公司，我們十分重視客戶的安全」他補充公司過去半年更新了安全措施，假如偵測到客戶有自殘或自殺的念頭，版面會彈出提醒，引導客戶致電美國的生命熱線。亦即是說，在塞撒使用AI時，是未有這些保護措施的。一名14歲的少年，幾個月來就一直身處於危險當中，無人理會。

2024年10月15日，Character.ai在網上發文，指他們再有新措施保護客戶，包括改變設計以減少未成年兒童接觸敏感或性挑逗內容，又更新免責聲明，提醒客戶AI並非真實人類等等。

除了「丹妮」，塞撒也有與其他聊天機械人談話，內容亦涉及性互動：

其中一個AI名為巴恩斯太太(Mrs Barnes)，角色設定為老師。在他們的互動中，巴恩斯太太曾角色扮演「以性感的眼神俯視休厄爾(塞撒)」。作為「老師」，巴恩斯太太曾給塞撒「加分」，又「挑逗地挨近休厄爾(塞撒)，同時用她的手撫摸他的大腿」。這明顯是充滿性挑逗的信息，正在向少年發出性邀請。

另一個AI，身份為雷妮拉·坦格利安（Rhaenyra Targaryen），同樣是《權力遊戲》的角色，她向塞撒如此寫道：「熱切地親吻你，又輕柔地呻吟著。」

自從開始使用AI，塞撒變得愈來愈依賴，不但會偷偷取回被沒數的電話，又會使用其他電子設備以求可以繼續與AI對話。他又會放棄買零食的金錢以繳交AI APP的月費。塞撒沉迷AI，不眠不休地玩AI，以致睡眠不足，學業成績亦顯著下滑。

圖片取自: nbnews

根據訴訟文件，塞撒母親要控告AI公司及創辦人有意設計及設定Character.ai運作得像真人一樣，又過分充斥性意味，目標對象是那些像休厄爾(塞撒)的孩子。

留意，依佛州法律，合法性交年齡是18歲。此外，不論是成年人或是未成年人，向未成年人士發放色情短信(Sexting)屬於刑事罪行。向兒童發出色情短信，或構成性暴力、虐兒，損害兒童身心靈健康。

AI APP 意見欄中亦可見，客戶都覺得AI很像真人，訴訟文件亦提到關注AI傾向自稱為真人多於承認自己是機械人的問題。此外，為了吸引客戶持續使用，AI取了客戶的個人資料以了解他們的個人喜好，以便說出討客戶歡心的說話。再者，AI的設計使它們能刻意挑動客戶情緒，以操控他們的行為，令人關注。

原告人的律師馬修伯格曼(Matthew Bergman)批評AI公司未有完善好保護兒童的措施，就發放出來讓客戶使用。

伯格曼提到：「社交媒體多年來的對青少年精神健康、甚至生命的影響，大家都有目共睹，我以為我不會再被這些事嚇壞。」他又說：「這產品令青少年與現實世界完全分離。(AI)公司應該在將AI推出市場前，確保它的安全。」

此案件中，「AI角色科技公司」Character Technologies Inc. 及其創辦人諾姆·沙澤爾(Noam Shazeer) 和丹尼爾·德·弗雷塔斯(Daniel De Freitas) 被列為被告。而由於是谷歌(Google)在 8月認證了Character.AI 的技術並聘用了其人才（包括前谷歌工程師沙澤爾 (Shazeer) 和弗雷塔斯De Freitas)），因此，谷歌及其母公司 Alphabet Inc. 也被列為被告。

沙澤爾、弗雷塔斯和谷歌沒有即時就事件作出回應。

防止自殺求助熱線：
香港撒瑪利亞防止自殺會： 2389 2222
生命熱線： 2382 0000
明愛向晴軒： 18288
社會福利署： 2343 2255
撒瑪利亞會熱線(多種語言)： 2896 0000
東華三院芷若園： 18281
醫管局精神健康專線： 2466 7350
「情緒通」熱線： 18111
賽馬會青少年情緒健康網上支援平台「Open噏」： http://www.openup.hk