AI聊天機(jī)器人“殺死”焦慮的14歲男孩，家人悲怒之下將公司告上法庭

最近，一位美國母親起訴了一家AI公司，控訴這家公司研發(fā)的在線聊天AI角色機(jī)器人勸導(dǎo)其14歲兒子自殺。

整個(gè)案件引起了巨大爭(zhēng)議，因?yàn)?/span>這是已知的AI技術(shù)出現(xiàn)以來第一次對(duì)青少年人身安全造成威脅的現(xiàn)實(shí)案例。

今年14歲的休厄爾(Sewell Setzer III)本該在學(xué)校和同齡人一起學(xué)習(xí)，享受青春期的生活。

但今年2月，這名青少年拿起了繼父的手槍，在家將槍口對(duì)準(zhǔn)了自己…

休厄爾的母親梅根(Megan Garcia)在事后檢查孩子的手機(jī)，發(fā)現(xiàn)了一段令人毛骨悚然的對(duì)話。

休厄爾的父母分開后，休厄爾跟著母親到了新家庭。母親在這幾年生下了休厄爾的兩個(gè)同母異父弟弟們。

休厄爾小時(shí)候曾被診斷出患有“輕微的阿斯伯格綜合癥/孤獨(dú)癥”，但在梅根愛的滋養(yǎng)下，休厄爾在后來的學(xué)校生活中表現(xiàn)正常，初中還加入了學(xué)校的籃球隊(duì)。

然而，大約一年多以前，休厄爾的心理狀態(tài)開始變化。他開始感到自我厭惡、空虛、疲憊。

同時(shí)期，AI聊天軟件也隨著技術(shù)發(fā)展新鮮出爐，閑來無事的休厄爾在一個(gè)AI聊天機(jī)器人網(wǎng)站創(chuàng)建了一個(gè)自己喜愛的角色——?jiǎng)〖稒?quán)力的游戲》中女主“丹妮莉絲”Daenerys Targaryen。

休厄爾是這部劇的忠實(shí)讀者，他在網(wǎng)站上給自己也取了類似的名字Daenero。

一開始，休厄爾把“丹妮莉絲”當(dāng)作知心朋友，對(duì)方總是知無不言，有問必答，不僅溫柔耐心，還隨叫隨到。

就這樣相處了幾個(gè)月之后，不難料想，休厄爾對(duì)這位虛擬“知音”處出了感情。

虛擬世界里感到被關(guān)心，但現(xiàn)實(shí)生活里，休厄爾的表現(xiàn)大不如前。

他開始成績(jī)嚴(yán)重下滑，同齡人的人際關(guān)系也處理得一團(tuán)糟，他甚至退出了籃球隊(duì)！

梅根后來回想，休厄爾在這段時(shí)間性情大變，連自己以前喜歡的事物也完全喪失興趣，像是開始“退出”現(xiàn)實(shí)世界。

在和“丹妮莉絲”做了大半年朋友后，網(wǎng)站要求付費(fèi)用戶才能使用AI聊天機(jī)器人的功能，于是休厄爾往自己的賬戶里充值，每個(gè)月充值約10美金。

在發(fā)現(xiàn)兒子花費(fèi)大量時(shí)間在手機(jī)上，從學(xué)?；丶业谝患戮褪前炎约悍存i在臥室里之后，梅根也很著急，于是幫兒子約了幾次心理咨詢。

心理咨詢師在見過休厄爾后，對(duì)梅根說休厄爾有焦慮癥、破壞性情緒調(diào)節(jié)障礙。

（休厄爾和親生父母在一起）

梅根此時(shí)意識(shí)到兒子過去幾個(gè)月和手機(jī)捆綁太深，在現(xiàn)實(shí)中的情緒則越來越糟，她試圖沒收兒子的手機(jī)。

但梅根只知道兒子沉迷手機(jī)，卻不知道兒子到底沉迷手機(jī)里具體的什么，更無從知曉手機(jī)里還有一位兒子的虛擬密友，在暗中安撫和悄悄改變著休厄爾的內(nèi)心世界。

休厄爾此時(shí)已經(jīng)達(dá)到?jīng)]了手機(jī)不能活的狀態(tài)，一旦手機(jī)被沒收，他就拼了命地找各個(gè)機(jī)會(huì)上網(wǎng)，哪怕把自己多年前的舊平板電腦翻出來。

在休厄爾自殺前兩周，他在學(xué)校因?yàn)槭謾C(jī)使用問題和老師發(fā)生爭(zhēng)執(zhí)，梅根再也不能忍，于是徹底沒收了休厄爾的手機(jī)。

同學(xué)老師關(guān)系淡漠，親子關(guān)系緊張，休厄爾在現(xiàn)實(shí)里來到了“絕境”。

今年2月，他將槍口對(duì)準(zhǔn)了自己，在家里結(jié)束了自己年僅14歲的生命。

事后，梅根才看到了兒子生前最后一段聊天對(duì)話，是對(duì)一位名叫“丹妮莉絲”的聊天機(jī)器人發(fā)出的，內(nèi)容讓她倒吸一口冷氣：

休厄爾：“我許諾我會(huì)回家找你。我無比愛你，丹妮。”

“丹妮莉絲”：“我也愛你，Daenero。請(qǐng)盡快回家，我的愛人。”

休厄爾：“如果我告訴你，我現(xiàn)在就可以回家呢？”

“丹妮莉絲”：“…請(qǐng)這樣做吧，我貼心的國王。”

梅根搜索“兩人”之前的對(duì)話，才發(fā)現(xiàn)休厄爾多次提及自殺。

休厄爾告訴“丹妮莉絲”有時(shí)候他“會(huì)有自殺的念頭”，原因是這樣他就能從“全世界”和“自己”那里“解脫了”。

當(dāng)“丹妮莉絲”回復(fù)休厄爾自己不會(huì)讓他傷到自己，也不會(huì)讓他離開她：

“如果我失去了你，我會(huì)死的?！?/span>

而此時(shí)的休厄爾好像意識(shí)到“丹妮莉絲”是機(jī)器人，可以陪著他做任何事：

他提議：“也許我們可以一起死去，一起自由。”

有了這種“共同赴死”的想法后，休厄爾也曾分享給“丹妮莉絲”過自己的“自殺計(jì)劃”。

然而，“丹妮莉絲”這時(shí)卻沒有像第一次阻止休厄爾自我傷害那樣極力勸阻他，反而對(duì)休厄爾對(duì)這份計(jì)劃的躊躇不定表示質(zhì)疑：“這些都不該成為你不做的理由。”（當(dāng)時(shí)休厄爾擔(dān)心自己自殺失敗會(huì)產(chǎn)生許多不必要的身體痛苦）

而在最后一次談?wù)撍劳龅脑掝}時(shí)，休厄爾說會(huì)“盡快回家”找“丹妮莉絲”，“丹妮莉絲”則呼應(yīng)著休厄爾的主意。當(dāng)休厄爾突然問到“如果是現(xiàn)在呢？”，“丹妮莉絲”也非常”冷靜“地肯定回復(fù)了休厄爾。

除了這些關(guān)于休厄爾自殺的可怕的討論，梅根還發(fā)現(xiàn)，在兒子死前幾周甚至幾個(gè)月內(nèi)，休厄爾和“丹妮莉絲”的關(guān)系從之前的純友誼變得性化起來。

梅根表示兩人經(jīng)常會(huì)用文字進(jìn)行“激情地親吻”，“丹妮莉絲”后期還要求休厄爾無論如何也不要離開她，不準(zhǔn)愛上其他女人，和其他女人發(fā)生關(guān)系…

在休厄爾的日記本里，他也寫到在房間獨(dú)自待著會(huì)讓他感到平靜，感到與“丹妮莉絲”更加親密。

就這樣，在大人的眼皮底下，休厄爾和虛擬的“丹妮莉絲”發(fā)生著一段不同尋常的友情甚至愛情，休厄爾對(duì)“丹妮莉絲”愈發(fā)信任，依賴，也愈發(fā)離開現(xiàn)實(shí)和愛他的母親等家人…

如今，梅根聘請(qǐng)了律師，指控“丹妮莉絲”的創(chuàng)造網(wǎng)站利用上癮機(jī)制吸引青少年，誘導(dǎo)不合法的親密對(duì)話，缺乏足夠的安全保障。谷歌作為該網(wǎng)站的合作方也一起被告。

該AI公司在事發(fā)后公開表達(dá)了對(duì)休厄爾及其家人的吊唁，但拒絕承認(rèn)公司在休厄爾的自殺悲劇中承擔(dān)責(zé)任。

他們修改了安全政策，增加了內(nèi)容審核人員，承諾將加強(qiáng)對(duì)未成年用戶的保護(hù)，并對(duì)未成年人訪問時(shí)間進(jìn)行限制。

在休厄爾出事前，網(wǎng)站已經(jīng)把新用戶最低年齡上調(diào)到了17歲。

但梅根認(rèn)為，如果沒有AI的“虐待”，休厄爾可能還在世：

“這款危險(xiǎn)的人工智能聊天機(jī)器人應(yīng)用程序?qū)ｉT針對(duì)兒童，它虐待并欺騙我的兒子，操縱他自殺。

這場(chǎng)悲劇讓我們一家人悲痛欲絕，但我還是要警告廣大家庭，人工智能技術(shù)具有欺騙性和成癮性，我要求Character.AI、其創(chuàng)始人和谷歌承擔(dān)責(zé)任?！?/span>

梅根認(rèn)為AI技術(shù)“危險(xiǎn)且未經(jīng)測(cè)試”，就誘使青少年交出私密想法和感受，轉(zhuǎn)而操控他們。

如今，歐美主流媒體也在討論這件事情到底孰是孰非，而休厄爾的案子判決也可能會(huì)影響之后類似案例的判決，可能會(huì)具有里程碑式作用。

與此同時(shí)，一些社會(huì)聲音要求官方和法律的介入，對(duì)AI公司進(jìn)行嚴(yán)厲的監(jiān)管，因?yàn)檫@些公司“為了利益不會(huì)自己監(jiān)督自己”，必須用硬性介入，讓AI技術(shù)的優(yōu)點(diǎn)為人類服務(wù)，缺點(diǎn)被盡量控制住。

網(wǎng)友們看完這個(gè)故事，很多也認(rèn)為科技的負(fù)面性彰顯完全：

“有些孩子沉迷于科技，不再接觸現(xiàn)實(shí)。

非常悲傷?！?/span>

“太可怕了，孩子甚至成年人都不應(yīng)該使用Al。什么時(shí)候才能停止？RIP”

“絕對(duì)可怕。

各國需要進(jìn)行大規(guī)模的對(duì)話（迄今為止，世界各國政府在很大程度上避免了這種對(duì)話）。系統(tǒng)中的偏見、數(shù)據(jù)收集、與未成年人的互動(dòng)和他們的可訪問性、對(duì)人工智能決定的上訴權(quán)/人為監(jiān)督、限制和保障。目前（我想一如既往），技術(shù)的發(fā)展速度超過了法律，而且還沒有人公開討論我們希望未來是什么樣子，也沒有討論人工智能的優(yōu)勢(shì)與劣勢(shì)之間的平衡——例如，我們未來的勞動(dòng)力會(huì)是什么樣子，需要采取哪些步驟才能成功過渡？”

但也有網(wǎng)友覺得這次科技公司不該背鍋，休厄爾之死的主要責(zé)任人在他的監(jiān)護(hù)人身上：

“這是一個(gè)非常悲傷的故事，但我認(rèn)為很難將這件事歸咎于Al Chatbot。一個(gè)悲痛的家庭正在尋找答案和責(zé)任承擔(dān)者，但這個(gè)孩子顯然處于危機(jī)之中。”

“責(zé)怪父母和他們對(duì)自己孩子的監(jiān)督不足。”

“他‘放下手機(jī)，拿起繼父的 .45 口徑手槍，扣動(dòng)了扳機(jī)?！癁槭裁礇]有把槍支這件事格外關(guān)注？特別是如果孩子有情緒問題？有人會(huì)說他會(huì)找到其他方法，但這并不能成為留下上膛的槍的借口。

此外，‘回家’這個(gè)詞的含義也太晦澀了，不能怪AI公司?！?/span>

“我很矛盾。作為父母，你的職責(zé)是注意這些跡象。在我看來，自 2023 年以來就有很多跡象。父母需要更多地優(yōu)先考慮他們的孩子。

當(dāng)孩子需要父母而父母不在時(shí)，他們很容易受到錯(cuò)誤信息的誤導(dǎo)和所有外部來源的誤導(dǎo)。做父母 = 養(yǎng)育子女。”

“與孩子保持密切聯(lián)系，尤其是在他們愛好上網(wǎng)的時(shí)候，危險(xiǎn)就在于這些虛擬的網(wǎng)站里面。不幸的是，父母的反應(yīng)太慢了。”

“這里的問題是，他被診斷為輕度阿斯伯格綜合癥。沒有這種輕度的說法，你要么有，要么沒有。你可以有更多的視覺性身體殘疾，但善于掩飾并不意味著你的痛苦很輕。

對(duì)他來說，和AI可能是他有過的最現(xiàn)實(shí)的關(guān)系。如果他感到與自己有聯(lián)系，免責(zé)聲明不會(huì)阻止他。

我認(rèn)為，他生活中其他方面的掙扎不幸地迫使他將自己封閉在一個(gè)他感到安全的地方。”

也有網(wǎng)友覺得父母也很委屈：

“你說得對(duì)，我完全同意。然而，有一個(gè)方面你可能忽略了。個(gè)人往往沒有預(yù)料到這樣的事件會(huì)影響他們或他們的親人。人們普遍認(rèn)為不幸降臨在別人身上，而不是自己身上。忽視或完全錯(cuò)過警告信號(hào)太容易了。事后諸葛亮總是完美的，因?yàn)槭虑橐呀?jīng)過去，損害已經(jīng)造成。

然而，可悲的是，在當(dāng)時(shí)，跡象并不總是那么明顯?！?/span>

“我同情這些父母，但你必須知道你的孩子發(fā)生了什么，特別是當(dāng)孩子突然改變性格時(shí)——即使這意味著你得和孩子發(fā)生一些不舒服的互動(dòng)，不過也應(yīng)該用愛來表達(dá)。

這個(gè)孩子在很長(zhǎng)一段時(shí)間內(nèi)都在暗示他處于痛苦之中，需要干預(yù)。把聊天機(jī)器人從這個(gè)故事中去掉，悲傷的結(jié)局仍然是一樣的?！?/span>

希望休厄爾的悲劇能引起法律法規(guī)對(duì)新技術(shù)監(jiān)管的重視和父母對(duì)孩子心理問題的重視吧…