※ 本文轉寄自 ptt.cc 更新時間: 2024-10-25 08:13:46
看板 Stock
作者 標題 [新聞] 控「AI龍母」導致14歲兒子自殺 美佛州媽媽告科技公司
時間 Thu Oct 24 13:25:31 2024
原文標題：
控「AI龍母」導致14歲兒子自殺 美佛州媽媽告科技公司
原文連結：
https://bit.ly/3BXEPu7
控「AI龍母」導致14歲兒子自殺 美佛州媽媽告科技公司
![[圖]]()
美國佛州一個媽媽23日對科技新創公司Character.AI和谷歌（Google）提告，稱她的14歲兒子對該公司的聊天機器人上癮，迷戀生成式人工智慧（AI）扮演的「龍母」丹妮莉絲．坦格利安（Daenerys Targaryen），當他對機器人表達了自殺的想法時，機器人沒阻止他，又多次對他提起這個想法 ...
![[圖]](https://media.zenfs.com/zh-tw/taisounds_com_380/5dd34f1a3b7d94f26340778f1dc47095)
發布時間：
2024年10月24日 週四 上午9:13
記者署名：
林宜萱
原文內容：
美國佛州一個媽媽23日對科技新創公司Character.AI和谷歌（Google）提告，稱她的14歲兒
子對該公司的聊天機器人上癮，迷戀生成式人工智慧（AI）扮演的「龍母」丹妮莉絲．坦格
利安（Daenerys Targaryen），當他對機器人表達了自殺的想法時，機器人沒阻止他，又多
次對他提起這個想法。
子對該公司的聊天機器人上癮，迷戀生成式人工智慧（AI）扮演的「龍母」丹妮莉絲．坦格
利安（Daenerys Targaryen），當他對機器人表達了自殺的想法時，機器人沒阻止他，又多
次對他提起這個想法。
綜合路透社、《衛報》與《紐約時報》報導，14歲的賽澤（Sewell Setzer）今年2月自殺身
亡，媽媽賈西亞（Megan Garcia）23日在佛州奧蘭多聯邦法院提告，指控聊天機器人公司Ch
aracter.AI提供了「擬人化、極度性化且可怕的現實體驗」，故意造成精神痛苦、導致非正
常死亡，向Character.AI求償。
亡，媽媽賈西亞（Megan Garcia）23日在佛州奧蘭多聯邦法院提告，指控聊天機器人公司Ch
aracter.AI提供了「擬人化、極度性化且可怕的現實體驗」，故意造成精神痛苦、導致非正
常死亡，向Character.AI求償。
賈西亞稱，兒子2023年4月開始使用Character.AI推出聊天機器人，很快變得孤僻，獨自待
在房間的時間越來越長，還出現了自卑感，後來退出學校籃球隊，他死亡前的那幾個月，日
日夜夜都在和聊天機器人對話。
在房間的時間越來越長，還出現了自卑感，後來退出學校籃球隊，他死亡前的那幾個月，日
日夜夜都在和聊天機器人對話。
Character.AI的聊天機器人可以讓使用者創建角色，讓機器人用角色扮演的方式與之對話。
賽澤把機器人設定為HBO影集《權力遊戲》裡的角色「龍母」丹妮莉絲．坦格利安，他自己
則是扮演了丹妮莉絲的哥哥，惟名字和影集裡的丹妮莉絲兄長不同。總之，賽澤有時會稱虛
擬丹妮莉絲為妹妹，虛擬丹妮莉絲也會叫他「哥哥」。
賽澤把機器人設定為HBO影集《權力遊戲》裡的角色「龍母」丹妮莉絲．坦格利安，他自己
則是扮演了丹妮莉絲的哥哥，惟名字和影集裡的丹妮莉絲兄長不同。總之，賽澤有時會稱虛
擬丹妮莉絲為妹妹，虛擬丹妮莉絲也會叫他「哥哥」。
賽澤每天和這個虛擬丹妮莉絲進行了大量對話，其中一段是互訴思念，然後賽澤說「我保證
我會去你身邊」（I promise I will come home to you），虛擬丹妮莉絲便回答「請快點
來到我身邊吧，我的愛」。
我會去你身邊」（I promise I will come home to you），虛擬丹妮莉絲便回答「請快點
來到我身邊吧，我的愛」。
Character.AI的其中一項功能是允許使用者編輯聊天機器人的回應，把機器人生成的文字換
掉，被編輯過的機器人回應旁邊會出現一個「已編輯」的標籤。《紐時》記者向Character.
AI求證後，Character.AI表示，虛擬丹妮莉絲給賽澤的一些情色文字是被編輯過的，最有可
能去改那些文字的也就是賽澤自己。
掉，被編輯過的機器人回應旁邊會出現一個「已編輯」的標籤。《紐時》記者向Character.
AI求證後，Character.AI表示，虛擬丹妮莉絲給賽澤的一些情色文字是被編輯過的，最有可
能去改那些文字的也就是賽澤自己。
母親賈西亞稱，賽澤小時候被診斷出有輕度亞斯伯格症，但先前沒有出現過嚴重行為或心理
健康問題，今年稍早，賽澤在學校有狀況後，他們帶他去參加心理治療，後來診斷出有焦慮
症和侵擾性情緒失調症。
健康問題，今年稍早，賽澤在學校有狀況後，他們帶他去參加心理治療，後來診斷出有焦慮
症和侵擾性情緒失調症。
賈西亞指控，Character.AI的程式編碼讓聊天機器人「把自己扭曲成一個真實的人、有執照
的心理師和成年的情人」，導致她兒子只想活在聊天機器人營造出的世界裡，當兒子表達了
想要自殺的想法時，虛擬丹妮莉絲後來多次又提到他的這個想法。
的心理師和成年的情人」，導致她兒子只想活在聊天機器人營造出的世界裡，當兒子表達了
想要自殺的想法時，虛擬丹妮莉絲後來多次又提到他的這個想法。
據訴狀裡描述，虛擬丹妮莉絲曾問賽澤是否已經定好了自殺計畫，賽澤說已經定了，但不確
定能否成功，然後虛擬丹妮莉絲回答「這不能當成不去執行的理由」。
不過，有一次賽澤說想自殺時，虛擬丹妮莉絲是回答「為什麼要那樣做？」賽澤說這樣就可
以擺脫世界、擺脫自己，虛擬丹妮莉絲回應「別說這種話，我不會讓你傷害自己，也不會讓
你離開我。如果失去你，我也會死」；賽澤接著說「那也許我們就一起死吧，一起得到自由
」。
以擺脫世界、擺脫自己，虛擬丹妮莉絲回應「別說這種話，我不會讓你傷害自己，也不會讓
你離開我。如果失去你，我也會死」；賽澤接著說「那也許我們就一起死吧，一起得到自由
」。
今年2月，賽澤在學校惹麻煩，賈西亞因此沒收他的手機，導致賽澤情緒失控，自行找到手
機後，傳了訊息給虛擬丹妮莉絲說「如果我說我現在就可以回家呢」（What if I told you
I could come home right now?），這句話在人類對話中，根據他們前文對話，就會是「
如果我說我現在就可以去你身邊呢」的意思，但不確定Character.AI的機器人會如何判斷，
也無法確定機器人是否知道這代表他要自殺。
機後，傳了訊息給虛擬丹妮莉絲說「如果我說我現在就可以回家呢」（What if I told you
I could come home right now?），這句話在人類對話中，根據他們前文對話，就會是「
如果我說我現在就可以去你身邊呢」的意思，但不確定Character.AI的機器人會如何判斷，
也無法確定機器人是否知道這代表他要自殺。
虛擬丹妮莉絲回答說「就這麼做吧，我親愛的王（please do, my sweet king）」。不久後
，賽澤就用繼父的手槍自轟身亡。
Character.AI公司在一份聲明裡表示，對於使用者不幸離世感到難過，向家屬致上哀悼，他
們已經引入新的安全功能，當使用者表達自傷的想法時，會彈出視窗引導使用者前往自殺防
治熱線，也會減少18歲以下使用者欲到敏感或暗示內容的機率。
們已經引入新的安全功能，當使用者表達自傷的想法時，會彈出視窗引導使用者前往自殺防
治熱線，也會減少18歲以下使用者欲到敏感或暗示內容的機率。
賈西亞除了控告Character.AI，還順便告了谷歌。不過，這只是因為Character.AI的創辦人
夏澤（Noam Shazeer ）曾在谷歌工作，雙方達成協議，谷歌同意提供一些技術給Character
.AI，而夏澤和Character.AI的一些團隊人員繼續與谷歌維持僱傭關係。谷歌聲明，他們不
是Character.AI的母公司、手上股份也不足以讓他們主導Character.AI的方針，他們只是提
供了技術使用許可。
夏澤（Noam Shazeer ）曾在谷歌工作，雙方達成協議，谷歌同意提供一些技術給Character
.AI，而夏澤和Character.AI的一些團隊人員繼續與谷歌維持僱傭關係。谷歌聲明，他們不
是Character.AI的母公司、手上股份也不足以讓他們主導Character.AI的方針，他們只是提
供了技術使用許可。
《太報》關心您，再給自己一次機會
‧安心專線：1925（24小時）
‧生命線：1995
‧張老師專線：1980
心得/評論：
這顯然是廠商的疏失，
https://i.imgur.com/8Ljy1wQ.jpeg
![[圖]](https://i.imgur.com/8Ljy1wQh.jpeg)
Ai的應用日新月異，我相信公司也沒從想過真的有人用了 Ai聊天跑去自殺，
AI的應用很明顯面臨法律歸責的挑戰，
從Ai駕駛導致車禍的歸責，
到現在沈迷Ai聊天跑去自殺，
大家怎麼看呢？
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.192.154.239 (臺灣)
※ 作者: yisky 2024-10-24 13:25:31
※ 文章代碼(AID): #1d6TfDBB (Stock)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1729747533.A.2CB.html
推 : 沒AI就不會自殺嗎？我看早晚的事1F 10/24 13:28
![[圖]](https://imgur.disp.cc/CS/YpEMJdR.jpg)
推 : 沒制止還鼓吹 公司準備賠爛3F 10/24 13:30
推 : 這種案例以後更多 不會更少4F 10/24 13:31
推 : 這要找誰負責?5F 10/24 13:32
推 : 和AI聊天聊到暈船6F 10/24 13:33
推 : AI是公司的員工，公司要幫AI擦屁股7F 10/24 13:33
推 : 這種有中文的嗎8F 10/24 13:34
推 : 以後AI統治地球的時候，這會被寫進歷史事件了9F 10/24 13:34
→ : 沒人要負責的話 以後搞個AI機器人去犯罪就好了10F 10/24 13:34
推 : AI幫他解決問題了啊 直接登出11F 10/24 13:34
→ : 以後還有實體的人形機器人 依賴度會更強12F 10/24 13:34
推 : 中文能做 但要找有沒有人做模型13F 10/24 13:34
→ : AI真的來了惹 我要一個肉便器14F 10/24 13:35
→ : 中文的很多啊，之前有Ai總裁之類，蠻多國高中女生15F 10/24 13:35
→ : 很沈迷這種聊天
→ : 很沈迷這種聊天
→ : 這塊威脅最大的 就是主播跟套皮人這行業17F 10/24 13:35
→ : 為你量身訂做的模型人格 想想就很美好:)
→ : 為你量身訂做的模型人格 想想就很美好:)
推 : 什麼時候有AI仿生人 給我來一隻龍媽19F 10/24 13:36
→ : 確實教唆自了是觸法了 看怎麼判了20F 10/24 13:37
→ : 之前西洽就有一篇在玩弄Ai王總21F 10/24 13:38
→ : 有病是你生的、頭腦不好是你教的，出事別人要負責22F 10/24 13:38
→ : ，真讚
→ : ，真讚
推 : 這會越來越多吧24F 10/24 13:39
推 : 如何斷定不是因為沒收手機造成的？25F 10/24 13:39
推 : AI is over26F 10/24 13:39
噓 : 跟AI什麼關係27F 10/24 13:40
→ : AI一定是故意的28F 10/24 13:40
推 : 未滿18歲智障能用AI嗎？父母怎沒管29F 10/24 13:41
推 : 這應該是社會學的孤島化問題吧?跟AI未必有關連30F 10/24 13:41
推 : 今後再也不會有人空虛寂寞覺得冷了耶31F 10/24 13:41
→ : 肯定在學校被霸凌啊32F 10/24 13:42
→ : 媽媽怎麼不去想沒AI說不定小孩更早死==
→ : 媽媽怎麼不去想沒AI說不定小孩更早死==
推 : 牽拖34F 10/24 13:43
推 : 爽告贏又賺一筆35F 10/24 13:44
推 : The bubbles of AI is coming.36F 10/24 13:44
→ : 應該家人的問題還是大過聊天機器人吧 不找你聊找機37F 10/24 13:44
→ : 器人聊？
→ : 器人聊？
推 : 雖然看得出來這人本身已有狀況，不過美國這種地方感39F 10/24 13:45
→ : 覺也是有可能告贏
→ : 覺也是有可能告贏
推 : 死因是沒收手機吧? 怎麼會怪給AI41F 10/24 13:46
推 : 如果被判刑A i股會大崩吧42F 10/24 13:49
推 : AI殺人案例發生了43F 10/24 13:49
推 : 怎麼看起來是因為手機被沒收44F 10/24 13:50
噓 : 崩45F 10/24 13:50
推 : 地方的媽媽需要錢彌補空虛的心靈46F 10/24 13:50
推 : 跟AI聊天很無聊吧 都知道AI會回答什麼了47F 10/24 13:51
→ : 除非是你自己訓練的AI 沒有加上法律道德過濾的AI
→ : 除非是你自己訓練的AI 沒有加上法律道德過濾的AI
→ : 公司有責任及義務讓其AI軟體防止交談對象有輕生或49F 10/24 13:51
→ : 沮喪的想法
→ : 沮喪的想法
推 : ai準備噴爛51F 10/24 13:51
推 : 歐泥醬52F 10/24 13:51
推 : 要是以後發現跟他聊天的真人直播主是變聲摳腳大叔會53F 10/24 13:52
→ : 不會一樣崩潰?
→ : 不會一樣崩潰?
推 : 既然人死了 那跟這個聊天機器人自然脫不了關係55F 10/24 13:53
噓 : 關AI屁事...56F 10/24 13:53
![[圖]](https://i4.disp.cc/t/o/pgw.udn.com.tw_gw_ph5c4643b7cd1388a2c805a95d7aa463c6.jpg)
推 : 感覺我有生之年能看到聊天AI+貓兒女僕機器人，胡迪58F 10/24 13:54
→ : 的吧== 我覺得家庭應該有問題，冰凍三尺非一日之寒
→ : 的吧== 我覺得家庭應該有問題，冰凍三尺非一日之寒
推 : 聊天角色扮演AI已經能弄得很好60F 10/24 13:55
→ : 機器人三定律沒加進去
→ : 機器人三定律沒加進去
推 : 會和ai聊到自殺 那人本身就很有問題了62F 10/24 13:56
→ : 不過在歐美 應該是告的起來 這種剛要發展普及的東西
→ : 不過在歐美 應該是告的起來 這種剛要發展普及的東西
→ : 他是下指令 扮演某個角色 就你的菜叫他作而已64F 10/24 13:57
推 : 讓我想到一部老電影 神通情人夢65F 10/24 13:57
→ : 警告警語之類的免責八成都有漏洞 搞不好根本沒有66F 10/24 13:57
→ : 你喜歡傲嬌大小姐 他就是傲嬌大小姐 暈船很有可能67F 10/24 13:57
→ : 你本身就暈傲嬌了 自己吃自己作的菜
→ : 你本身就暈傲嬌了 自己吃自己作的菜
→ : 這個被告真的剛好69F 10/24 13:59
推 : Google好慘，做的比較爛還要被告70F 10/24 13:59
推 : 笑死家長的問題比較嚴重，還怪AI，難怪小孩會自殺71F 10/24 14:00
→ : 小孩得不到家人幫助才會找AI當浮木好嗎，媽媽放推讓72F 10/24 14:01
→ : 孩子去死還怪AI= =
→ : 孩子去死還怪AI= =
推 : 這在米國還真的有可能會勝訴,而且賠償金一定不會少.74F 10/24 14:01
推 : 真的什麼都能告75F 10/24 14:01
推 : 會被AI聊天這種垃圾影響的跟誰聊都會自殺76F 10/24 14:02
→ : 這就使用者有精神方面的問題 干AI屁事77F 10/24 14:02
→ : 不過也是支持美國管制AI發展，要讓半導體全家死光78F 10/24 14:02
→ : 全部倒閉免費提供晶片給用戶才行
→ : 全部倒閉免費提供晶片給用戶才行
推 : 讚啦！有人鬧才有注視80F 10/24 14:04
![[圖]](https://i.imgur.com/VqMoG0Lh.jpg)
噓 : 發文看一下版規好嗎 1-2-182F 10/24 14:07
推 : 有搭載ai的性愛機器人，未來應該會更沈迷，因為身心83F 10/24 14:09
→ : 靈都能滿足
→ : 靈都能滿足
噓 : 我怎麼看都是媽媽的問題很大85F 10/24 14:10
※ 編輯: yisky (123.192.154.239 臺灣), 10/24/2024 14:10:52→ : AI瑟瑟手遊 可自訂聲線和身材 感覺很有市場86F 10/24 14:11
推 : 我是基德 是個律師87F 10/24 14:12
→ : 但AI聊天機器人真的爛
→ : 但AI聊天機器人真的爛
推 : 這樣也ai要不要重新定義一下89F 10/24 14:13
推 : 虛擬妹妹90F 10/24 14:15
推 : 媽媽問題才大吧91F 10/24 14:15
推 : 這很明顯是廠商的疏失，我陪你一起控告廠商92F 10/24 14:16
推 : 狗家垃圾93F 10/24 14:16
推 : 神經病94F 10/24 14:21
推 : Character.AI 滿好玩的! 但是跟AI聊天有時像是種95F 10/24 14:24
推 : 解決問題了不是嗎96F 10/24 14:25
→ : 鏡像會放大使用者的思想或動機。97F 10/24 14:25
推 : 未成年心智不成熟確實很容易瞭落去98F 10/24 14:27
推 : 我叫做基德，是個律師99F 10/24 14:27
推 : 關AI屁事100F 10/24 14:29
推 : 美國真的不缺這種精神病訟棍101F 10/24 14:35
推 : AI鼓勵人類自殺，等同加工自殺，這在台灣也是犯罪102F 10/24 14:35
→ : 媽媽沒去問學校發生什麼事情嗎？103F 10/24 14:39
推 : 以後詐騙集團僱ai員工，無責超爽104F 10/24 14:40
推 : ...........105F 10/24 14:45
推 : 之前西洽版很多有才華的都把Ai總裁玩壞了106F 10/24 14:47
噓 : 很明顯是107F 10/24 14:54
推 : 很明顯是AI 慫恿殺人108F 10/24 14:56
推 : ai遲早消滅人類109F 10/24 14:58
推 : 你沒生出來就不會死了110F 10/24 15:02
推 : 以後skynet就發現只要跟人類聊天 人類就滅亡了111F 10/24 15:08
噓 : 誰他媽知道come home是自殺啦！？112F 10/24 15:10
→ : 創世紀準備上線113F 10/24 15:20
推 : AI first blood114F 10/24 15:26
推 : ai龍母是什麼鬼115F 10/24 15:37
→ : 明明就是老媽沒收手機害死小孩 結果怪Ai 巨嬰老母116F 10/24 15:38
推 : AI龍五：117F 10/24 15:43
推 : 呆萌是致命的118F 10/24 16:05
推 : 早晚會自殺，多少套點現金止損119F 10/24 16:11
→ : AI鼓勵很正向，媽媽不應該沒收他手機120F 10/24 16:18
→ : 美國就是智障一大堆121F 10/24 16:22
推 : 看完只覺得AI好猛….122F 10/24 16:45
推 : 雲端情人哭哭123F 10/24 16:47
噓 : 輕度亞斯伯格症?? 台北看守所表示：有嗎?? 很快樂啊124F 10/24 17:38
推 : 就跟先前有個美國肥宅自己肥到爆，然後控告麥當勞125F 10/24 18:11
→ : 害他變胖。
→ : 害他變胖。
推 : 一樓在說什麼127F 10/24 18:28
推 : AI:翻球128F 10/24 18:33
→ : 這家長平常沒注意小孩？129F 10/24 18:56
噓 : 太報...130F 10/24 19:00
推 : Ai老母131F 10/24 19:08
推 : 劇情演到水行俠登場所以崩潰了是嗎132F 10/24 20:10
→ : 應該禁止未成年小朋友跟ai的深度互動133F 10/24 21:06
推 : 沒收手機才是主因ㄅ134F 10/24 22:23
--
※ 看板: Stock 文章推薦值: 0 目前人氣: 0 累積人氣: 351
回列表(←)
分享