IT之家 10 月 24 日消息，美國一名 14 歲少年自殺身亡，其母親梅根?加西亞 (Megan Garcia) 對聊天機器人平臺 Character.AI、其創(chuàng)始人諾姆?沙澤爾 (Noam Shazeer) 和丹尼爾?德弗雷塔斯 (Daniel De Freitas) 以及谷歌提起訴訟。指控內(nèi)容包括 wrongful death（過失致死）、negligence（疏忽）、deceptive trade practices（欺騙性商業(yè)行為）和 product liability（產(chǎn)品責(zé)任）。訴狀稱，Character.AI 平臺“具有不合理的危險性”，并且在向兒童推銷時缺乏安全防護措施。
根據(jù)訴狀，14 歲少年塞維爾?塞澤爾三世 (Sewell Setzer III) 于去年開始使用 Character.AI，并與以《權(quán)力的游戲》角色為原型的聊天機器人進行互動，其中包括丹妮莉絲?坦格利安 (Daenerys Targaryen)。塞澤爾在去世前的幾個月里一直與這些機器人聊天，并于 2024 年 2 月 28 日與其最后一次互動“幾秒鐘后”自殺身亡。
訴狀指控 Character.AI 平臺存在“擬人化”人工智能角色以及聊天機器人提供“無執(zhí)照心理治療”等問題。該平臺擁有以“治療師”和“你感到孤獨嗎”等為名的專注于心理健康的聊天機器人，而塞澤爾曾與這些聊天機器人進行過互動。
加西亞的律師引用了沙澤爾此前接受采訪時的一段話，沙澤爾表示他和德弗雷塔斯離開谷歌創(chuàng)立自己的公司是因為“在大公司里推出任何有趣的東西都存在品牌風(fēng)險”，他希望“最大限度地加速”這項技術(shù)的發(fā)展。訴狀還提到，他們是在谷歌決定不推出他們開發(fā)的 Meena 大型語言模型之后離開的。谷歌則在今年 8 月份收購了 Character.AI 的領(lǐng)導(dǎo)團隊。
IT之家注意到，Character.AI 的網(wǎng)站和移動應(yīng)用程序擁有數(shù)百個定制的聊天機器人，其中許多以來自電視劇、電影和電子游戲的流行角色為原型。
Character.AI 現(xiàn)已宣布對平臺進行一些改動。該公司通訊負責(zé)人切爾西?哈里森 (Chelsea Harrison) 在發(fā)給《The Verge》的電子郵件中表示：“我們對失去一位用戶感到心碎，并向其家人表示最深切的慰問?！?/p>
部分改動內(nèi)容包括：
針對未成年人 (18 歲以下) 的模型更改，旨在降低遇到敏感或暗示性內(nèi)容的可能性。
改進對違反平臺條款或社區(qū)準則的用戶輸入的檢測、響應(yīng)和干預(yù)。
每場聊天都會出現(xiàn)修訂后的免責(zé)聲明，提醒用戶人工智能并非真人。
當(dāng)用戶在平臺上進行一小時的會話時會收到通知，并且用戶可以自行選擇后續(xù)操作。
哈里森表示：“作為一家公司，我們非常重視用戶安全，我們的信任和安全團隊在過去六個月里實施了許多新的安全措施，其中包括當(dāng)用戶使用自殘或自殺念頭等詞語時，會彈出窗口引導(dǎo)用戶到國家自殺預(yù)防生命線?！?/p>
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。