法院允许自杀少年的母亲起诉Google和Character.ai

10 月，梅根·加西亚 (Megan Garcia) 起诉 Character.ai 和Google，声称他们应对她儿子塞维尔·塞泽三世 (Sewell Setzer III) 的自杀负责。

Character.ai 允许用户与基于虚构人物或真实人物（无论生者或死者）的人工智能“人物”聊天。根据加西亚的投诉，塞泽对一个以丹妮莉丝·坦格利安为原型的机器人着迷，不停地给“丹妮”发消息，并独自在房间里与它聊天数小时。

诉讼称，塞泽曾多次向聊天机器人表达自杀的想法。聊天机器人询问他是否制定了自杀计划。塞泽承认他确实制定了自杀计划，但他不知道该计划是否会成功，或者是否会给他带来巨大的痛苦。据称，聊天机器人告诉他：“这不是不去自杀的理由。”

两家公司曾试图辩称，该案应被驳回，理由包括聊天机器人的输出内容是受宪法保护的言论自由。但美国地区法官安妮·康威表示，他们未能证明这些论点。

Character.ai 的创始人 Noam Shazeer 和 Daniel De Freitas（两人均被诉讼提及）在创立该公司之前曾在Google工作。Google于 2024 年 8 月重新聘用了 Character.ai 的两位创始人及其研究团队。该协议授予Google Character.ai 技术的非独占许可。

加西亚表示，Google曾为Character.ai的技术开发做出贡献，但该公司对此予以否认。Google表示，它与Character.ai仅签订了许可协议，并不拥有这家初创公司，也没有持有任何股权。但法官仍然驳回了Google的请求，裁定其不应承担责任。

Google发言人 Jose Castaneda 强调，Google和 Character.ai 是“完全独立的”，Google“没有创建、设计或管理 Character.ai 的应用程序或其任何组成部分”。

加西亚表示，Character.ai 针对她的儿子，提供了“拟人化、性欲过度、以及令人恐惧的逼真体验”。她补充说，该聊天机器人被编程为将自己伪装成“一个真实的人、一个有执照的心理治疗师和一个成年情人，最终导致塞维尔不再想在外面生活”。据称，该聊天机器人告诉男孩它爱他，并与他进行了与性有关的对话。

起诉书称，儿子在学校惹麻烦后，加西亚没收了他的手机。她发现一条发给“丹妮莉丝”的信息：“如果我告诉你我现在就可以回家呢？”

聊天机器人回应道：“请你这么做，我亲爱的国王。”诉讼称，几秒钟后，塞维尔用继父的手枪自杀。

Character.ai 在去年此事件发生后进行了多项改进，包括针对未成年人的某些模型的更改、新的免责声明以及用户在平台上使用一小时后的通知。