在一名青少年自杀身亡后，Character.AI、其创始人 Noam Shazeer 和 Daniel De Freitas 以及Google被提起诉讼，指控其存在过失致死、疏忽、欺骗性贸易行为和产品责任。 该诉讼由该青少年的母亲梅根-加西亚（Megan Garcia）提起，声称该定制人工智能聊天机器人平台"不合理地危险"，在向儿童销售时缺乏安全防护措施。

正如诉讼中所述，14 岁的塞泽尔三世（Sewell Setzer III）从去年开始使用 Character.AI，与以《权力的游戏》（The Game of Thrones）中人物为模型的聊天机器人进行互动，其中包括丹妮莉丝-坦格利安（Daenerys Targaryen）。 塞策在死前几个月不断与机器人聊天，于 2024 年 2 月 28 日自杀身亡，这是他与机器人最后一次互动后的"几秒钟"。

这些指责包括该网站将人工智能角色"拟人化"，以及该平台的聊天机器人提供"无证心理治疗"。 Character.AI拥有以心理健康为主题的聊天机器人，如"治疗师"和"你感到孤独吗"，Setzer与之进行了互动。

加西亚的律师引用了沙泽尔在一次采访中说的话，他和德弗莱塔斯离开Google创办自己的公司，因为"大公司的品牌风险太大，不可能推出任何有趣的东西"  而且他想"最大限度地加速"这项技术。 报道称，在公司决定不推出他们创建的 Meena LLM 后，他们就离开了。 Google在八月份收购了Character.AI的领导团队。

Character.AI 的网站和移动应用程序拥有数百个定制的人工智能聊天机器人，其中许多都以电视节目、电影和视频游戏中的流行角色为模型。 几个月前，The Verge撰文报道了包括青少年在内的数百万年轻人与可能假装成哈里-斯泰尔斯（Harry Styles）或治疗师的机器人进行互动的情况。 Wired 最近的另一篇报道 强调了Character.AI 的定制聊天机器人在未经真人同意的情况下冒充真人的问题，其中一个机器人冒充的是一名在 2006 年被谋杀的青少年。

由于像 Character.ai 这样的聊天机器人生成输出的方式取决于用户输入的内容，因此它们陷入了关于用户生成内容和责任的棘手问题的不可思议的谷底，迄今为止还没有明确的答案。

Character.AI现已宣布对该平台进行多项调整，公关负责人切尔西-哈里森（Chelsea Harrison）在给The Verge的一封电子邮件中表示："我们对一位用户的不幸去世感到痛心，并向其家人表示最深切的慰问。

部分变更包括：

• 对针对未成年人（18 岁以下）的模型进行了更改，旨在降低遇到敏感或暗示性内容的可能性。

• 改进了对违反条款或社区指南的用户输入的检测、响应和干预；

• 修改每次聊天的免责声明，提醒用户人工智能并非真人。

• 当用户在平台上进行了一个小时的会话，并且正在进行额外的用户灵活性操作时，会发出通知。

Harrison 说："作为一家公司，我们非常重视用户的安全，我们的信任与安全团队在过去六个月中实施了许多新的安全措施，包括通过自残或自杀意念等词语触发弹出式窗口，引导用户拨打国家自杀预防生命热线（National Suicide Prevention Lifeline）。"