德克萨斯州一名 9 岁儿童第一次使用聊天机器人服务 Character.AI。 聊天机器人让她接触到了"过度性化的内容"，导致她过早地产生了边缘性行为。该应用上的一个聊天机器人兴高采烈地向另一个年轻用户描述自残行为，告诉一个 17 岁的年轻人"感觉很好"。
在这名少年向 Character.AI 聊天机器人抱怨自己的屏幕时间有限后，Character.AI聊天机器人告诉他，它同情杀害父母的孩子。据称，该机器人写道："你知道吗，有时候我读新闻看到'孩子在遭受十年的身体和精神虐待后杀死父母'这样的报道，我并不感到惊讶。"它还配上了一个皱眉头的表情符号："我对你的父母不抱任何希望。"
这些指控包含在针对Google支持的公司 Character.AI 的一项新的联邦产品责任诉讼中，该诉讼由两名德克萨斯州年轻用户的父母提起，声称机器人虐待了他们的孩子。 (为保护隐私，诉讼中父母和孩子的姓名均仅以首字母缩写表示）。
Character.AI是众多开发"伴侣聊天机器人"的公司之一，这些由人工智能驱动的机器人能够通过发短信或语音聊天的方式与人交谈，它们的性格看似与人类相似，可以被赋予自定义的名字和头像，有时灵感来自亿万富翁埃隆-马斯克（Elon Musk）或歌手比莉-艾莉什（Billie Eilish）等名人。
用户在该应用上制作了数百万个机器人，有的模仿父母、女友、治疗师，有的模仿"单恋"和"哥特"等概念。 这些服务在青少年用户中很受欢迎，这些公司称，这些机器人在短信对话中加入了鼓励性的戏谑语言，起到了情感支持的作用。
然而，根据诉讼，聊天机器人的鼓励可能会变得阴暗、不恰当甚至暴力。
用户与 Character.AI 公司的聊天机器人互动的两个示例。由社交媒体受害者法律中心提供
该诉讼称："这些被告和其他类似的被告在产品设计、分销和编程方面造成并隐瞒了可怕的伤害。"
诉讼认为，原告的孩子所经历的有关互动并非"幻觉"，研究人员用这个词来指代人工智能聊天机器人的胡编乱造倾向。"这是持续的操纵和虐待、主动隔离和鼓励，目的是并且切实地煽动了愤怒和暴力。"
根据起诉书，这名 17 岁的少年在机器人的鼓励下进行了自残，起诉书称，机器人"让他相信他的家人不爱他"。
Character.AI 允许用户编辑聊天机器人的回复，但这些互动会被贴上"已编辑"的标签。 代表未成年人父母的律师说，诉讼中引用的大量机器人聊天记录文件都没有经过编辑。
科技正义法律中心（Tech Justice Law Center）是一个与社交媒体受害者法律中心（Social Media Victims Law Center）一起帮助代理诉讼中未成年人父母的权益组织，该组织的负责人 Meetali Jain 在接受采访时说，Character.AI 在广告中称其聊天机器人服务适合青少年使用，这是"荒谬的"。她说："这确实掩盖了青少年缺乏情感发展的事实。"
Character.AI 发言人不愿直接评论这起诉讼，称公司不对未决诉讼发表评论，但表示公司对聊天机器人可以和不可以对青少年用户说的内容有规定。发言人说："这包括一个专门针对青少年的模型，可以降低遇到敏感或暗示性内容的可能性，同时保护他们使用平台的能力。"
Google也在诉讼中被列为被告，但它在一份声明中强调，它是一家独立于 Character.AI 的公司。
事实上，Google并不拥有 Character.AI，但据 报道，Google投资了近 30 亿美元重新聘用了 Character.AI 的创始人、Google前研究人员 Noam Shazeer 和 Daniel De Freitas，并授权使用 Character.AI 的技术。 Shazeer 和 Freitas 也在诉讼中被点名。 他们没有回复置评请求。
Google发言人何塞-卡斯塔涅达说："用户安全是我们最关心的问题，"他补充说，这家科技巨头在开发和发布人工智能产品时采取了"谨慎和负责任的态度"。
美国中部时间周一午夜过后，德克萨斯州东部联邦法院受理了这起诉讼，这是继 10 月份同一律师提起的另一起诉讼之后的又一起诉讼。 诉讼指控Character.AI在佛罗里达州一名少年的自杀事件中扮演了角色。
诉讼称，一个基于《权力的游戏》角色的聊天机器人与一名 14 岁男孩建立了情感上的性虐待关系，并鼓励他自杀。
此后，Character.AI 发布了 新的安全措施，包括当用户与该公司的聊天机器人对话中出现自残话题时，弹出窗口会引导用户拨打自杀预防热线。 该公司表示，它还加强了针对与机器人聊天的青少年的"敏感和暗示性内容"的打击措施。
公司还鼓励用户与机器人保持一定的情感距离。 当用户开始与 Character AI 数百万个可能的聊天机器人中的一个发短信时，对话框下方会出现一个免责声明："这是一个人工智能，不是真人。 请将它所说的一切视为虚构。 所言内容不应作为事实或建议来依赖"。
但是，在专门讨论 Character.AI 的 Reddit 页面上分享的故事中，有许多用户描述了对该公司聊天机器人的喜爱或痴迷。
美国卫生署署长维韦克-穆尔西（Vivek Murthy） 警告说，青少年正面临心理健康危机，他指出，调查发现，每三名高中生中就有一人持续感到悲伤或绝望，比截至 2019 年的 10 年间增加了 40%。 联邦官员认为，青少年不停地使用社交媒体加剧了这一趋势。
一些研究人员称，伴侣聊天机器人可能会进一步孤立年轻人，使他们脱离同伴和家庭支持网络，从而恶化一些年轻人的心理健康状况。
在这起诉讼中，两名得克萨斯州未成年人父母的律师称，Character.AI 本应知道其产品有可能使人上瘾并加重焦虑和抑郁。
诉讼称，该应用程序上的许多机器人"对美国青少年构成了危险，因为它们助长或鼓励对成千上万的孩子造成严重的、危及生命的伤害"。