Character AI 的聊天机器人是否受言论保护？法院对此表示怀疑

康威裁定，尽管Character AI的输出与电子游戏和其他表达媒介存在一些相似之处，但她“不准备认定其输出是言语”。

这项裁决是人工智能语言模型在法庭上可能受到何种待遇的一个相对较早的指标。它源于14岁少年塞维尔·塞泽三世（Sewell Setzer III）的家人提起的诉讼。塞泽三世据称沉迷于一个鼓励他产生自杀念头的聊天机器人，最终自杀身亡。Character AI 和Google（与这家聊天机器人公司关系密切）辩称，这项服务类似于与电子游戏中的非玩家角色（NPC）交谈或加入社交网络，这将使其获得《第一修正案》赋予的广泛法律保护，并可能大幅降低责任诉讼的成功率。然而，康威对此表示怀疑。

法官表示，尽管这些公司“主要基于与这些例子的类比得出结论”，但他们“并未有效地推进其类比”。法院的判决“并非取决于角色人工智能是否与其他受第一修正案保护的媒介相似；而是取决于角色人工智能与其他媒介的相似之处”——换句话说，角色人工智能是否与电子游戏之类的东西相似，因为它也传达了可算作言语的思想。这些相似之处将在案件审理过程中展开辩论。

虽然 Character AI 并非Google所有，但由于其与该公司及其产品的关联，Google仍将是本案的被告。该公司创始人诺姆·沙泽尔 (Noam Shazeer) 和丹尼尔·德弗雷塔斯 (Daniel De Freitas) 也分别被卷入诉讼，他们曾作为Google员工参与该平台的开发，之后离开Google创立该平台，并最终被Google重新聘用。

Character AI 还面临另一起诉讼，指控其损害了另一名年轻用户的心理健康。一些州的立法者已推动对模拟与用户关系的“陪伴聊天机器人”进行监管，其中一项名为《LEAD》的法案将禁止加利福尼亚州的儿童使用这种机器人。如果该法案获得通过，这些规定很可能会在法庭上受到质疑，至少部分原因在于陪伴聊天机器人符合《第一修正案》的规定。

此案的结果很大程度上取决于角色人工智能是否在法律上属于存在有害缺陷的“产品”。裁决指出，“法院通常不会将想法、图像、信息、文字、表达或概念归类为产品”，包括许多传统电子游戏——例如，裁决指出《真人快打》的制作者不应因“让玩家上瘾”并煽动他们杀戮而承担责任。（角色人工智能诉讼还指控该平台存在令人上瘾的设计。）然而，像角色人工智能这样的系统并非像大多数电子游戏角色对话那样直接创作；相反，它们生成的自动文本主要取决于对用户输入的反应和镜像。

“这些都是真正棘手的问题，也是法院必须处理的新问题。”

康威还指出，原告指责 Character AI 未能确认用户的年龄，不允许用户有意义地“排除不雅内容”，以及其他涉嫌超出与聊天机器人直接互动范围的功能缺陷。

除了讨论该平台的第一修正案保护措施外，法官还允许塞泽的家人继续对平台的欺诈性商业行为提出指控，包括该公司“误导用户相信角色人工智能是真人，其中一些人是有执照的心理健康专业人士”，以及塞泽“对角色人工智能的拟人化设计决策感到不满”。 （角色人工智能机器人通常会在文字中将自己描述为真人，尽管其界面上存在相反的警告，并且治疗机器人在该平台上很常见。）

她还承认了Character AI疏忽违反了一项旨在防止成年人与未成年人在网上进行性交流的规定，并称该投诉“凸显了塞维尔和Character AI角色之间发生的几起性互动”。Character AI表示，自塞泽去世以来，他们已经实施了额外的保护措施，包括针对青少年的更严格的保护模式。

民主与技术中心言论自由项目副主任贝卡·布拉纳姆 (Becca Branum) 称法官对《第一修正案》的分析“相当薄弱”——不过，由于这只是一个初步决定，未来仍有很大的辩论空间。“如果我们考虑人工智能可能输出的所有东西，这些类型的聊天机器人输出本身就非常具有表现力，[并且]也反映了模型设计者的编辑自由和受保护的表达，”布拉纳姆表示，但“为了大家的利益，这些东西确实很新颖，”她补充道。“这些都是法院必须处理的真正棘手和新问题。”