少年自杀事件一年后 Character.AI将禁止未成年人AI聊天
Character.AI周三宣布，公司即将关闭未成年人与旗下人工智能聊天机器人进行自由对话（包括浪漫对话及心理疏导类对话）的功能。这家位于硅谷的初创公司主打“用户可创建角色化聊天机器人并与之互动”的服务，此次举措是其为提升应用安全性、使其更符合18岁以下用户年龄需求所做的努力之一。
去年，14岁少年休厄尔・塞策三世（Sewell Setzer III）在Character.AI应用上与聊天机器人建立性相关关系后自杀。目前，包括OpenAI、Meta在内的多家AI开发商，均因用户与聊天机器人建立关系后自杀或死亡的事件面临审查。
作为安全举措的一部分，Character.AI周三表示，将把18岁以下用户的开放式对话时长限制为每日两小时，并将于11月25日前完全取消未成年人的此类对话功能。
“这是向前迈出的大胆一步，我们希望这能为行业内其他企业树立更高标准，”Character.AI 首席执行官卡兰迪普・阿南德（Karandeep Anand）表示。
早在2024年10月，Character.AI就已推出相关调整，防止未成年人与平台聊天机器人进行涉性对话。而就在调整推出当天，休厄尔的家人以“不当致死”为由对该公司提起诉讼。
为落实新规，Character.AI表示将推出 “年龄验证功能”，通过第一方及第三方软件核实用户年龄。该公司已与Persona（Discord等平台也在使用的身份验证服务商）合作，助力完成年龄核验工作。
据悉，该初创公司的月活跃用户约2000万，其中18岁以下用户占比约10%。
Character.AI的收入主要来自广告业务及每月10美元的订阅服务。阿南德透露，该公司今年的年化收入有望达到5000万美元。
此外，Character.AI 周三还宣布，将设立并资助一家 “独立 AI 安全实验室”，专门开展 AI 娱乐领域的安全研究。该公司未透露具体资助金额，但表示正邀请其他企业、学者、研究人员及政策制定者加入这一非营利性项目。
监管压力
在 “青少年与 AI 陪伴机器人” 相关问题上，Character.AI 是众多面临监管审查的AI聊天机器人公司之一。
今年9月，美国联邦贸易委员会（FTC）已向包括 Character.AI、Alphabet、Meta、OpenAI、Snap在内的7家企业发出指令，要求其配合调查，以了解AI产品对儿童及青少年可能产生的影响。
