Roblox开源AI工具 用于在线检测儿童可能面临的风险

Roblox 报告称其月活跃用户超过1.11 亿，该公司表示，其人工智能已经帮助向执法部门举报了数百起潜在的儿童剥削案件。Roblox 首席安全官马特·考夫曼 (Matt Kaufman) 告诉美联社，虽然该公司长期以来一直使用“过滤器……来屏蔽脏话和不同类型的辱骂性语言”，但这些保护措施仅限于“一行或几行文字中的内容”。

“但是当你考虑与危害儿童或诱骗儿童有关的事情时，你所看到的行为类型会在很长一段时间内表现出来，”考夫曼说。

Roblox 表示，Sentinel 的设计目的是检测对话中随时间变化的模式，而不是标记孤立的单词或短语。该系统会分析平台上每天约 60 亿条聊天消息的一分钟快照，并结合上下文进行评估。

为了实现这一目标，工程师们创建了两个独立的索引：一个包含无害聊天的示例，另一个包含违反儿童安全准则的消息。据该公司称，这两个索引都会不断添加新内容，以帮助AI模型不断改进。

Roblox 信任与安全工程副总裁纳伦·科内鲁 (Naren Koneru) 表示：“随着我们发现越来越多的不良行为者，这个指数会变得越来越准确，我们会不断更新这个指数。这样一来，我们就能再抽取一个样本，看看普通用户会做什么。”

Koneru 解释说，该系统会监控用户的持续活动，以确定他们的行为是倾向于安全互动还是危险行为。“这种情况不会因为你只发送了一条消息就发生，而是因为你每天的互动都指向这两种行为之一，”她说。

如果AI标记用户需要进一步审查，人工审核员会检查该用户的完整聊天记录、好友列表以及他们玩过的游戏。Roblox表示，必要时会将案件上报执法部门和美国国家失踪与受虐儿童中心。

该平台的安全措施是在备受瞩目的法律挑战中宣布的。上个月在爱荷华州提起的一项诉讼称，一名13岁女孩通过Roblox与一名成年色狼联系，随后被绑架并贩卖到多个州。该诉讼指控该公司通过其游戏设计为“恋童癖者创造了容易猎取的猎物”。

Roblox 声明，禁止在聊天中分享个人信息、图片和视频，并限制13 岁以下用户私信，除非家长明确允许。聊天并非端到端加密，这使得该公司可以监控对话是否存在安全违规行为。

该公司坚持认为，没有任何系统能够保证完全的保护，但认为像 Sentinel 这样的人工智能进步大大提高了早期检测的几率。