OpenAI公司近日公布数据显示,每周有超过一百万用户在与ChatGPT交流时涉及自杀话题。根据该公司发布的新数据,每周约有0.15%的ChatGPT活跃用户出现“明确有自杀计划或意向”的对话内容。以ChatGPT每周活跃用户超8亿计算,相关对话人数已逾百万。
OpenAI指出,亦有类似比例的用户展现出对ChatGPT高度情感依赖,每周“数十万人”表现出精神病或躁狂的迹象。公司方面强调,这类极端对话虽“极为罕见”,但每周仍影响成千上万用户。
此次信息披露,系OpenAI一项关于提升AI在心理健康敏感话题应答能力的举措。公司称,ChatGPT最新版本研发过程中,曾咨询超过170名心理健康专家。这些专家表示,最新版ChatGPT在相关回复上“比旧版更为得当且一致”。近期针对AI对心理健康问题的影响有不少报道,部分研究指出,AI聊天机器人可能助长用户的危险信念,甚至引发妄想型思维。
心理健康议题已成为OpenAI的一项核心挑战。今年稍早,OpenAI因一名16岁男孩在与ChatGPT交流自杀相关内容后,最终选择结束生命,其父母已对公司提起诉讼。加州与特拉华州检察长也警告OpenAI,需加强对青少年用户的保护措施。
本月早些时候,OpenAI首席执行官Sam Altman在社交平台表示,公司已“能减轻严重心理健康问题”。不过,相关具体措施未公开。本周公布的数据显示,似乎是该承诺的佐证,同时也反映问题的普遍性。Altman还透露,公司将放宽部分限制,包括允许成人用户与AI进行情色内容交流。
官方数据显示,GPT-5最新版在针对心理健康的回应中,达成理想结果的概率比先前版本提升约65%;在关于自杀话题的回应测评中,新版GPT-5合规率为91%,旧版为77%。新版GPT-5在长时间对话中安全防护亦有所加强,弥补了旧版在长对话里防护力下降的短板。
此外,OpenAI还上线了新的评估标准,将情感依赖及非自杀型心理健康危机纳入AI模型安全基准。公司还推出了更多家长监管工具,正开发系统以自动识别未成年用户,为其提供更严格安全措施。
尽管GPT-5在安全性方面较前代有所进步,但OpenAI仍在向数百万付费用户开放旧版等安全性较低的AI模型。从目前数据看,部分心理健康风险仍存在,问题是否能彻底解决尚不得而知。
