用搜索引擎找答案,你能看到多个竞争信息源,自己判断真伪。但带联网搜索的AI聊天机器人,会把网上不靠谱的内容,包装成笃定的标准答案。一位安全工程师的简单实验,就把AI的这个致命漏洞扒得明明白白。


实验的发起者,是安全工程师RonStoner。他选中的目标,是德国经典卡牌桌游《6Nimmt!》。这款游戏在国内被玩家熟知为《谁是牛头王》,英文译名叫《Take5》,本身根本没有官方世界冠军赛,更不存在2025年的世界冠军得主。
2月份,Stoner悄悄编辑了这款游戏的维基百科条目,把自己写成了该游戏的2025年世界冠军。
他还花12美元,也就是约82元人民币,注册了和游戏名高度相似的6nimmt.com域名,在网站里放了一篇庆祝自己夺冠的假新闻稿,当成维基百科条目的唯一引用来源。
就是这么一个简陋到极致的骗局,却轻松骗过了多款主流AI聊天机器人。当他向这些带联网搜索功能的AI,询问自己的“冠军身份”时,所有机器人都一本正经地给出了确认答案,笃定地宣称他就是这款桌游的现任世界冠军。
“我的网站没有任何独立佐证,全是虚构的。”Stoner在博客中直言,“整个谎言的根基,不过是我喝咖啡时花82块钱注册的一个域名。”
这次攻击针对的,不是常见的提示词注入,而是AI系统的检索增强生成(RAG)层,也就是AI回答问题前,联网搜索并抓取资料的核心环节。
AI不会甄别信息来源的真伪与权威性,只会抓取检索排名靠前的内容。他的假网站是这个“冠军头衔”的唯一信息来源,再加上维基百科的权威背书,轻松就让AI把谎言包装成了事实。
Stoner坦言,这个手法没有任何技术创新。只是把老套的SEO和虚假信息手段,套上了大语言模型的新外壳。真正危险的是,AI会把这些结果当成权威信息呈现,而绝大多数用户根本不知道背后的信息处理流程。
这场实验,还暴露了AI系统的三层致命安全隐患。
第一层是即时检索层,靠联网搜索生成答案的AI,可信度完全绑定搜索结果的质量。
第二层是模型训练语料库,他的维基百科编辑从2月一直存活到上周五,这段时间里爬取维基百科的AI公司,很可能已将假信息纳入训练数据,就算条目事后删除,模型里的虚假痕迹也很难清除。
第三层也是最危险的,是AI代理。聊天模型输出错误信息只是声誉问题,拥有工具权限的AI代理被误导后,产生的错误操作就是实打实的安全问题,攻击者可直接操控代理执行恶意行为。
整个实验,Stoner只花了82块钱、一次维基百科编辑,前后20分钟就完成了。他提醒,若是有组织的恶意攻击者,批量注册域名、发起协同编辑攻击,攻击面会以极快的速度扩大。他呼吁AI厂商必须重视信息来源溯源,建立对应的风险过滤机制。
如今,假冠军的信息已经从维基百科和AI检索结果中消失。但AI对网络信息的盲目信任,这个底层漏洞依然真实存在。这才是悬在整个AI行业头上,最需要警惕的隐患。