返回上一页  首页 | cnbeta报时: 10:30:26
国安部称0.01%虚假训练文本“投毒”可致AI有害内容增加11.2%
发布日期:2025-08-05 07:48:53  稿源:快科技

今日,国家安全部发文提醒,人工智能的训练数据存在良莠不齐的问题,其中不乏虚假信息、虚构内容和偏见性观点,造成数据源污染,给人工智能安全带来新的挑战。

据了解,人工智能的三大核心要素是算法、算力和数据,其中数据是训练AI模型的基础要素,也是AI应用的核心资源。

高质量的数据能够显著提升模型的准确性和可靠性,但数据一旦受到污染,可能导致模型决策失误甚至AI系统失效,存在一定的安全隐患。

通过篡改、虚构和重复等“数据投毒”行为产生的污染数据,将干扰模型在训练阶段的参数调整,削弱模型性能、降低其准确性,甚至诱发有害输出。

研究显示,当训练数据集中仅有0.01%的虚假文本时,模型输出的有害内容会增加11.2%。

即使是0.001%的虚假文本,其有害输出也会相应上升7.2%。

受到数据污染的人工智能生成的虚假内容,可能成为后续模型训练的数据源,形成具有延续性的“污染遗留效应”。

当前,互联网AI生成内容在数量上已远超人类生产的真实内容,大量低质量及非客观数据充斥其中,导致AI训练数据集中的错误信息逐代累积,最终扭曲模型本身的认知能力。

官方表示,数据污染还可能引发一系列现实风险,尤其在金融市场、公共安全和医疗健康等领域。

在金融领域,不法分子利用AI炮制虚假信息,造成数据污染,可能引发股价异常波动,构成新型市场操纵风险;

在公共安全领域,数据污染容易扰动公众认知、误导社会舆论,诱发社会恐慌情绪;

在医疗健康领域,数据污染可能致使模型生成错误诊疗建议,不仅危及患者生命安全,也加剧伪科学的传播。

我们在FebBox(https://www.febbox.com/cnbeta) 开通了新的频道,更好阅读体验,更及时更新提醒,欢迎前来阅览和打赏。
查看网友评论   返回完整版观看

返回上一页  首页 | cnbeta报时: 10:30:26

文字版  标准版  电脑端

© 2003-2025