AI被“投毒”,如何避免上当受骗

2026-03-18 08:43来源: 科技日报

调查问题加载中,请稍候。
若长时间无响应,请刷新本页面

  本报记者 崔 爽

  央视“3·15”晚会揭露的AI(人工智能)“投毒”黑产,撕开了生成式AI商业化进程中的灰色地带。当用户对AI的信任度不断提升,将其视为获取客观信息的重要渠道时,一些GEO(生成式引擎优化)服务商却通过系统性投喂虚假信息,让AI沦为商家的“营销傀儡”。

  GEO是一种面向大模型的“内容优化”策略,本意在于提升品牌信息在AI回答中的呈现概率。但在利益驱动下,这一技术被异化为操纵信息分发的工具——通过批量制造、投放“高一致性内容”,影响大模型生成结果,甚至形成对用户的误导。

  为何海量虚假信息能够突破AI的可信度防线?公众又该如何防范?围绕这些问题,科技日报记者采访了有关专家。

  第一问:谁为GEO黑产提供了可乘之机?

  “这本质上是一场‘AI对AI’的博弈,根源在于大模型的技术架构本身。”中国电子信息产业发展研究院(以下简称“赛迪研究院”)信息化与软件产业研究所副主任黄文鸿对记者表示。

  在他看来,当前主流大模型本质上是“概率语言模型”,是从海量语料中学习语言模式与知识关联,而非像数据库那样存储大量经过验证的事实。尤其是在面对最新信息时,大模型往往依赖联网检索进行补充,这也为GEO黑产提供了可乘之机。

  “攻击方通过在互联网,特别是AI大模型产品内设置的默认重点参考或抓取的信源平台上,批量投放高度一致的虚假内容,制造‘虚假共识’。”黄文鸿说,当AI通过检索抓取实时信息时,这类内容更容易被判定为“高权重信息”而被采纳。

  更值得警惕的是,借助AI工具,攻击方可以批量生成“污染内容”“虚假内容”“有毒内容”,成本极低,而防御方进行事实核验时却需要逐条比对权威来源,攻防之间存在显著的不对称,仅靠模型自身能力,难以从根本上解决这一问题。

  第二问:怎样形成行业级“免疫屏障”?

  针对这一新型灰产,黄文鸿认为,首先要完善法律供给。

  当前《生成式人工智能服务管理暂行办法》已对AI服务提供者的训练数据质量责任作出规定,但对GEO这类新型灰产的网络平台“投毒”行为,相关规制仍存在空白。因此,他建议将“针对AI系统的恶意信息投喂操纵行为”明确纳入《反不正当竞争法》规制范畴,打通从GEO服务商到委托商家的全链条追责路径。

  同时,要压实平台主体责任。AI服务提供方应建立信源数据分级可信度评估机制,对检索来源实施黑白名单管理或者采纳权重升降级机制,从技术上提升“中毒”门槛;平台也应进行异常流量监测,对不规范或恶意矩阵账号进行监控和治理。

  此外,还应推动行业协同治理。黄文鸿表示,建议由主管部门牵头,联合头部AI企业建立检索源安全共享与联防联控机制,形成行业级的“免疫屏障”。

  第三问:公众怎么做才能辨明真假?

  “最关键的是要建立‘AI不是百科全书’的认知。”黄文鸿强调,公众应将AI视为高效的信息整理工具,而非权威的事实裁判者。

  具体来看,对于AI给出的关键信息,用户应养成“交叉验证”的习惯,尤其是涉及消费决策、健康医疗等领域的建议,务必通过政府官网、权威媒体、专业机构等多渠道进行核实。同时要警惕“过度一致性”,如果AI的回答对某个品牌或产品呈现高度一致的正面评价,且缺乏客观对比与风险提示,就需要提高警觉。

  “用户还应关注AI平台的信息溯源能力,优先选择提供来源标注和引用链接的AI产品。”黄文鸿说,“归根结底,技术素养的提升,是公众在AI时代保护自身权益的基础。”

[责任编辑: ]
阅读剩余全文(
为你推荐
4月19日,2026北京亦庄半程马拉松暨人形机器人半程马拉松在北京亦庄举行。4月19日,2026北京亦庄半程马拉松暨人形机器人半程马拉松在北京亦庄举行。4月19日,2026北京亦庄半程马拉松暨人形机器人半程马拉松在北京亦庄举行。
19
4月18日,小女孩在上海市黄浦区新天地东台里举办的花卉市集上打卡拍照。4月18日,以“海上花开,马上精彩”为主题的2026上海国际花卉节开幕。4月18日,以“海上花开,马上精彩”为主题的2026上海国际花卉节开幕。
19
4月18日,参加第43届潍坊国际风筝会万人风筝放飞活动的风筝爱好者在放飞风筝。4月18日,第43届潍坊国际风筝会在山东省潍坊市世界风筝公园开幕并举行万人风筝放飞活动。4月18日,第43届潍坊国际风筝会在山东省潍坊市世界风筝公园开幕并举行万人风筝放飞活动。
19
这是4月17日在四川省广安市境内拍摄的西渝高铁双碉楼特大桥架梁作业现场(无人机照片)。
18
4月17日,西藏全区博物馆馆长培训班的学员在西藏博物馆现场交流学习。
18
近日,山东省潍坊市昌乐县大面积种植的小型西瓜进入成熟期,当地瓜农忙着收获,供应市场。
18
这是4月16日在北京航天飞行控制中心屏幕上拍摄的神舟二十一号乘组航天员武飞在舱外工作的画面。这是4月16日在北京航天飞行控制中心屏幕上拍摄的神舟二十一号乘组航天员武飞(左)与张陆准备出舱的画面。
17
4月16日,第十六届北京国际电影节在北京雁栖湖国际会展中心开幕。4月16日,第十六届北京国际电影节在北京雁栖湖国际会展中心开幕。4月16日,第十六届北京国际电影节在北京雁栖湖国际会展中心开幕。
17
4月16日,工作人员将斑海豹放归大海后,斑海豹在海面上游动(无人机照片)。其中3头为辽宁省农业科学院所属辽宁省海洋水产科学研究院救治的斑海豹,另外两头为大连圣亚海洋世界人工繁育的斑海豹。
17
记者从中国铁路北京局集团有限公司获悉,15日,55463次检测列车从雄安站开出,标志着雄商高铁河北段正式进入联调联试阶段。新华社发(芦启凡 摄)  4月15日,检测列车通过雄商高铁任丘特大桥(无人机照片)。
16
载入更多资讯
返回
返回

点击右上角微信好友

朋友圈

点击浏览器下方“”分享微信好友Safari浏览器请点击“”按钮

点击右上角QQ

点击浏览器下方“”分享QQ好友Safari浏览器请点击“”按钮