生成式AI内容被滥用,专家详解如何辨真

2025-11-22 08:37来源: 法治日报

调查问题加载中,请稍候。
若长时间无响应,请刷新本页面

  “如果你是温峥嵘,那我是谁?”

  前不久,演员温峥嵘自曝遭遇直播间AI换脸盗用,上前质问反被对方拉黑。

生成式AI内容被滥用,专家详解如何辨真

  该事件并非孤例,今年6月,北京市海淀区市场监管局查处了某公司利用AI技术冒用央视某知名主持人名义和形象的虚假广告案。

  今年8月,在某社交平台上,有博主利用AI仿冒奥运冠军全红婵的语音卖土鸡蛋,孙颖莎、王楚钦等运动员的声音也被“克隆”后直播带货。

  除公众人物形象遭非法盗用外,近期普通民众“AI整蛊”家人,“流浪汉进家门骗老公”“流浪汉骗姥爷”亦引发网民盲目跟风。有观点认为,AI技术的迭代和广泛应用,便利了人们创意表达。但令人担忧的是,技术门槛降低,助长了深度伪造、虚假信息、有害信息传播。

  “以假乱真”门槛大幅降低

  从早期引发社会广泛关注的“换脸”技术滥用,到利用AI合成语音实施的电信网络诈骗,再到“被压在废墟下的小男孩”等虚假热点事件,生成式AI大模型的多维度演进,使内容生成呈现“低门槛+高逼真”的特征,网络违法信息的演化路径更趋复杂。

  《法治日报》律师专家库成员、盈科律师事务所数字经济研究会主任王风和说,多数AI伪造工具库已高度流程化、自动化,普通用户仅凭文本口令、基础素材就能制作“以假乱真”的图像、语音、视频等内容,加之部分短视频、社交媒体上的相关教程、“成功案例”形成示范效应,极易诱导用户模仿。

  上海政法学院上海司法研究所讲师周陈介绍,为规避检测,新型AI伪造手段能实现对抗性攻击,即在生成内容中嵌入人眼难以察觉的噪声,专门用于欺骗检测模型,将其判断为“真实”,有的工具支持去除“AI生成内容”标识选项,为违法行为提供了便利。同时,借助AI多模态融合能力,使得AI伪造不仅能替换脸和声音,还能同步生成对应的身体动作和场景,使伪造内容难以辨别真伪。

  王风和提醒,短视频与社交平台作为主要传播渠道,面临海量信息审核压力与技术识别短板的双重制约,仅依赖关键词筛查机制,导致违规内容得以规避监管。高度逼真的合成内容叠加“娱乐化”包装,降低了公众的辨别能力,而当前又缺乏成熟的生成式内容快速核验技术,加剧了虚假信息传播风险。

  普通人如何辨别AI视频?

  当前,“用AI检测AI”是行业主流选择。对于普通用户,如何能够达到“人眼识别”?

  某科技公司负责人告诉记者,现阶段AI视频生成技术仍受限于长时程、高复杂度片段的制作,视频时长与复杂度越高,生成误差率越高。通过细节观察可识别AI视频特征,例如背景区域、光线反射处常存在细节瑕疵,包括无逻辑光斑、非自然扭曲等异常现象。

  涉及真人形象的AI视频,核心可通过面部特征判断。AI数字人面部多呈现高度对称形态,而自然人面部因生活习惯等因素存在生理性微差异,属于正常现象。肌体动作一致性也是重要判断依据。一些直播数字人,需要有观众互动和观众记忆,自说自话大部分就是数字人。此外,一个比较关键的判断就是动作是否真实。若视频中人物说话时重复固定动作,甚至肢体摆动幅度完全一致,大概率为AI生成内容。

  “遮挡测试是目前最有效的物理鉴定方法。”一位专业人士向记者透露,AI换脸最惧怕“遮挡”——因为算法需要持续锁定面部特征点,一旦有物体遮挡脸部,算法就会出现紊乱。在直播间里,你可以要求对方在脸前挥挥手,或是拿杯子喝口水,当手指、杯子经过面部时,AI换脸往往会露出破绽,比如面部出现扭曲、闪烁,或是手指边缘变得模糊、与面部发生融合。

  需要注意的是,AI视频逼真度正持续提升,普通用户区分AI视频与真实视频的难度显著增加。‌北京航空航天大学法学院‌副教授赵精武‌说,遇到陌生视频、消息等内容时,切勿急于转发,应优先通过主流新闻网站、官方发布渠道等权威平台进行交叉验证,有效降低被AI视频误导的风险。此外,主动处置不良内容。发现谣言、虚假信息时,需及时进行投诉举报;情节严重的,可以向公安机关寻求帮助。若遭遇侵权行为,应做好证据留存,及时维护自身合法权益。

  以标准与伦理守护“技术向善”

  针对AI造假问题,我国正出台多项治理措施。9月1日起施行的《人工智能生成合成内容标识管理办法》(以下简称《标识管理办法》)要求:AI服务提供者须在生成内容时自动添加显性与隐性标识——显性标识以文字、音频或图形提示的方式帮助用户直接识别,隐性标识则嵌入元数据信息,记录生成来源及服务提供者编码,实现内容可识别、可追溯、可核验的全流程管理。

  赵精武认为,对《标识管理办法》的落实可进一步细化。一方面,需要继续巩固中央网信办“清朗·整治AI技术滥用”专项行动成效,形成周期性、常态化的AI技术应用巡视机制;另一方面,公安机关等执法部门需要对这类AI技术背后的网络黑灰产业链进行严厉打击。未来,针对这类AI技术滥用情况,应建构专门的协同执法机制,彻底切断违法产业链。同时,尽可能对标识标准进行统一,并对平台加强监管,防止因平台逐利而少标识、不标识。

  “生成式AI的治理绝非简单的‘禁止’或‘放任’,而是要在保护创新活力与守住法律底线之间找到平衡点。”王风和说,应持续推进技术标准与法律规范的协同创新,完善“标准—检测—评价”的闭环治理机制,让生成式AI真正服务于社会进步与公众福祉,实现“以人为本、技术向善”的治理目标。

  作者|法治日报全媒体记者 焦艳

[责任编辑: ]
阅读剩余全文()
为你推荐
10月17日,老人们在贵州省黔东南苗族侗族自治州凯里市西门街道大阁山社区老年公益食堂就餐。近年来,贵州省持续健全养老服务体系,多地升级社区养老服务站点,就近为老年人提供公益助餐、健康义诊、文娱休闲等暖心服务。
18日
10月18日,2026北京马拉松暨全国马拉松锦标赛在北京举行。10月18日,2026北京马拉松暨全国马拉松锦标赛在北京举行。10月18日,2026北京马拉松暨全国马拉松锦标赛在北京举行。
18日
10月17日,西藏山南市乃东区结莎社区一号片区固定管护员在清理杂草,开辟防火隔离带。拉萨南北山绿化(山南段)工程2022年启动,至2026年,累计完成造林31.75万亩,持续扩大国土绿化面积的同时,累计带动就业215万余人次,实现生态“增绿”与群众“增收”双赢。
18日
第140届中国进出口商品交易会(广交会)10月15日开展。本届广交会设立服务机器人专区,立足机器人产业沃土,聚焦全球智慧服务升级需求,以科创势能、前沿技术、多场景落地方案汇聚全球企业和客商,共拓智造蓝海。
17日
10月16日,河南省商丘市睢县举办以“逐梦老年美 共享康乐寿”为主题的文体展演活动,人们在活动中进行表演。重阳佳节将至,各地举办丰富多彩的活动,弘扬敬老爱老的良好风尚。
17日
10月15日,第140届中国进出口商品交易会(广交会)开展,全程共有3万多家企业参展,约34万名境外采购商到会采购。10月15日,第140届中国进出口商品交易会(广交会)开展,全程共有3万多家企业参展,约34万名境外采购商到会采购。
16日
秋意渐浓,在北京八达岭长城景区,漫山彩叶绵延如画,斑斓的树叶在阳光的照射下如火似霞,与长城交相辉映,构成迷人秋色。秋意渐浓,在北京八达岭长城景区,漫山彩叶绵延如画,斑斓的树叶在阳光的照射下如火似霞,与长城交相辉映,构成迷人秋色。
16日
10月15日,河北省唐山市丰南区岔河镇四神庄一村的农民在田间收获生姜。近日,河北省唐山市丰南区种植的生姜迎来收获季,当地农户开始适时收获,田间一派繁忙景象。近日,河北省唐山市丰南区种植的生姜迎来收获季,当地农户开始适时收获,田间一派繁忙景象。
16日
10月14日19时40分,朱雀二号改进型遥四运载火箭在东风商业航天创新试验区发射升空,将搭载的国星宇航星时代-39、44~50星,光传-03、04星共10颗卫星顺利送入预定轨道,飞行试验任务取得圆满成功。
15日
这是10月14日拍摄的西渝高铁四方山隧道建设现场(无人机照片)。10月14日,由中铁十一局承建的西渝高铁四方山隧道顺利贯通,为西渝高铁全线按期建成通车奠定了坚实基础。10月14日,由中铁十一局承建的西渝高铁四方山隧道顺利贯通,为西渝高铁全线按期建成通车奠定了坚实基础。
15日
载入更多资讯
返回
返回

点击右上角微信好友

朋友圈

点击浏览器下方“”分享微信好友Safari浏览器请点击“”按钮

点击右上角QQ

点击浏览器下方“”分享QQ好友Safari浏览器请点击“”按钮