近期,云南玉溪一名男子用AI合成了一张车辆被撞的照片,在发给朋友时,还配上“你的车被撞了,肇事者逃逸”的留言。谁曾想,朋友竟然信以为真,当即拨打110报警,直到交警赶到现场,才发现是虚惊一场。


上图:男子发送的AI合成图 下图:民警拍摄的车辆真实模样
图源:江苏司法行政在线
随着AI的运用,类似的事情可谓是层出不穷。有人用AI生成“流浪汉闯入家中”的图片,骗得丈夫深夜报警;有人合成轻生照片,引发警方沿河搜救……AI,让造假变得太容易,也太逼真。

一女子用AI生成“流浪汉闯入家中”的图片
图源:江苏司法行政在线
朋友之间开玩笑,本是寻常事。但是,玩笑的前提,首先是不伤害他人、不损害公共利益。
110报警热线是守护公众安全的生命通道,每一次警力出动都需要投入公共资源。虚假警情占用的每一分钟,都可能让真正身处险境的人错失救援时机。另外,如果这类狼来了的戏码反复上演,人们收到求助信息后,伸出的援助之手会不会变得迟疑?
《治安管理处罚法》规定,故意散布谣言,谎报险情、疫情、灾情、警情,或者以其他方法故意扰乱公共秩序的处五日以上十日以下拘留,可以并处一千元以下罚款;情节较轻的,处五日以下拘留,或者一千元以下罚款。玉溪这起报警的当事人仅被“批评教育”,是因为没造成严重后果,属于从轻处理,但不代表这种行为本身“没问题”。当朋友因为你的玩笑半夜惊惶报警,当警察因为你用AI合成的照片白跑一趟,这个玩笑就已经变味了。
AI造假,从来不是无伤大雅的玩笑,不少看似随手创作、随意转发的虚拟内容,实则暗藏扰乱网络秩序、浪费公共资源、消解社会信任的巨大隐患。
比如,山西网安部门曾查处过一起博流量造假案件,企业员工赵某某使用 AI 虚构工厂爆炸画面并散播网络,误导大量网民;晋城网民张某某借助 AI 编造太原红灯笼体育场虚假火情,被公安机关依法予以行政处罚……
当然,根治AI造假乱象,不能只靠网友自觉,更需要技术规范与法律约束的双向发力,让技术有边界、行为有底线。
一方面,要完善AI生成内容标识机制,推行强制标注规范,能够让网民快速分辨真实画面与AI虚构内容,从源头减少虚假信息的迷惑性;另一方面,针对恶意编造险情、警情、灾害等谣言的人,应依法加大惩处力度,抬高违法成本,形成强有力的法律震慑。
技术向善,从来不是一句空洞的口号,而是每一个使用者、平台与社会必须共同坚守的底线。
守住创作底线、恪守法律红线、秉持敬畏之心,才能让 AI 始终向善而行、为缔造正向价值增光添彩。
敏锐观察 洞见前沿
南京广电·牛咔视频记者:王连琦编辑:许明乐值班主管:高菲
内容审核:梁娜
值班主编:张宏亮
制作:南京广电融媒新闻中心
图源:江苏司法行政在线
相关阅读: