西藏日喀则地震,竟然有人用AI生成的旧图假装“被压在废墟下的孩子”

西藏日喀则地震,竟然有人用AI生成的旧图假装“被压在废墟下的孩子”
2025年01月09日 13:30 媒体滚动

转自:中国科协

2025 年 1 月 7 日上午 9 时 05 分,西藏日喀则市定日县发生 6.8 级地震。灾情牵动人心,当地流传出的各种救援画面,更是令人揪心不已。然而,与此同时,也有一些不真实的内容趁机“浑水摸鱼”,利用人们的同情心进行误导。

比如下面这个广泛流传在“日喀则地震”视频中的图片——一个戴帽子、被压在废墟下的小孩,其实就是由 AI 生成的。

​据“全民较真”公众号查证,它最早出现在一个叫“ AI 小芭芘”的账号 2024 年 11 月 18 日的短视频中,作者也声明了“内容由 AI 生成”。仔细观察图片红圈的部分,也可以看到这个小孩的左手有 6 根手指。

不光是这张图片,还有一些标着“日喀则地震”的图片也并非是现场图。比如这张“在废墟中妈妈用身体为孩子顶住压力”的图片,评论区还有人说“目前已经救出,其母亲多处骨折还是平安无事”,对于不明真相的路人很容易相信确有其事,但只要截图后选择“识别图片”,就能在同平台上看到 2022 年就有创作者发布,当时还是“一张照片一个感人故事”,明显是借由 AI 或旧图重新拼接,故意混淆视听。

平台上疑似使用了AI生成技术的图片,有些会由作者或平台标注提示,但有些没有。图源:网络截图
平台上疑似使用了AI生成技术的图片,有些会由作者或平台标注提示,但有些没有。图源:网络截图
平台上疑似使用了AI生成技术的图片,有些会由作者或平台标注提示,但有些没有。图源:网络截图
平台上疑似使用了AI生成技术的图片,有些会由作者或平台标注提示,但有些没有。图源:网络截图
平台上疑似使用了AI生成技术的图片,有些会由作者或平台标注提示,但有些没有。图源:网络截图平台上疑似使用了AI生成技术的图片,有些会由作者或平台标注提示,但有些没有。图源:网络截图

以前我们都说“有图有真相”,但随着 AI 的发展,有图也未必有真相。尤其是在出现重大灾情、重大事件的时候,难以避免有人利用人们的同情等情绪,利用 AI 的文本和图像生成功能,编造虚假信息、博取流量。

今天,我们从技术角度来剖析一下此类事件,并呼吁大家提高警惕。

AI 技术愈加成熟

造假门槛越来越低

AI 生成被压在废墟下孩子的图片,这背后涉及的是生成式人工智能技术,以文本到图像生成模型(Text-to-Image Models)为核心。这类技术通过解析用户输入的文字描述,将语义信息转化为逼真的图像。

其原理基于扩散模型(Diffusion Models)或生成对抗网络(GAN,Generative Adversarial Network)。扩散模型是基于概率模型,在每一步迭代中将噪声图像调整为更加符合输入描述的形态。例如,输入“被废墟压住的孩子”,模型会解析关键词(主体、情感、环境等),并分步骤添加废墟、灰尘等元素,使图像逐步逼近最终的文字描述。

生成对抗网络是通过生成器和判别器的对抗训练生成高质量图像。生成器根据文字描述生成图像,而判别器判断生成的图像是否真实。通过不断的对抗,模型最终生成高度逼真的场景。

一网友用 AI 输入文字生成的图一网友用 AI 输入文字生成的图

随着 AI 图像生成工具的普及,普通用户无需技术背景,只需输入文字即可生成相关图像,极大降低了滥用门槛,很容易引发争议。尤其是生成灾难图像,不仅可能制造恐慌,误导公众,还是对真实灾难和受灾者的亵渎。

更可怕的是,如果别有用心的人利用 AI 技术生成一些诸如恐怖袭击视频、灾难事件或大规模冲突的视频,还可能引起群众恐慌,导致不理性的群体行为甚至社会动荡。

AI 造假的负面影响远比想象中大

如何识别和检测?

随着 AI 造假技术的不断发展,那些建立在“信任”基础上的社会秩序正面临前所未有的挑战。

首先,社会信息的真实性可能崩塌。如果虚假信息以高度可信的方式呈现给社会公众,操纵大众心理、大众情绪和大众预期,会引发广泛的社会不信任,公众将不再信任新闻、名人言论或商业声明,甚至可能引发市场动荡和社会恐慌。

而长期接触虚假信息,可能让公众在真真假假中迷失自我,从而做出比较极端的选择。因为如果长期无法分辨真伪,他们要么相信一切,要么不信任一切,其结果是产生“信任衰退效应”。而信任的崩塌,对于一个健全社会的危害,不言而喻。

其次,司法系统也会面临危机。伪造的音视频证据可能干扰司法判决,削弱法律的权威性。此外,商业领域也可能受到严重冲击。虚假的决策声明或谈判内容可能导致错误决策和经济损失等等。

回想互联网早期咱们经常说的是“有图有真相”,P 图的多了以后就成了“有视频有真相”,到了现在已经成了“有视频也不一定有真相”,这个过程不过用了 20 年。

此外,很多 AI 生成的文字、图片、视频,将掺杂在真实信息中间,影响我们的搜索结果,也就更容易出现前文中所说的将AI生成的内容当成真事的情况。

那么,如何识别 AI 造假内容呢?

制作不够精良的 AI 造假视频、图文用肉眼就可看出异常。例如,人物表情僵硬、面部边缘模糊、背景的过渡不自然、人脸的光影效果与周围环境的光线情况不符、手指扭曲或手指数量不对等。但是,随着技术的进步,这些异常特征越来越少,肉眼分辨也会越来越难。

这种情况下必须通过技术检测、法律监管、公众教育和平台审查等方法来防范 AI 技术的滥用,尤其公众,一定要认识到 AI 造假的危险性,并提高警惕。比如,去信任那些权威机构或有权威机构背书、声誉一贯良好、出错也能自己纠错的信源;对于任何来源可疑的内容,我们都要保持合理的怀疑,尤其是打算根据这些信息采取进一步行动的时候。

面对灾情,我们能理解社会公众心系灾区,为受灾群众担忧的心情。但我们也需要警惕某些不怀好意的人利用社会公众的这种心情,通过AI技术伪造内容,骗取同情,套取流量,甚至做出更出格的、有违公序良俗的事情。

大灾面前有大爱。廓清真相,明辨真伪,避免受到假图片、假信息的误导,让谣言无所遁形,才能让大爱更顺畅地传递!

参考资料

[1]《西藏日喀则地震,这个被压在废墟下的小男孩居然是AI生成的丨热点较真》

https://mp.weixin.qq.com/s/uG-N5X5H8G8khdmm3OiAgA

[2] 《防范化解意识形态领域重大风险》王华著 国家行政管理出版社

策划制作

作者丨科普中国新媒体

审核丨于旸 腾讯玄武实验室负责人

          于乃功 北京工业大学机器人工程专业负责人,北京人工智能研究院机器人研究中心主任,博士生导师

策划|杨雅萍

责编丨林林、丁崝、何通、杨雅萍

海量资讯、精准解读,尽在新浪财经APP
AI 图像 西藏 日喀则市

VIP课程推荐

加载中...

APP专享直播

1/10

热门推荐

收起
新浪财经公众号
新浪财经公众号

24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance)

股市直播

  • 图文直播间
  • 视频直播间

7X24小时

  • 01-16 海博思创 688411 --
  • 01-16 亚联机械 001395 --
  • 01-14 富岭股份 001356 --
  • 01-13 兴福电子 688545 --
  • 01-13 超研股份 301602 --
  • 新浪首页 语音播报 相关新闻 返回顶部