找到那张假照片！对抗Deepfake之路

原标题：找到那张假照片！对抗Deepfake之路 来源：Tech

随着Deepfake等一键式换脸应用的流行，越来越多的普通人也能通过简单的操作对视频中人像、甚至声音进行修改，达到以假乱真的地步。但在有趣的背后，也有助长谣言、侵犯隐私的隐患。

2019年1月，宾厄姆顿大学曾与英特尔合作推出视频图片检测工具FakeCatcher。而在今年八月份，研究人员又发表《基于生物信号残留物进行深层合成图片检测（How Do the Hearts of Deep Fakes Beat? Deep Fake Source Detection via Interpreting Residuals with Biological Signals）》，准确率可以达到97.29%。

FakeCatcher是如何实现其“打假”功能，是否会导致Deepfake“反打假”以及两年后FakeCatcher又有什么新的突破和创新，今天智东西为你一一道来。

论文：https://arxiv.org/abs/2008.11363

一、Deepfake很全能？心跳、脉搏来“打假”

FakeCatcher基于的原理是人类心跳时产生的细微肤色差异，而具体到应用上，则是与指尖脉搏血氧仪以及Apple Watch用于测量运动心率相同的技术——光电容积描记法（简称PPG）。

英特尔高级研究科学家Ilke Demir表示：“我们从面部不同部位提取了几种PPG信号，并检测了其时空一致性。在通过深度学习合成的视频中，心跳信号既没有一致性，也与脉搏信号没有任何联系。而在真实拍摄的视频中，人面部的血液流动是会和脉搏，也就是心跳信号保持一致的。”

与Demir合作的是宾厄姆顿大学计算机科学系的博士Umur A. Ciftci及其导师，图形和图像计算实验室的Lijun Yin教授。该实验室创建的多个3D人脸和表情数据库曾被多位好莱坞电影制片人、视频游戏创作者用于影视或游戏项目。

在实验室中，Ciftci借助18台摄像机以及红外摄像机，建立了全美最先进的生理信号采集设备。在实验过程中，受试者需要佩戴监测呼吸和心率的设备，30分钟的数据需要12个小时的计算处理。

Yin说：“Umur做了很多生理数据分析，并用我们第一个多峰数据库进行了信号处理。我们不仅收集2D、3D可见图像的数据，也收集热像仪和生理传感器的数据。使用生理学特征去检测图像造假将会是以后的新的思路。”

二、要打“假”，先造“假”

相比起实验中采集的图像，Deepfake处理过的“假照片”图像质量要低很多，这意味着合成的照片和视频可以更容易被发现。

Ciftci说：“我们会用采集到的生理信号对3D图像进行处理，合成了一些‘假’视频。和Deepfake不同的是，我们采用真实的受试者的数据并进行处理，而Deepfake则是用网络中的数据。但如果只是从‘假’的层面考虑，并没有什么不同。”

“就像警察知道罪犯是怎么犯案的一样，如果我们要找到那些假照片，我们就得先知道它们是怎么制作出来的，甚至当我们自己创造数据库时，也使用了Deepfake的一些方法。”

▲Lijun Yin（左）和Umur Ciftci（右）在3D扫描实验室，图源：Jonathan Cohen

自FakeCatcher发表以来，全球共有27位研究人员在自己的研究中使用了该算法和数据集。但很多人都担心，如果这些研究成果未来向大众公开，Deepfake制作者是否有可能通过学习验伪过程，修改算法以升级Deepfake使合成照片在未来更难被发现。

但Ciftci并不太担心这一点：“对于不懂生理信号处理的人来说，突破生理信号检测并非易事。如果没有重大软件更新，Deepfake制作者不可能仅仅利用现有技术来实现这一目标。”

三、除了能“打假”，还能拍电影

英特尔参与FakeCatcher很大原因是基于对容积捕获的兴趣，也就是用多个摄像机全方位捕捉同一个人物的信息，并将其结合创建一个可以无缝置于任何环境的三维模型，这将对AR和VR具有重大意义。

英特尔称正进行世界上最大的容积捕获实验：在10000平方英尺的网格状球顶下装有100个摄像机，场地可同时容纳约30人，受试者甚至可以骑几匹马。

▲英特尔实验场地

通过编译FakeCatcher数据并对其进行逆向工程，英特尔希望结合真实的生物信息，制作出更逼真的效果图。

英特尔未来的计划包括将容积捕获技术运用在电视节目、体育赛事和增强现实中，使观众可以沉浸在这些场景中。除此之外，英特尔也会涉足3D、VR电影制作，近期在威尼斯电影节上也有英特尔参与的VR项目正在首映。

Demir表示英特尔正在从以芯片为中心转变，向AI、边缘计算和数据靠近，尽一切可能发掘AI在自身业务上的应用。”

四、“打假”无止境，FakeCatcher再进步

在今年八月发表的论文中，Demir等人利用生物信号残差提出了一种深层的伪造源检测模型，不仅检测伪造视频的准确率可以达到97.29%，在推断伪造视频背后的生成模型上，准确率也达到了93.39%。

因为用于检测心跳、血液流动等生理变化的PPG信号难以模仿，至今还没有生成模型可以创建出PPG信号一致的伪造视频。所以研究人员不仅可以通过PPG信号的不一致找出伪造的视频，还能通过PPG信号之间的残差找到伪造视频背后的生成模型。

研究人员从脸部不同位置，通过帧窗口从视频中提取32种原始PPG信号，再将信号及其频谱密度编码为一个时空块，即所谓的PPG单元。PPG单元再通过神经网络处理后，可以识别源生成模型的不同残差的特征。最后，使用机率平均对数将每个特征序列合并为预测每个视频背后的生成模型。

▲Deepfake检测流程

结语：产学研合作，瞄准基准数据集

大量伪造的视频及图像在网络及社交媒体上广泛传播，所以设计基准数据集以用于深度检测研究更加迫切。研究人员表示下一阶段，他们将创建包含PPG信号的新数据集，以向这一目标再迈一步。

Yin也表示，希望在未来能继续和英特尔合作，让研究成果不仅在学术界有所影响，在业界也能得到实际应用。

来源：Tech Xplore