设为书签 Ctrl+D将本页面保存为书签,全面了解最新资讯,方便快捷。 您也可下载桌面快捷方式。点击下载 | 新浪科技 | 新浪首页 | 新浪导航

高保真换脸让沈腾重回颜值巅峰!重建人脸3D信息,浙大、厦大、腾讯优图联合出品

2021-07-25 13:56:01    创事记 微博 作者:   

来源:量子位

能让沈腾减肥成功、重回颜值巅峰:

让安妮·海瑟薇变身帅气小哥:

还能让YoshuaBengio奔驰在绿茵草地上:

你没猜错,这又是换脸的“魔法”。

而且这效果也太自然了吧!

即便是不同性别、不同脸型,换脸后也毫不违和。

除了脸型以外,面部的线条感也能被自然复现。

把赫敏换脸成卷福,看起来都没什么违和感。

甚至脸上有遮挡也没关系,马斯克摇身一变成为异域女郎:

不止是图片,在视频里的效果也非常自然:

用3D信息重塑面部结构

以上这些效果,都是用HifiFace这种新型换脸方法实现的。

而它的秘诀就在于利用三维几何结构信息

以往的换脸方法主要是重建面部的纹理,而不是结构;

这会导致在一些情况下,下颌线或颧骨的部分会出现不自然的效果,仿佛戴了个面具一样。

想要解决这些问题,面部的3D信息就变得非常重要。

因此,HifiFace的框架中主要增加了一个3D轮廓识别提取器(3D Shape-Aware Identity Extractor)和一个语义面部融合模块(Semantic Facial Fusion Module,SFF)

它主要用3D重建模型对源脸和目标脸的系数进行回归,将其重组成几何信息后,与人脸识别网络中的特征向量信息连接。

然后把得到的几何数据输入到编码器-解码器模型中,与目标面部的表情、特征融合。

与此同时,SFF模块还能把生成人脸的质量进一步提升。

它主要用编码器来保留源脸的空间、纹理等低级特征,以保留更多信息。

这样一来,HifiFace就不用以源脸的轮廓作为强制边界,而是在面部边缘自适应融合。

从而能很好解决面部被遮挡或光线上的问题,最后达到高保真的效果。

△模块细节模块细节

光说不练假把式。

在与一些现有换脸方法的对比中,我们能看到HifiFace的效果有了明显的提升。

从对比中可以看出:

FSGAN在脸型上实现的效果不错,但是在面部光线的处理上不尽人意。

SimSwap则并没有很好将源图中的面部特征转换出来。

FaceShifter相较于上两个模型效果略好,但是在表情和肤色的还原上,还是不如HifiFace。

在数据上,HifiFace换脸后保留的身份信息在几个方法中最多,脸型上的差距也是最小的。

而在HifiFace和FaceShifter生成样本的脸型差异对比中,当源脸和目标脸在轮廓上差异很大时,HifiFace明显优于Facehifter

目前HifiFace专注的方向为面部线条上优化,还未开发全头替换(包含头发)的功能。

它由腾讯优图实验室、浙江大学、厦门大学联合开发,现已被IJCAI 2021成功收录。

论文地址:

https://arxiv.org/abs/2106.09965

参考链接:

https://www.unite.ai/new-deepfake-method-hififace/

(声明:本文仅代表作者观点,不代表新浪网立场。)

分享到:
保存   |   打印   |   关闭