Deepfake技术可以将一张图片的特征替换为另一张图片的特征。具体为,Deepfakes使用先进的深度学习技术对特征进行编码,然后根据编码的特征重建图像。
创建Deepfake的深度学习架构的核心是自动编码器。
制作Deepfake的第一步是使用编码器将面部图像转换为更小的基于特征的表示。这种信息更丰富的表示通常被称为潜在面孔。潜在面孔将包含鼻子形状、肤色和眼睛颜色等特征的表示。我们为每个人使用相同的编码器,因此产生的表示具有相同的含义。
然后,我们使用解码器将潜在面孔转换回图像。根据我们用来训练解码器的图像,输出的人脸图像会有所不同。面部交换的关键部分是将A的解码器应用于B的潜在面部,反之亦然。这样输出的人脸会有A人的表情和结构,但是有B人的风格和神情。
Deepfake技术的常见应用
换脸:换脸是最经常被使用的Deepfake技术,交换两个人的脸。
人脸合成:为一个从未存在过的人生成一张脸。
面部属性和表情操纵:在属性和表情操纵中,通过改变特定特征,例如眼睛、眉毛等,调整他们的表情来改变面部。