Adaptive Affine Transformation: A Simple and Effective Operation for Spatial Misaligned Image Generation

发布:2023-01-05 10:04:05
阅读:1232
作者:张智勐、丁彧
分享:复制链接

论文介绍

一个具有挑战性的问题,称为空间未对齐图像生成,描述了具有大空间变形的两个面部/姿势图像之间的转换,在面部/姿势重现任务中经常会遇到。高级研究人员使用密集流来解决这个问题。然而,在复杂的空间变形下,即使使用精心设计的网络,其本质上的复杂性会难以计算精确的密集流,从而导致结果失真。与那些基于密集流的方法不同,我们提出了一种简单但有效的名为AdaAT(自适应仿射变换)的算子来实现错位图像生成。

AdaAT通过计算数百个仿射变换来模拟空间变形,从而减少失真。在不计算任何密集流的情况下,AdaAT直接在特征通道空间中进行仿射变换。此外,我们将多个AdaAT算子打包到一个通用 AdaAT模块中,用于不同的人脸/姿势生成任务。为了验证我们的AdaAT的有效性,我们在说话人脸生成、人脸重现、姿势转移和人物图像生成任务中对四个常见数据集进行了定性和定量实验。我们在其中三个上取得了最先进的结果。

论文地址

https://dl.acm.org/doi/abs/10.1145/3503161.3548330

扫码进群
微信群
免费体验AI服务