论文介绍
我们提出了一个基于视觉的框架，用于视频中的动态天空替换和协调。不同于以往的天空编辑方法，要么专注于静态照片，要么需要来自相机惯性测量单元的实时姿态信号。我们的方法是纯粹基于视觉的，对捕获设备没有任何要求，并且可以很好地应用于任何在线或离线处理场景。我们的方法实时运行，无需手动交互。我们将视频天空替换分解为几个代理任务，包括运动估计、天空抠图和图像混合。我们推导了相机运动下图像平面上无限远处物体的运动方程，并提出了一种新的鲁棒运动估计方法“流传播”。我们还提出了一种从粗到细的天空遮片网络，以预测准确的天空遮面，并设计图像混合以提高协调性。
对野外拍摄的视频进行了实验，结果表明，我们的框架在视觉质量和照明/运动动力学方面都具有高保真度和良好的泛化能力。我们还介绍了一种新的内容感知图像增强方法，并证明该方法有利于自动驾驶场景中的视觉感知。
论文地址
https://ieeexplore.ieee.org/document/9841449
代码和动画结果地址
https://github.com/jiupinjia/SkyAR
