论文链接：
https://arxiv.org/pdf/1811.09393.pdf
摘要：对抗训练在单图像超分辨率任务中非常成功，因为它可以获得逼真、高度细致的输出结果 。因此，当前最优的视频超分辨率方法仍然支持较简单的范数（如 L2）作为对抗损失函数 。直接向量范数作损失函数求平均的本质可以轻松带来时间流畅度和连贯度，但生成图像缺乏空间细节 。该研究提出了一种用于视频超分辨率的对抗训练方法，可以使分辨率具备时间连贯度，同时不会损失空间细节 。
该研究聚焦于新型损失的形成，并基于已构建的生成器框架展示了其性能 。研究者证明时间对抗学习是获得照片级真实度和时间连贯细节的关键 。除了时空判别器以外，研究者还提出新型损失函数 Ping-Pong，该函数可以有效移除循环网络中的时间伪影，且不会降低视觉质量 。之前的研究并未解决量化视频超分辨率任务中时间连贯度的问题 。该研究提出了一组指标来评估准确率和随时间变化的视觉质量 。用户调研结果与这些指标判断的结果一致 。总之，该方法优于之前的研究，它能够得到更加细节化的图像，同时时间变化更加自然 。
模型方法
该研究提出的 VSR 架构包含三个组件：循环生成器、流估计网络和时空判别器 。生成器 G 基于低分辨率输入循环地生成高分辨率视频帧 。流估计网络 F 学习帧与帧之间的动态补偿，以帮助生成器和时空判别器 D_s,t 。
训练过程中，生成器和流估计器一起训练，以欺骗时空判别器 D_s,t 。该判别器是核心组件，因为它既考虑空间因素又考虑时间因素，并对存在不现实的时间不连贯性的结果进行惩罚 。这样，就需要 G 来生成与之前帧连续的高频细节 。训练完成后，D_s,t 的额外复杂度不会有什么影响，除非需要 G 和 F 的训练模型来推断新的超分辨率视频输出 。
图1
图 2

猜你喜欢

• 瓷都免费测名字打分
• 微信视频号怎么关闭定位 微信视频号关闭定位的方法
• 手机压缩免费软件app讲解 软件压缩包怎么安装
• 走火电视剧免费大结局 电视剧走火讲的是什么
• 微信群怎么视频 微信群视频的操作方法
• 怎么发30秒视频 30秒的视频怎么发
• 淘宝全国联保是全部免费吗？有哪些服务？
• 异界之骨灰玩家小说txt全集免费下载
• 营销的概念和营销技巧 短视频营销方案怎么写
• 头条视频怎么自动播放 其实很简单