(相关资料图)

通常，以高时间分辨率记录快速运动需要昂贵的高速摄像机。幸运的是，视频插值，即在两个给定帧之间推断中间帧的任务，可能是一种更简单的选择。

最近发表在 arXiv.org 上的一篇论文提出了一种新颖的视频帧插值方法。

研究人员建议使用视频帧和事件流作为输入来解决复杂的非线性运动。通过引入事件相机，解决了传统基于帧的相机缺乏中间信息的问题。事件流被引入到无监督学习框架中，以直接估计中间帧和输入帧之间的光流。

所提出的方法在合成基准和真实数据上都优于最先进的方法。

以高 FPS(每秒帧数)记录快速运动需要昂贵的高速摄像机。作为替代方案，对来自商用相机的低 FPS 视频进行插值引起了极大的关注。如果只有低 FPS 视频可用，则需要运动假设(线性或二次)来推断中间帧，这无法模拟复杂的运动。事件相机，一种新的相机，其像素以μ s ( 10 - 6秒)的时间分辨率产生亮度变化事件, 是一种改变游戏规则的设备，可以在存在任意复杂运动的情况下启用视频插值。由于事件相机是一种新型传感器，由于缺乏处理算法，它的潜力尚未发挥出来。开创性的工作 Time Lens 通过设计光学设备来收集大量高速帧和事件的配对训练数据，将事件摄像机引入视频插值，但成本太高而无法扩展。为了充分释放事件摄像机的潜力，本文提出了一种新颖的 TimeReplayer 算法，用于将商品摄像机捕获的视频与事件进行插值。它以无监督的循环一致方式进行训练，取消了高速训练数据的必要性，并带来了视频外推的额外能力。

标签：