全球多媒体巨头 Adobe 与马里兰大学的研究人员合作推出了新的超分辨率视频模型 VideoGigaGAN，该模型兼顾帧率连贯性和丰富细节，解决了当前超分辨率视频模型的难题。
在过去的超分辨率视频转换中，存在两大难题:一是保持输出视频帧在时间上的连贯性，确保帧到帧之间平滑过渡，不出现闪烁或抖动的情况;二是在放大的视频帧中重建高频细节，提供清晰和逼真的纹理效果。然而，目前的超分辨率视频模型虽然在保持时间连贯性方面取得了进展，但以牺牲图像清晰度为代价，整体模糊缺乏更加生动的细节和纹理。
VideoGigaGAN 是基于 Adobe、卡内基梅隆大学和浦项科技大学之前推出的大规模图像超分辨率模型 GigaGAN 的基础之上开发而成。该模型通过添加时序卷积和自注意力层，将 GigaGAN 模型从2D 图像扩展为3D 视频模型，同时引入了光流引导模块，更好地对齐不同帧的特征，提高视频的时间一致性和细节丰富性。时序卷积模块使模型能够捕捉视频帧之间的时间依赖性，从而提高超分辨率视频的时间一致性。自注意力层在解码器块中提取空间上的细节和纹理信息，同时在时间上增强一致性。光流引导模块利用光流来预测视频帧中的像素级运动，保持特征的空间一致性，生成清晰的超分辨率视频。
VideoGigaGAN 的技术原理包括基于 GigaGAN 的模型扩展为视频模型、时域注意力、特征传播模块、抗锯齿处理和细节补偿等方面，从多个角度确保视频处理的效果和质量。
VideoGigaGAN 具有多种功能特点，包括视频超分辨率、时域一致性、丰富的细节处理、抗锯齿处理和通用性。这些功能特点使得 VideoGigaGAN 可以在视频内容制作、视频监控和安全、视频通讯和会议、医疗影像以及视频内容分发等多个领域中发挥作用，提高视频质量，丰富细节内容，加强图像清晰度和逼真度。