在过去几年中，扩散模型在图像合成领域展现出强大的能力，但挑战更大的视频生成任务却成为了研究社区的新焦点。视频合成不仅需要保持时间一致性，还需要处理更高维度的数据，这使得收集高质量视频数据变得更加困难。OpenAI的Lilian Weng在最新的博客中分享了关于视频生成扩散模型的设计思路。
首先，我们来看如何从零开始设计和训练视频生成模型，而不是依赖于预训练的图像生成器。模型架构方面，3D U-Net和DiT是常用的选择，通过对2D U-Net进行扩展，使其能够处理3D数据。这种架构在空间和时间上进行分解，保证了模型对时间一致性的良好表现。
另一种方法是通过插入时间层来扩展预训练的文生图扩散模型，从而在视频数据上进行微调。这种方法继承了文本 - 图像对的先验知识，有助于减少对文本 - 视频对数据的需求。Make-A-Video是一个基于预训练扩散图像模型的视频生成模型，通过时空卷积和注意力层覆盖时间维度，实现高帧率视频生成。
此外，还有一种无训练适应的方法，让预训练的文生图模型直接输出视频。Text2Video-Zero通过采样具有运动动态的隐含代码序列和跨帧注意力机制，实现了零样本无训练的视频生成，保证了时间上的一致性。
视频生成扩散模型的设计和训练是一个复杂而富有挑战的任务，但通过不断探索和创新，我们可以逐渐揭开视频生成的奥秘。让我们跟随OpenAI的Lilian Weng，一起探索视频生成的未来吧！
