Fairy是一种简约而健壮的图像编辑扩散模型的改进版本,专为视频编辑应用进行了增强。我们的方法核心在于锚点式跨帧注意力机制,这是一种隐式地在帧之间传播扩散特征的机制,确保了卓越的时间连贯性和高保真合成。Fairy不仅解决了之前模型的局限性,如内存和处理速度,还通过一种独特的数据增强策略改善了时间一致性。这种策略使模型在源图像和目标图像中都对仿射变换保持等变性。Fairy的效率惊人,能在短短14秒内生成120帧512×384视频(30 FPS下的4秒时长),比之前的作品至少快了44倍。一项涉及1000个生成样本的全面用户研究证实,我们的方法提供了优越的质量,明显胜过现有的方法。
来这里看详细内容 https://fairy-video2video.github.io/