最近，Adobe的研究团队发布了一篇关于名为VideoGigaGAN的新型生成式AI模型的论文，我们认为这种技术可能会在未来的产品中推出。VideoGigaGAN的功能是将低质量视频的分辨率提升至原始分辨率的最高八倍，同时不牺牲视频的稳定性或忽视源材料的重要细节。项目网站上有几个演示视频展示了它的能力，比如将一个模糊的128×128像素的瀑布视频转换成1024×1024像素的高清视频。
值得注意的是，这种AI技术在处理细节上毫不妥协。在人物面部上可以看到皮肤质地、皱纹、头发丝等细节。其他演示视频也展示了类似的高质量效果。比如，通过这项技术，你可以更清楚地看到池塘中游泳的天鹅和树上的花朵。可能会觉得关注皮肤的皱纹或羽毛等细节有些奇怪，然而，正是这种级别的细节处理，Adobe这样的公司必须精确掌握，如果他们打算在广泛的范围内实施图像增强AI。
改进的AI技术复杂难懂。
“GAN”在VideoGigaGAN中代表生成对抗网络，这是一种能够创建逼真图像的AI类型。Adobe的版本特别基于GigaGAN，专注于提升生成内容以及真实照片的质量。正如TheVerge所指出的，这项技术的问题在于它在提高视频质量时会引起多种问题，如奇怪的图像失真。为了解决这一问题，Adobe研究人员使用了多种技术。
研究论文解释了整个过程，尽管内容密集，你可以自行阅读以获取完整的信息。基本上，他们引入了“流引导传播模块”以确保视频帧之间的一致性，使用抗锯齿技术减少图像失真，以及“高频特征传输”来补偿细节突然下降。VideoGigaGAN的内容不止这些，但这就是其主要内容。
潜在的应用
我们是否会在即将推出的Adobe产品中看到这一技术，或者作为一个独立的应用推出？很可能——至少我们是这么认为的。
在过去的一年中，该公司一直在重点实施人工智能到其软件中，从推出Firefly到Acrobat的新助手。就在几个月前的Adobe MAX 2023期间，一个被称为Project Res Up的视频增强器在活动中预览，其性能与我们在VideoGigaGAN演示中看到的类似。一部20世纪40年代的旧电影从480×360像素分辨率提高到了清晰的1280×960像素。河中大象的模糊视频变得清晰可见。演示者甚至提到，软件可以将剪辑的质量提升四倍。
公开承认，这只是猜测，但VideoGigaGAN很可能是Res-Up背后的引擎。Adobe的未来产品可能会为人们提供一种将旧家庭视频或低质量视频提升为我们脑海中想象的电影的方式。也许，最近的预览是即将发布的暗示。
VideoGigaGAN仍在深入开发中，因此尚不清楚何时或是否会发布。这项AI在处理超过200帧的视频或渲染小物体时还存在一些障碍，但我们肯定会继续关注。