无限视觉生成模型NUWA-Infinity让视觉艺术创作自由延伸

大数据文摘转载自微软研究院AI头条

此前，微软亚洲研究院提出了多模态模型 NUWA，它可以基于给定的文本、视觉或多模态输入生成图像或视频，并支持多种视觉艺术作品创建任务，包括文本到图像或视频的生成、图像补全、视频预测等。

近日，微软亚洲研究院公开发表了新的研究成果：NUWA 的升级版——无限视觉生成模型 NUWA-Infinity，让视觉艺术创作趋于“无限流”，可生成任意大小的高分辨率图像或长时间视频。一起来感受一下 AI 的无限创作力吧！

或许你也曾有过这样的想法——那些“世界名画”画框外的景色是怎样的？ 让 NUWA-Infinity 带我们去“一探究竟”！ 发现梵高《星空》画框外更广阔的风景： “窥探”《清明上河图》5.287米画卷外百姓们的千姿百态： 《清明上河图》

NUWA-Infinity 基于《清明上河图》学习后，重新创作生成画作（分辨率：38912x2048）的一部分 NUWA-Infinity 还可以将静态的图像转化成超高清视频，为其带来“活力”。 原始静态图像 NUWA-Infinity 基于静态图像生成的视频 除此之外，NUWA-Infinity 也可以依据文本生成超高清图片，为艺术创作带来更加丰富的想象力。 是不是意犹未尽，还想探索更多？欢迎大家点击阅读原文，前往 NUWA-Infinity 演示页面，直观感受 NUWA-Infinity 的无限创作能力。 为什么微软亚洲研究院会开发 NUWA-Infinity，背后又用到了哪些新技术？ 随着以消费为基础的注意力经济逐渐转为以生产为基础的创意经济，越来越多的人已经成为日常创作者，通过利用各种图片、视频编辑工具，实现艺术作品的创新或再创作。然而，高质量的视觉艺术创作从来都不是一件容易的事，往往需要专业的技能和设备，并花费大量的时间。与此同时，日常的视觉艺术创作对更高分辨率的图像或持续时间更长的视频也有着越来越高的需求。 为此，微软亚洲亚洲研究院 NUWA 团队研发出了无限视觉生成模型 NUWA-Infinity。与同样覆盖图像和视频创作的 NUWA 相比，NUWA-Infinity 在分辨率和可变大小视觉艺术作品生成方面具有更优的性能，并支持五个高分辨率视觉任务的生成，包括无条件图像生成高分辨率图、文本生成高分辨率图像、文本生成高分辨率视频、图像生成高分辨率动画和图像生成高分辨率图像。 在 NUWA-Infinity 模型中，研究员们提出了一种全局自回归嵌套局部自回归的生成机制，通过全局自回归建模视觉块之间的依赖关系和局部自回归建模视觉词之间的依赖关系，让 NUWA-Infinity 能够生成全局一致且局部细节丰富的高质量图像和视频，并提出任意方向控制器（Arbitrary Direction Controller, ADC）来决定合适的生成顺序并学习顺序感知的位置嵌入。相比其他多模态生成模型，NUWA-Infinity 可以从给定的文本、图像或视频生成与之相关的任意形状、任意大小的超高分别率图像，以适配不同设备、平台和场景；更重要的是，NUWA-Infinity 还支持长时间视频的生成，比如图像动画的制作。 此外，NUWA-Infinity 模型还引入了附近上下文池（Nearby Context Pool, NCP）来缓存已经生成的局部图像，作为正在生成的当前图像的上下文，这可以在不牺牲视觉块间依赖性的前提下，显著节省计算成本。NUWA-Infinity 极大地弥补了市场上现有技术仅支持生成大小有限的视觉内容以及视觉内容创作计算成本高昂的不足。 下一步，NUWA 团队将持续推动 NUWA 的演进，并希望研发出能从三个方面为专业和日常艺术创作者赋能的技术：