给我1张图，生成30秒视频！｜DeepMind新作(2)

其中就包括视频建模、新视图合成、语义分割、对象识别、深度估计、光流预测等等。 视频建模 通过Transframer在给定一系列输入视频帧的情况下预测下一帧。 研究人员分别在KITTI和RoboNet两个数据集上，训练了Transframer在视频生成上的性能如何。 对于KITTI，给定5个上下文帧和25采样帧，结果显示，Transframer模型在所有指标上的性能都有所提高，其中LPIPS和FVD的改进是最显而易见的。 在RoboNet上，研究人员给定2个上下文帧和10个采样帧，分别以64x64 和 128x128 的分辨率进行训练，最终也取得了非常好的结果。 视图合成 在视图合成方面，研究者通过提供相机视图作为表 1（第 3 行）中描述的上下文和目标注释，以及 统一采样多个上下文视图，直到指定的最大值。 通过提供1-2个上下文视图，在ShapeNet 基准上评估模型Transframer，明显优于PixelNeRF和SRN。 此外在数据集Objectron进行评估后，可以看出当给定单个输入视图时，模型会产生连贯的输出，但会遗漏一些特征，比如交叉的椅子腿。 当给出1个上下文视图，以128×128分辨率合成的视图如下： 当再给出2个上下文视图，以128×128分辨率合成的视图如下： 多视觉任务 不同的计算机视觉任务通常使用复杂的架构和损失函数来处理。 这里，研究人员在8个不同的任务和数据集上使用相同的损失函数联合训练了Transframer模型。 这8个任务分别是：单个图像的光流预测、对象分类、检测和分割、语义分割（在2个数据集上）、未来帧预测和深度估计。 结果显示，Transframer学会在完全不同的任务中生成不同的样本，在某些任务中，比如 Cityscapes，该模型产生了质量上好的输出。 但是，在未来帧预测和边界框检测等任务上的模型输出质量参差不齐，这表明在此设置中建模更具挑战性。