谷歌华人研究员发布MobileNeRF，渲染3D模型速度提升10倍(4)

在不损失一般性的情况下，研究人员描述了合成360度场景中使用的多边形网格，首先在单位立方体中以原点为中心定义一个大小为P×P×P的regular grid，通过为每个创建一个顶点来实例化V，通过为每个网格边缘创建一个连接四个相邻voxel顶点的四边形（两个三角形）来实例化。

在优化过程中，将顶点位置初始化为V=0，即对应于regular Euclidean lattice，并对其进行正则化处理，以防止顶点离开voxel，并在优化问题受限的情况下使其返回到中间位置。

训练阶段2： 对不透明度进行二进制化，因为虽然经典的栅格化可以很容易地将碎片分解，但对于半透明碎片的处理却很麻烦。

一般硬件实现的渲染管道并不支持半透明的网格。渲染半透明网格需要对每一帧进行排序，因此要按从后到前的顺序执行渲染，以保证正确的alpha合成。

研究人员通过将平滑不透明度转换为离散/分类不透明度解决了这一问题。

为了通过photometric supervision的方式来优化离散不透明度，模型还采用了直通式估计器（straight-through estimator）。需要注意的是，其梯度是透明地通过离散化操作，不考虑平滑透明度和离散透明度的值。为了稳定训练，研究人员选择对连续和离散模型进行联合训练。

训练阶段3： 提取一个稀疏的多边形网格，将不透明度和特征烘焙成纹理图，并存储神经递延着色器的权重。网格被存储为OBJ文件，纹理图被存储为PNG文件，而延迟着色器的权重则被存储在一个（小型）JSON文件中。

在传统的光栅化pipeline中，想要获得高质量的光栅化结果，混叠（aliasing）是一个必须考虑的问题。虽然经典的NeRF通过半透明体来实现平滑的边缘，但半透明体需要对每帧多边形排序。