Yann LeCun开怼谷歌研究：目标传播早就有了，你们创新在哪里？(2)

与反向传播类似，LocoProp应用前向传递来计算激活。在反向传递中，LocoProp为每一层的的神经元设置目标。最后，LocoProp将模型训练分解为跨层的独立问题，其中多个局部更新可以并行应用于每层的权值。 谷歌在深度自动编码器模型中进行了实验，这是评估优化算法性能的常用基准。他们对多个常用的一阶优化器进行广泛的优化，包括 SGD、具有动量的SGD 、AdaGrad、RMSProp、Adam，以及高阶优化器，包括Shampoo 、K-FAC，并将结果与LocoProp比较。研究结果表明，LocoProp方法的性能明显优于一阶优化器，与高阶优化器相当，同时在单个GPU上运行时速度明显更快。