针对深度学习的“失忆症”，科学家提出基于相似性加权交错学习(8)

总结

人工神经网络在持续学习方面面临重大挑战，通常表现出灾难性干扰。为了克服此问题，许多研究都使用了完全交错学习（FIL），即新旧内容交叉学习，联合训练网络。FIL需要在每次学新信息时交织所有现有信息，使其成为一个生物学意义上不可信且耗时的过程。最近，有研究表明FIL可能并非必需，仅交错与新内容具有实质表征相似性的旧内容，即采用相似性加权交错学习（SWIL）的方法可以达到相同的学习效果。然而，有人对SWIL的可扩展性表示了担忧。 本文扩展了SWIL算法，并基于不同的数据集（Fashion-MNIST、CIFAR10 和 CIFAR100）和神经网络模型（深度线性网络和CNN）对其进行了测试。在所有条件下，与部分交错学习（PIL）相比，相似性加权交错学习（SWIL）和等权交错学习（EqWIL）在学习新类别方面的表现更好。这和作者团队的预期相符，因为与旧类别相比，SWIL和EqWIL增加了新类别的相对频率。 本文同时还证明，与同等子抽样现有类别（即EqWIL方法）相比，仔细选择和交织相似内容减少了对相近旧类别的灾难性干扰。在预测新类别和现有类别方面，SWIL的性能与FIL类似，却显著加快了学习新内容的速度（图7D)，同时大大减少了所需的训练数据。SWIL可以在序列学习框架中学习新类别，进一步证明了其泛化能力。 最后，与许多旧类别具有相似性的新类别相比，如果其与之前学过的类别重叠更少（距离更大），可以缩短集成时间，并且数据效率更高。总体来说，实验结果提供了一种可能的见解，即大脑事实上通过减少不切实际的训练时间，克服了原始CLST模型的一项主要弱点。