针对深度学习的“失忆症”，科学家提出基于相似性加权交错学习(3)

深度线性神经网络实现快速和高效学习新事物

接下来在前两个条件基础上增加了3种新条件，研究了新的分类学习动态，其中每个条件重复10次：

FoL（共计n=6000张图像/epoch）；

FIL（共计n=54000张图像/epoch，6000张图像/类）；

部分交错学习 (Partial Interleaved Learning，PIL)使用了很小的图像子集（共计n=350张图像/epoch，大约39张图像/类），每一类别（新类别+现有类别）的图像以相等的概率呈现；

SWIL，每个epoch使用与PIL 相同的图像总数进行重新训练，但根据与（新）“boot”类别的相似性对现有类别图像进行加权；

等权交错学习（Equally Weighted Interleaved Learning，EqWIL），使用与SWIL相同数量的“boot”类图像重新训练，但现有类别图像的权重相同（图3A）。

作者团队使用了上述相同的测试数据集（共有n=9000张图像）。当在每种条件下神经网络的性能都达到渐近线时，停止训练。尽管每个epoch使用的训练数据较少，预测新“boot”类的准确率需要更长的时间达到渐近线，与FIL（H=7.27，P<0.05）相比，PIL的召回率更低（图3B第1列和表1“New class”列）。 对于SWIL，相似度计算用于确定要交错的现有旧类别图像的比例。在此基础上，作者团队从每个旧类别中随机抽取具有加权概率的输入图像。与其他类别相比，“sneaker”和“sandal”类最相似，从而导致被交错的比例更高（图3A）。 根据树状图（图2B），作者团队将“sneaker”和“sandal”类称为相似的旧类，其余则称为不同的旧类。与PIL（H=5.44，P<0.05）相比，使用SWIL时，模型学习新“boot”类的速度更快，对现有类别的干扰也相近。此外，SWIL（H=0.056，P>0.05）的新类别召回率（图3B第1列和表1“New class”列）、总准确率和损失与FIL相当。EqWIL（H=10.99，P<0.05）中新“boot”类的学习与SWIL相同，但对相近的旧类别有更大程度的干扰（图3B第2列和表1“Similar old class”列）。 作者团队使用以下两种方法比较SWIL和FIL：

内存比，即FIL和SWIL中存储的图像数量之比，表示存储的数据量减少；

加速比，即在FIL和SWIL中呈现的内容总数的比率，以达到新类别回忆的饱和精度，表明学习新类别所需的时间减少。

SWIL可以在数据需求减少的情况下学习新内容，内存比=154.3x (54000/350)，并且速度更快，加速比=77.1x (54000/(350×2))。即使和新内容有关的图像数量较少，该模型也可以通过使用SWIL，利用模型先验知识的层次结构实现相同的性能。SWIL在PIL和EqWIL之间提供了一个中间缓冲区，允许集成一个新类别，并将对现有类别的干扰降到最低。 图3 ( A ) 作者团队在五种不同的学习条件下预训练神经网络学习新的“boot”类（橄榄绿），直到性能平稳：1）FoL（共计n=6000张图像/epoch）；2）FIL（共计n=54000张图像/epoch）；3) PIL（共计n=350张图像/epoch）；4) SWIL（共计n=350张图像/epoch）和 5) EqWIL（共计n=350张图像/epoch）。（B）FoL（黑色）、FIL（蓝色）、PIL（棕色）、SWIL（洋红色）和 EqWIL（金色）预测新类别、相似旧类别（“sneaker”和“sandals”）和不同旧类别的召回率，预测所有类别的总准确率，以及在测试数据集上的交叉熵损失，其中横坐标都是epoch数。 基于CIFAR10使用SWIL在CNN中学习新类别