斯坦福李飞飞团队新研究登Nature子刊：实现可信AI，数据的设计、完善、评估是关键(3)

图 2c：数据过滤前后不同模型的对象识别测试性能比较。括号中的数字表示过滤掉噪声数据后剩下的训练数据点的数量，结果汇总在五个随机种子上，阴影区域代表 95% 置信区间。

这就是数据评估的意义所在，它旨在量化不同数据的重要程度，并过滤掉可能由于质量差或偏差而损害模型性能的数据。

数据清洗

在本文中，作者介绍了两种数据评估方法来帮助清洗数据：

一种方法是测量在训练过程中删除不同数据时 AI 模型表现的变化，这可以采用数据的 Shapley 值或影响近似值来获得，如下图 3a。这种方法能够有效计算大型 AI 模型的评估。

图3a：数据评估。当在训练中删除特定点（图中被划掉的褪色五角星）时，数据的 Shapley 值测量在不同数据子集上训练的模型的性能变化，从而来量化每个数据点（五角星符号）的值。颜色表示类别标签。

另一种方法则是预测不确定性来检测质量差的数据点。数据点的人类注释可能会系统地偏离 AI 模型预测，置信学习算法可以检测出这些偏差，在 ImageNet 等常见基准测试中发现超过 3% 的测试数据被错误标注。过滤掉这些错误可以大大提升模型的性能。

数据标注

数据标注也是数据偏差的一个主要来源。尽管 AI 模型可以容忍一定程度的随机标签噪声，但有偏差的错误会产生有偏差的模型。目前，我们主要依赖于人工标注，成本很昂贵，比如标注单个 LIDAR 扫描的成本可能超过 30 美元，因为它是三维数据，标注者需要绘制出三维边界框，比一般的标注任务要求更高。

因此作者认为，我们需要仔细校准 MTurk 等众包平台上的标注工具，提供一致的标注规则。在医疗环领域，还要考虑到标注人员可能需要专业知识或者可能有无法众包的敏感数据。

降低注释成本的一种方法是数据编程。在数据编程中，AI 开发人员不再需要手动标记数据点，而是编写程序标签函数来自动标注训练集。如图 3b， 使用用户定义的标签函数为每个输入自动生成多个可能有噪声的标签后，我们可以设计额外的算法 ，来聚合多个标签功能以减少噪声。

图 3b：数据编程。

另一种降低标注成本的「人在回路」（human-in-the-loop）方法是优先考虑最有价值的数据，以便我们通过主动学习（active learning）来进行标注。主动学习从最佳实验设计中汲取思想，在主动学习中，算法从一组未标注的数据点中选择信息量最大的点，比如具有高信息增益的点或模型在其上具有不确定性的点吗，然后再进行人工标注。这种方法的好处是，所需的数据数量比标准的监督学习所需的数据量要少得多。