机器学习理论基础总结

一名数据科学家通过效用矩阵梳理了模型的实验结果和基础理论的关系，并探讨机器学习各个子领域的进展。

引入 知其然，知其所以然。 机器学习领域近年的发展非常迅速，然而我们对机器学习理论的理解还很有限，有些模型的实验效果甚至超出了我们对基础理论的理解。 目前，领域内越来越多的研究者开始重视和反思这个问题。近日，一位名为 Aidan Cooper 的数据科学家撰写了一篇博客，梳理了模型的实验结果和基础理论之间的关系。 原文链接：https://www.aidancooper.co.uk/utility-vs-understanding/?continueFlag=b96fa8ed72dfc82b777e51b7e954c7dc 博客原文 机器学习领域中，有些模型非常有效，但我们并不能完全确定其原因。 相反，一些相对容易理解的研究领域则在实践中适用性有限。本文基于机器学习的效用和理论理解，探讨各个子领域的进展。 这里的「实验效用」是一种综合考量，它考虑了一种方法的适用性广度、实施的难易程度，以及最重要的因素，即现实世界中的有用程度。有些方法不仅实用性高，适用范围也很广；而有些方法虽然很强大，但仅限于特定的领域。可靠、可预测且没有重大缺陷的方法则被认为具有更高的效用。 所谓理论理解，就是要考虑模型方法的可解释性 ，即输入与输出之间是什么关系，怎样才能获得预期的结果，这种方法的内部机制是什么，并考量方法涉及文献的深度和完整性。 理论理解程度低的方法在实现时通常会采用启发式方法或大量试错法；理论理解程度高的方法往往具有公式化的实现，具有强大的理论基础和可预测的结果。较简单的方法（例如线性回归）具有较低的理论上限，而更复杂的方法（例如深度学习）具有更高的理论上限。当谈到一个领域内文献的深度和完整性时，则根据该领域假设的理论上限来评估该领域，这在一定程度上依赖于直觉。 我们可以将效用矩阵构造为四个象限，坐标轴的交点代表一个假设的参考领域，具有平均理解和平均效用。这种方法使得我们能够根据各领域所在的象限以定性的方式解释它们，如下图所示，给定象限中的领域可能具有部分或全部该象限对应的特征。 一般来说，我们期望效用和理解是松散相关的，使得理论理解程度高的方法比理解程度低的更有用。这意味着大多数领域应位于左下象限或右上象限。远离左下 - 右上对角线的领域代表着例外情况。通常，实际效用应落后于理论，因为将新生的研究理论转化为实际应用需要时间。因此，该对角线应该位于原点上方，而不是直接穿过它。