机器学习理论基础总结(3)

每个象限的定性描述。字段可以通过其对应区域中的部分或全部描述来描述

左上象限：高理解，低效用

大多数形式的因果推理不是机器学习，但有时是，并且总是对预测模型感兴趣。因果关系可以分为随机对照试验 (RCT) 与更复杂的因果推理方法，后者试图从观察数据中测量因果关系。RCT 在理论上很简单并给出严格的结果，但在现实世界中进行通常既昂贵又不切实际——如果不是不可能的话——因此效用有限。因果推理方法本质上是模仿 RCT，而无需做任何事情，这使得它们的执行难度大大降低，但有许多限制和陷阱可能使结果无效。总体而言，因果关系仍然是一个令人沮丧的追求，其中当前的方法通常不能满足我们想要提出的问题，除非这些问题可以通过随机对照试验进行探索，或者它们恰好适合某些框架（例如，作为 “自然实验” 的偶然结果）。 联邦学习（FL）是一个很酷的概念，却很少受到关注 - 可能是因为它最引人注目的应用程序需要分发到大量智能手机设备，因此 FL 只有两个参与者才能真正研究：Apple 和谷歌。FL 存在其他用例，例如汇集专有数据集，但协调这些举措存在政治和后勤挑战，限制了它们在实践中的效用。尽管如此，对于听起来像是一个奇特的概念（大致概括为：“将模型引入数据，而不是将数据引入模型”），FL 是有效的，并且在键盘文本预测和个性化新闻推荐等领域有切实的成功案例. FL 背后的基本理论和技术似乎足以让 FL 得到更广泛的应用。 强化学习（RL）在国际象棋、围棋、扑克和 DotA 等游戏中达到了前所未有的能力水平。但在视频游戏和模拟环境之外，强化学习还没有令人信服地转化为现实世界的应用程序。机器人技术本应成为 RL 的下一个前沿领域，但这并没有实现——现实似乎比高度受限的玩具环境更具挑战性。也就是说，到目前为止，RL 的成就是鼓舞人心的，真正喜欢国际象棋的人可能会认为它的效用应该更高。我希望看到 RL 在将其置于矩阵右侧之前实现其一些潜在的实际应用。

左下象限：低理解，低效用

图神经网络（GNN）现在是机器学习中一个非常热门的领域，在多个领域都取得了可喜的成果。但是对于其中许多示例，尚不清楚 GNN 是否比使用更传统的结构化数据与深度学习架构配对的替代方法更好。数据自然是图结构的问题，例如化学信息学中的分子，似乎具有更引人注目的 GNN 结果（尽管这些通常不如非图相关的方法）。与大多数领域相比，用于大规模训练 GNN 的开源工具与工业中使用的内部工具之间似乎存在很大差异，这限制了大型 GNN 在这些围墙花园之外的可行性。该领域的复杂性和广度表明理论上限很高，因此 GNN 应该有成熟的空间并令人信服地展示某些任务的优势，这将导致更大的实用性。GNN 也可以从技术进步中受益，因为图目前不能自然地适用于现有的计算硬件。 可解释的机器学习（IML）是一个重要且有前途的领域，并继续受到关注。SHAP 和 LIME 等技术已经成为真正有用的工具来询问 ML 模型。然而，由于采用有限，现有方法的效用尚未完全实现——尚未建立健全的最佳实践和实施指南。然而，IML 目前的主要弱点是它没有解决我们真正感兴趣的因果问题。IML 解释了模型如何进行预测，但没有解释基础数据如何与它们因果关系（尽管经常被错误地解释像这样）。在取得重大理论进展之前，IML 的合法用途大多仅限于模型调试 / 监控和假设生成。 量子机器学习（QML）远远超出我的驾驶室，但目前似乎是一个假设性的练习，耐心等待可行的量子计算机可用。在那之前，QML 微不足道地坐在左下角。