DeepMind又放大招！用大型语言模型实现可信推理，距离模型可解释性又近了一步(2)

研究人员观察到，在删除掉模型认为无法忠实回答的问题之后，模型性能得到显著提高。他们相信，这种方法有助于提高模型在以精确度（而非召回率）为优先的现实世界中的可信度与安全性。

实际效果

在这次实证研究中，该团队将自己的选择推理系统与 Proof Writer（PW）和 EntailmentBankQA（EB）数据集上的基准模型进行了比较。他们提出的模型在 PW 和 EB 上分别实现了 88.1% 和 78.1% 的最终答案准确率，大大优于基准模型。

这项工作表明 DeepMind 提出的新方法确实能在不牺牲模型性能的前提下，通过多步推理对问题做出忠实回答。虽然该研究目前只侧重于给定上下文中的多步骤推理，但该团队已经计划在未来的工作中利用检索进一步充实上下文信息。

从实际性能来看，尽管存在“只能执行可信推理”的限制，该模型的实际表现仍然非常出色。考虑到如果一项技术要想安全普及、为大众所接受，就必须能够通过审计检验，此次研究可能代表语言模型正向着可解释性迈出重要一步。

声明

来源 ：AI前线 ， RAD极客会推荐阅读，不代表RAD极客会立场，转载请注明，如涉及作品版权问题，请联系我们删除或做相关处理！