机器学习：信用风险建模中的挑战，教训和机遇(3)

穆迪分析风险计算模型

RiskCalc模型通过估计一组风险驱动因素的影响，为私营公司产生预期违约概率。它利用广义加性模型（GAM）框架，在这个框架中，每个风险驱动因素的非线性变换被分配权重并合并成一个单一的分数。链接函数然后将组合得分映射到违约概率。 RiskCalc模型在预测私人公司违约时提供强大的表现。但是它与其他机器学习技术相比如何？我们使用三种流行的机器学习方法来基于RiskCalc样本作为训练集开发新模型。我们试图回答以下问题：机器学习模型在默认预测中是否优于RiskCalc模型的GAM框架？当使用机器学习方法进行信用风险建模时，我们面临的挑战是什么？哪个模型最健壮？哪种模型最容易使用？我们可以从替代模型中学到什么？

结果 数据描述

为了分析这三种方法的表现，我们考虑两个不同的数据集。第一个数据集来自穆迪分析信用研究数据库（CRD），该数据库也是RiskCalc US 4.0企业模型的验证样本。它只利用公司的信息和财务比率。第二个数据集添加行为信息，其中包括信用额度使用情况，贷款支付行为和其他贷款类型数据。这些信息来自贷款会计系统（LAS），作为CRD的一部分收集。我们想要使用机器学习技术和GAM方法测试两种数据集的违约预测能力。图4显示了这两个数据集的总结。

图4 数据信息

模型性能

对于这两个数据集，我们使用GAM模型的排序能力作为基准。我们使用准确率（AR）统计来衡量等级排序能力。图5显示了一组解释变量。

图5 PD模型的输入可变描述

交叉验证

由于机器学习提供了高水平的建模自由度，因此往往会过度使用数据。如果模型在训练数据上表现良好，但在评估数据上表现不佳，则模型过拟合了。寻找样本外预测误差的标准方法是使用k-fold交叉验证（CV）。在k倍CV中，数据集被分成k个子集。k个子集中的一个用作测试集，其他k-1个子集合成一个训练集。这个过程重复k次。如果训练样本相对于测试样本的精度比（模型性能的度量）较高，则表示过度拟合。在这种情况下，我们对模型施加更多限制并重复交叉验证，直到结果令人满意。在这个例子中，我们使用了五重交叉验证。图6报告了五次试验的平均AR。

图6 模型性能 我们观察到，对于两个数据集，机器学习模型都比GAM模型好2到3个百分点。无论建模方式如何，当我们添加贷款行为信息时，准确率提高8到10个百分点。信用额度使用和贷款支付信息可以补充财务比率，并显着提高模型预测违约的能力。