【MLOps】第 9 章 : MLOps 实践：消费者信用风险管理

当消费者要求贷款时，信贷机构必须决定是否给予贷款。根据具体情况，流程中的自动化程度可能会有所不同。然而，决策很可能是根据评估贷款按预期偿还或不偿还的概率的分数来决定的。

在做出信贷决策时，通常可以获得有关客户的历史和当前情况的信息。客户持有多少信用？客户是否曾经未偿还过贷款（用信贷术语来说，客户是否属于拖欠贷款）？在某些国家/地区，称为信用局的组织会收集此信息，并直接或通过分数（如上述 FICO 分数）的形式将其提供给债权人。

从历史上看，信用风险建模基于基于规则的混合（现代 ML 术语中的“手动特征工程”）和逻辑回归。专业知识对于创建良好的模型至关重要。建立适应性的客户细分以及研究每个变量的影响和变量之间的相互作用需要大量的时间和精力。结合先进的技术，如带偏移的两阶段模型、先进的一般线性模型一方面基于 Tweedie 分布或单调性约束，另一方面基于金融风险管理技术，这使得该领域成为精算师的游乐场。

像 XGBoost 这样的梯度增强算法降低了构建良好模型的成本。然而，黑盒效应使它们的验证变得更加复杂：无论输入如何，都很难感觉到此类模型会给出合理的结果。尽管如此，信用风险建模人员已经学会了使用和验证这些新型模型。他们开发了新的验证方法，例如，基于个人解释（例如，Shapley 值）来构建相信他们的模型，这是 MLOps 的一个重要组成部分，正如我们在本书中所探讨的那样。

模型偏差注意事项

建模者还必须考虑选择偏差，因为模型将不可避免地用于拒绝申请人。因此，获得贷款的人群不能代表申请人群。

通过不加注意地对先前模型版本选择的人群训练模型版本，数据科学家将使模型无法准确预测被拒绝的人群，因为它没有出现在训练数据集中，而这正是预期的该模型。这种效应称为樱桃采摘。因此，必须使用特殊方法，例如根据申请人群体重新加权或根据外部数据校准模型。

型号用于风险评估，而不仅仅是做出发放贷款的决定，必须产生概率，而不仅仅是是/否结果。通常，预测模型直接产生的概率并不准确。虽然数据科学家应用阈值来获得二元分类不是问题，但他们通常需要一种称为校准的单调转换来恢复根据历史数据评估的“真实”概率。

该模型此用例的验证通常包括：

• 在训练数据集之后（或者在某些情况下，在训练数据集之前）选择的样本外数据集上测试其性能。

• 不仅要研究总体表现，还要研究每个亚群的表现。亚人群通常会根据收入进行客户细分，并且随着负责任的人工智能的兴起，其他细分变量（例如性别或根据当地法规的任何受保护属性）。不这样做的风险可能会导致严重损害，苹果公司在 2019 年经历了惨痛的教训，当时该公司的信用卡被认为对女性申请信贷存在“性别歧视”。

鉴于信用风险模型的重大影响，其验证过程涉及与生命周期的建模部分相关的重要工作，它包括以下方面的完整文档：

监测方法在这种情况下有两个方面：数据和性能漂移。由于预测和获得基本事实之间的延迟很长（通常是贷款期限加上几个月以考虑延迟付款），仅监控模型性能是不够的：还必须仔细监控数据漂移。

例如，如果发生经济衰退或商业政策发生变化，申请人群很可能会发生变化，以至于在没有进一步验证的情况下无法保证模型的性能。数据漂移为通常执行按客户群划分，并采用通用统计指标来衡量之间的距离概率分布（如 Kolmogorov-Smirnov 或 Wasserstein 距离）以及特定于金融服务的指标，如人口稳定性指数和特征稳定性指数。还定期评估具有通用指标 (AUC) 或特定指标（Kolmogorov-Smirnov、Gini）的子群体的性能漂移。

在一个典型的大的金融服务在组织中，生产环境不仅与设计环境分离，而且还可能基于不同的技术堆栈。关键操作的技术栈——比如交易验证，还有潜在的贷款验证——总是会缓慢发展。

从历史上看，生产环境主要支持逻辑回归等规则和线性模型。有些可以处理更复杂的模型，例如 PMML 或 JAR 文件。对于不太重要的用例，Docker部署或通过集成数据科学和机器学习平台进行部署是可能的。因此，模型的操作化可能涉及从单击按钮到基于 Microsoft Word 文档编写公式的操作。

已部署模型的活动日志记录对于监控此类高价值用例中的模型性能至关重要。根据监控的频率，反馈循环可能是自动化的，也可能不是自动化的。例如，如果任务每年只执行一次或两次，并且大部分时间都花在询问数据问题上，则可能不需要自动化。另一方面，如果每周进行一次评估，自动化可能是必不可少的，对于期限为几个月的短期贷款来说可能就是这种情况。