本文介绍使用 Azure 机器学习来预测贷款申请人拖欠和违约概率的体系结构。 模型的预测基于申请人的财务行为。 该模型使用海量数据点对申请人进行分类，并为每个申请人提供资格分数。
Apache®、Spark 和火焰徽标是 Apache Software Foundation 在美国和/或其他国家/地区的商标或注册商标。 使用这些标记并不暗示获得 Apache Software Foundation 的认可。
体系结构
下载此体系结构的 Visio 文件。
数据流
以下数据流与上图相对应：
存储：结构化数据存储在诸如 Azure Synapse Analytics 池等数据库中。 早期的 SQL 数据库可以集成到系统中。 半结构化和非结构化数据可以加载到数据湖中。
引入和预处理：Azure Synapse Analytics 处理管道和 ETL 处理可以通过内置连接器连接到存储在 Azure 或第三方数据源中的数据。 Azure Synapse Analytics 支持使用 SQL、Spark、Azure 数据资源管理器和 Power BI 的多种分析方法。 还可以对数据管道使用现有的 Azure 数据工厂业务流程。
处理：Azure 机器学习用于开发和管理机器学习模型。
初始处理：在此阶段，将处理原始数据以创建将训练机器学习模型的特选数据集。 典型操作包括数据类型格式设置、缺失值的插补、特征工程、特征选择和降维。
训练：在训练阶段，Azure 机器学习使用已处理的数据集来训练信用风险模型并选择最佳模型。
模型训练：可以使用一系列机器学习模型，包括经典机器学习和深度学习模型。 可以使用超参数优化来优化模型性能。
模型评估：Azure 机器学习会评估每个已训练模型的性能，以便你选择最适合部署的模型。
模型注册：注册在 Azure 机器学习中性能最佳的模型。 此步骤使模型可用于部署。
c. 负责任 AI：负责任 AI 是以安全、可靠且合乎道德的方式开发、评估和部署 AI 系统的方法。 由于此模型将推断批准或拒绝贷款请求的决定，因此你需要实施负责任 AI 的原则。
实时机器学习部署：如果需要立即审查请求以供审批，则需要使用实时模型推理。
- 机器学习联机终结点。 对于实时评分，需要选择适当的计算目标。
- 在线贷款请求根据申请人表单或贷款申请中的输入使用实时评分。
- 用于模型评分的决策和输入存储在永久性存储中，可以检索以供将来参考。
批处理机器学习部署：对于离线贷款处理，计划定期触发模型。
- 托管批处理终结点。 计划批量推理并创建结果数据集。 决策基于申请人的信誉。
- 批处理评分的结果集保存在数据库或 Azure Synapse Analytics 数据仓库中。
申请人活动数据的接口：申请人输入的详细信息、内部信用状况和模型决策均暂存并存储在相应的数据服务中。 这些详细信息在决策引擎中用于将来进行评分，因此会被记录。
- 存储：信用额度处理的所有详细信息都保留在永久性存储中。
- 用户界面：向申请人提供批准或拒绝决定。
报告：持续向经理和领导层提供有关已处理应用程序以及批准或拒绝结果的数量的实时见解。 报告示例包括已批准金额、创建的贷款项目组合和模型性能的准实时报告。
组件
- Azure Blob 存储提供适用于非结构化数据的可缩放安全对象存储。 它经过优化，适用于存储二进制文件、活动日志等文件以及不符合特定格式的文件。
- Azure Data Lake Storage 是在 Azure 上创建经济高效的数据湖的存储基础。 它为 Blob 存储提供分层文件夹结构和增强的性能、管理和安全性。 它可以服务 PB 量级的信息，同时保持数百千兆的吞吐量。
- Azure Synapse Analytics 是一种分析服务，它汇集了 SQL 和 Spark 技术的精华，并为 Azure Synapse 数据资源管理器和管道提供统一的用户体验。 它与 Power BI、Azure Cosmos DB 和 Azure 机器学习集成。 该服务支持专用和无服务器资源模型，并且能够在这些模型之间切换。
- Azure SQL 数据库是面向云生成的始终最新、完全托管的关系数据库。
- Azure 机器学习是一种用于管理机器学习项目生命周期的云服务。 它为数据探索、模型构建和管理以及部署提供集成环境，并支持代码优先以及低代码/无代码的机器学习方法。
- Power BI 是一种可视化工具，可轻松与 Azure 资源集成。
- Azure 应用程序服务使你无需管理基础结构即可生成和托管 Web 应用、移动后端和 RESTful API。 支持的语言包括 .NET、.NET Core、Java、Ruby、Node.js、PHP 和 Python。
备选方法
可以使用 Azure Databricks 开发、部署和管理机器学习模型和分析工作负载。 该服务为模型开发提供统一的环境。
方案详细信息
金融行业的组织需要预测请求额度的个人或企业的信用风险。 此模型可评估贷款申请人的拖欠和违约概率。
信用风险预测涉及对人口行为进行深入分析，以及根据财务责任将客户群分类为多个细分。 其他变量包括市场因素和经济状况，它们对结果有重大影响。
挑战。 输入数据包括数以千万计的客户档案以及有关客户信用行为和消费习惯的数据，这些数据基于来自不同系统（如内部客户活动系统）的数十亿条记录。 有关经济状况和国家/地区市场分析的第三方数据可能来自每月或季度快照，这些快照需要加载和维护数百 GB 的文件。 需要提供有关申请人的征信机构信息或客户数据的半结构化行、这些数据集之间的交叉联接，并进行质量检查以验证数据完整性。
数据通常由来自征信机构的客户信息的宽列表格以及市场分析组成。 客户活动由具有动态布局的记录组成，这些记录可能不是结构化的。 客户服务备注和申请人交互表单中也以自由格式文本提供数据。
如需处理这些大批量数据并确保结果是最新的，需要采取简化方式。 需要低延迟存储和检索过程。 数据基础结构应能够缩放以支持不同的数据源，并具有管理和保护数据外围的能力。 机器学习平台需要支持对跨多个总体细分进行训练、测试和验证的多个模型进行复杂分析。
数据敏感度和隐私性。 此模型的数据处理涉及个人数据和人口统计信息。 需要避免对总体进行分析。 必须限制对所有个人数据的直接可见性。 个人数据的示例包括帐号、信用卡详细信息、社会安全号码、姓名、地址和邮政编码。
必须始终对信用卡和银行帐号进行模糊处理。 某些数据元素需要进行屏蔽并始终加密，不提供对基础信息的访问权限，但可将这些信息用于分析。
数据需要在静态、传输中和处理过程中通过安全 enclave 进行加密。 对数据项的访问权限记录在监视解决方案中。 生产系统需要使用适当的 CI/CD 管道进行设置，并获得对触发模型部署和流程的批准。 日志和工作流的审核应提供与数据之间的交互，以满足任何合规性需求。
Processing. 此模型需要较高的计算能力，用于分析、上下文化以及模型训练和部署。 根据随机样本验证模型评分，以确保信用决策不包括任何种族、性别、民族或地理位置偏差。 需要记录和存档决策模型，以供将来参考。 系统会存储决策结果中涉及的每个因素。
数据处理需要高 CPU 使用率。 它包括对 DB 和 JSON 格式的结构化数据进行 SQL 处理、对数据框架进行 Spark 处理，或对各种文档格式的 TB 量级信息进行大数据分析。 根据最新数据的值，定期或实时计划或触发数据 ELT/ETL 作业。
合规性和监管框架。 需要记录贷款处理的每个细节，包括提交的申请、模型评分中使用的功能以及模型的结果集。 应注册模型训练信息、用于训练的数据以及训练结果，以便将来用于参考和满足审核与合规性请求。
批处理评分与实时评分。 某些任务是主动的，可以作为批处理作业进行处理，例如预先批准的余额转移。 某些请求（如在线提升信用额度）需要实时审批。
申请人必须能够实时访问在线贷款请求的状态。 发放贷款的金融机构将持续监视信贷模型的性能，并需要深入了解贷款审批状态、已批准贷款数量、已发放的美元金额和新贷款来源的质量等指标。
负责任的 AI
负责任 AI 仪表板提供了一个界面，其中包含多个有助于实施负责任 AI 的工具。 负责任 AI 标准基于六项原则：
Azure 机器学习中的公平性和包容性。 负责任 AI 仪表板的此组件可以避免对分配和服务质量的损害，从而帮助你评估不公平的行为。 可以使用它来评估不同敏感群体（根据性别、年龄、种族和其他特征定义）中的公平性。 在评估阶段，将通过差异指标对公平性进行量化。 应在 Fairlearn 开源包中实施使用奇偶校验约束的缓解算法。
Azure 机器学习中的可靠性和安全性。 负责任 AI 的错误分析组件可帮助你：
- 深入了解模型的失败分布情况。
- 识别错误率高于整体基准的数据队列（子集）。
Azure 机器学习中的透明度。 透明度的关键在于了解特征如何影响机器学习模型。
- 模型可解释性有助于了解影响模型行为的因素。 它将生成人类可理解的模型预测说明。 这种理解有助于确保模型值得信赖，并可帮助你对其调试和改进。 InterpretML 可以帮助你了解玻璃盒模型的结构或黑盒深度神经网络模型中特征之间的关系。
- 反事实 what-if 有助于你根据机器学习模型对特征更改和扰动的反应方式来理解和调试模型。
Azure 机器学习中的隐私性和安全性。 机器学习管理员需要创建开发和管理模型部署的安全配置。 安全和治理功能可帮助你遵守组织的安全策略。 其他工具可以帮助你评估和保护模型。
Azure 机器学习中的责任。 机器学习运营 (MLOps) 基于可提高 AI 工作流效率的 DevOps 原理和做法。 Azure 机器学习可帮助你实施 MLOps 功能：
- 注册、打包和部署模型
- 获取有关模型中更改的通知和警报
- 捕获端到端生命周期的治理数据
- 监视应用程序的操作问题
下图演示了 Azure 机器学习的 MLOps 功能：
可能的用例
可将此解决方案应用于以下方案：
- 金融：获取客户的财务分析，或针对目标营销活动的客户进行交叉销售分析。
- 医疗保健：使用患者信息作为输入，以提供治疗产品/服务建议。
- 酒店：创建客户个人资料，以提供关于酒店、航班、游轮套餐和会籍的产品/服务建议。
注意事项
这些注意事项实施 Azure 架构良好的框架的支柱原则，即一套可用于改进工作负载质量的指导原则。 有关详细信息，请参阅 Microsoft Azure 架构良好的框架。
安全性
安全性针对蓄意攻击及滥用宝贵数据和系统提供保障措施。 有关详细信息，请参阅安全性支柱概述。
Azure 解决方案提供深层防御和零信任方法。
请考虑在此体系结构中实现以下安全功能：
- 将专用 Azure 服务部署到虚拟网络
- Azure SQL 数据库安全功能概述
- 使用 Key Vault 保护数据工厂中的凭据
- Azure 机器学习的企业安全性和治理
- 适用于 Synapse Analytics 工作区的 Azure 安全基线
成本优化
成本优化就是减少不必要的费用和提高运营效率。 有关详细信息，请参阅成本优化支柱概述。
要估计此解决方案的实现成本，请使用 Azure 定价计算器。
另请考虑以下资源：
卓越运营
卓越运营涵盖了部署应用程序并使其在生产环境中保持运行的运营流程。 有关详细信息，请参阅卓越运营支柱概述。
机器学习解决方案需要可缩放和标准化，以便更轻松地进行管理和维护。 确保你的解决方案支持对模型的重新训练周期和自动重新部署进行持续推理。
有关详细信息，请参阅 Azure MLOps (v2) 解决方案加速器。
性能效率
性能效率是指工作负载能够以高效的方式扩展以满足用户对它的需求。 有关详细信息，请参阅性能效率要素概述。
- 有关设计可缩放解决方案的详细信息，请参阅性能效率清单。
- 有关受管制行业的信息，请参阅在受管制行业中缩放 AI 和机器学习计划。
- 使用 SQL、Spark 或无服务器 SQL 池管理 Azure Synapse Analytics 环境。
作者
本文由 Microsoft 维护， 它最初是由以下贡献者撰写的。
首席作者：
- Charitha Basani | 高级云解决方案架构师
其他参与者：
- Mick Alberts | 技术文档撰写人
若要查看非公开的 LinkedIn 个人资料，请登录到 LinkedIn。