使用负责任 AI 文本仪表板（预览版）

负责任的 AI (RAI) 仪表板将多个 RAI 工具组合在一个界面中，以帮助告知有关模型的数据驱动决策。 理解自然语言处理 (NLP) 模型可能不同于对表格数据进行评估。 RAI 仪表板的调试和可视化效果现在支持文本数据。

负责任 AI 文本仪表板是一个可自定义的可互操作工具箱，可在其中选择组件以执行模型评估和调试。 本文介绍如何访问和配置 RAI 文本仪表板组件和功能。

重要

负责任 AI 文本仪表板目前处于公共预览版。 此预览版在没有服务级别协议的情况下提供，不建议用于生产工作负荷。 某些功能可能不受支持或者受限。 有关详细信息，请参阅 Microsoft Azure 预览版补充使用条款。

先决条件

• 具有 Azure 机器学习工作区的 Azure 订阅。

• 已注册的机器学习模型，其中已创建负责任 AI 文本仪表板。

  可以使用以下方法创建 RAI 文本仪表板：

  • Azure 机器学习工作室 UI
  • 通过管道作业的 YAML 和 Python
  • 预配置的示例 Jupyter 笔记本，如 Financial_News_Text_classifier.ipynb

  若要在机器学习工作室中打开负责任 AI 文本仪表板，请在“模型”列表中选择已注册的模型，在模型页面顶部选择“负责任 AI”，然后从列表中选择负责任 AI 文本仪表板的名称。

  

  负责任 AI 文本仪表板会打开。

  

队列

在 RAI 文本仪表板中，可以选择或创建数据队列，这些队列是通过手动添加筛选器或保存所选数据创建的数据子集。 可以查看、创建、编辑、复制和删除队列。

默认仪表板视图会显示“全局队列”，即所有数据。 在仪表板顶部，选择“切换队列”以选择其他队列，也可以选择“新建队列”以创建新的队列。 还可以选择“设置”图标打开一个侧面板，其中列出了所有队列的名称和详细信息，你可以切换或创建新的队列。

选择仪表板顶部或“队列设置”边栏中的“切换队列”将打开一个弹出窗口，用于选择并应用不同的队列到仪表板。

选择仪表板顶部或“队列设置”边栏中的“创建新队列”将打开一个边栏，用于创建新的队列。

创建新的队列：

1. 在“数据集队列名称”下，输入队列的名称。

2. 在“选择筛选器”下，选择以下数据筛选器之一并配置“包含的值”。

   • “索引”会按完整数据集中数据点的位置进行筛选。 可以选择“小于”之类的操作，然后选择“值”，也可以选中“视为分类”复选框，然后选择“包含的值”。
   • “数据集”会按数据集中特定特征的值进行筛选。 在“选择筛选器”下，选择一个特征，如 positive_words。 然后，可以选择“小于”之类的操作，之后选择“值”，也可以选中“视为分类”复选框，然后选择“包含的值”。
   • “预测 Y”会按模型进行的预测进行筛选。
   • “True Y”会按目标特征的实际值进行筛选。
   • “分类结果”会按分类类型和准确性筛选分类问题。

3. 选择并配置了筛选器后，选择“添加筛选器”。 可以添加多个筛选器来定义队列。

4. 添加完筛选器后，选择“保存”或“保存并切换”以完成队列创建。

RAI 文本仪表板组件

默认 RAI 文本仪表板包括“错误分析”、“模型概览”、“数据分析”和“特征重要性”组件。 若要在组件列表中查看并选择，请选择右上角的“仪表板配置”图标。

选择图标时会打开一个侧面板，其中显示了仪表板布局的详细信息。 可以选择组件旁边的垃圾桶图标，从仪表板中移除组件。

以下部分介绍了负责任 AI 文本仪表板的组件及其功能。

错误分析

“错误分析”组件可帮助你分析模型中的失败模式。 可以从“选择指标”下拉列表中选择指标，详细了解错误和成功节点的性能。 默认指标为“错误率”。 指标选择不会影响生成错误树的方式。

“错误分析”屏幕右侧显示了有关数据集、当前所选队列和应用的筛选器的信息。

• “基本信息”显示了当前所选队列的名称和应用的筛选器。
• “全局队列中的实例”显示了整个数据集中的总点数以及正确和错误预测的点数。
• “所选队列中的实例”显示了当前所选队列中的总点数以及正确和错误预测的点数。
• “预测路径（筛选器）”列出了应用于完整数据集的筛选器，以创建当前选定的队列。

如果通过应用筛选器或选择不同的特征来更改视图，则可以通过选择“另存为新队列”将视图保存为新队列。

可以通过选择组件顶部的任一选项卡，在“树状图”或“热度地图”视图中查看错误分析组件。

树状图视图

“树状图”视图展示了模型失败在不同特征队列之间的分布情况。 对于文本数据，树状视图基于从文本数据中提取的表格特征以及用户引入的任何其他元数据特征进行训练。

树状可视化效果使用每个特征与错误之间的相互信息，将数据中的错误实例与成功实例进行分层分隔。 此可视化效果简化了发现和突出显示常见失败模式的过程。

在树状视图中，每个圆或节点表示一个数据集队列，可能应用了筛选器。 每个节点中的数字显示与该节点中的数据点总数相比的错误数。

可以将鼠标悬停在节点上或选择一个节点以显示“错误覆盖率”，或该节点中数据集中的错误百分比、“错误率”或节点中数据点的失败百分比。 节点填充级别越高，错误覆盖率越高；背景色越深表示错误率越高。 所选节点的轮廓较粗。

节点之间的填充线根据筛选器可视化数据点到子队列中的分布，数据点数由线条粗细表示。 可以将鼠标悬停在填充线上或选择填充线以显示正在应用的功能和预测。

若要查找重要的失败模式，请查找颜色较深的节点，这表示较高的错误率，以及较粗的填充线，这表示较高的错误覆盖率。

若要编辑树用于训练树状图的特征列表，请选择视图顶部的“特征列表”。

在“特征列表”窗格中，“特征”列出了数据集中特征的名称。 可以搜索以查找特定特征。 “重要性”可视化了数据集中每个特征的相对重要性。 可以选择或取消选中每个特征旁边的复选框，以从树状图添加或移除该特征。

还可以配置以下设置：

• “最大深度”设置了树的最大深度。
• “叶数”设置了树中的叶数。
• “一个叶中的最小样本数”设置了创建一个叶所需的最小样本数。

在“特征列表”窗格中进行更改后，选择“应用”将更改应用到当前视图。

热度地图视图

可以使用“热度地图”视图专注于特定的交集特征筛选器和计算非聚合误差率。 首先，将两个数据集特征与群集进行比较，并按两个维度筛选数据。 可以选择一个或多个热度地图单元并创建新的队列。

在“热度地图”视图中：

• “单元格数”显示所选单元格数。 如果未选择任何单元格，视图将显示所有单元格的数据。
• “错误覆盖率”显示所选单元格中数据集中的错误百分比。
• “错误率”显示所选单元格中数据点的失败百分比。

配置视图：

1. 在“选择指标”下，从下拉列表中选择要查看的指标。
2. 在“行: 特征 1”和“列: 特征 2”下，从下拉列表中选择要比较的特征。
3. （可选）允许“分位数分箱”跨不同箱范围均匀分布值。
4. 设置“分箱阈值”以配置分箱前所需的值数。

单元格表示数据集的队列，并应用了筛选器。 每个单元格显示队列中数据点总数中错误的百分比。

选中的单元格被勾勒出来，单元格颜色的深浅代表失败的浓度。 将鼠标悬停在单元格上以显示该单元格的数字正确、数字不正确、错误覆盖率和错误率。

模型概述

“模型概览”组件显示了为数据集中的队列计算的模型和数据集统计信息。

可以通过选择组件顶部的任一选项卡，在“数据集队列”或“特征队列”之间进行选择。 无论选择了哪个视图，从下拉列表中选择“指标”，或选择“帮助我选择指标”以打开一个边栏屏幕，它可以解释和建议指标，并让你可以选择要显示的指标。

还可以为任一视图启用“显示热度地图”。

数据集队列

“数据集队列”会显示仪表板中全局队列和所有用户定义队列中的所选指标。

特征队列

“特征队列”会显示基于所选特征的队列的所选指标。 选择“特征”来定义队列。 此视图还会显示“差值”和“比率”平等性等“公平性指标”。

指标可视化效果或混淆矩阵

在组件底部，可以选择查看“指标可视化效果”或“混淆矩阵”。 以下示例显示了“特征队列”视图的混淆矩阵。

数据分析

“数据分析”组件可创建数据集队列，用于分析数据集统计信息以及各种筛选器，例如预测结果、数据集特征和错误组。 可以通过选择组件顶部的任一选项卡来选择“表视图”或“图表视图”。

“表”视图

“表视图”会显示真实和预测值以及表格提取的特征。

图表视图

“图表视图”让你可以在自定义聚合和本地数据浏览之间进行选择。

在图表视图中，X 轴和 Y 轴显示水平和垂直绘制的值。 可以选择任一标签打开边栏窗格以选择和配置该轴。

在轴配置窗格中，根据值，可以配置选项，例如“对数据应用分箱”、“启用对数缩放”或“视为分类”。 “应抖动”会向数据添加可选干扰，以避免散点图中出现重叠点。

在“图表类型”下，可以选择是否跨所有数据点聚合值。

• “聚合绘图”会沿 X 轴按箱或类别显示数据。

• “单个数据点”会显示数据的聚合视图。

  在“单个数据点”视图中，可以选择用于对数据点进行分组的图例类型。 选择“颜色值”下的标签将打开轴配置边栏窗格。

  

特征重要性

在“特征重要性”组件中，可以通过选择组件顶部的任一选项卡，在“聚合特征重要性”或“单个特征重要性”之间进行选择。

聚合特征重要性

在“聚合特征重要性”中，可以浏览影响总体模型预测的最重要特征，也称为“全局解释”。 使用滑块选择要按重要性降序并排显示的特征数。 将鼠标悬停在每个特征上以查看其绝对全局值。

单个特征重要性

选择“单个特征重要性”选项卡将移动视图，以解释特定字词如何影响对特定数据点所做的预测。 在表中选择一个数据点，查看来自 Shapley Additive 解释 (SHAP) 文本解释器的局部特征重要性值或局部解释。

在局部解释图表中，可以配置：

• “显示最重要的字词”，用于选择要在文本中突出显示的最重要的字词数。
• “类重要性权重”，用于选择最重要字词的类或聚合视图。

相关内容

• 详细了解负责任 AI 仪表板背后的概念和技术。
• 查看示例 YAML 和 Python 笔记本，使用 YAML 或 Python 生成负责任 AI 仪表板。