你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。
负责任 AI (RAI) 仪表板包括可视化效果和功能，可帮助你分析机器学习模型并做出数据驱动的业务决策。 查看和配置 RAI 仪表板的步骤在不同方案中是相似的，但某些功能对于图像方案来说都是独一无二的。 本文介绍如何访问和配置 RAI 图像仪表板组件和功能。
负责任 AI 图像仪表板链接到 Azure 机器学习中已注册的计算机视觉模型。 负责任 AI 视觉见解组件支持图像分类和物体检测方案。
重要
负责任 AI 图像仪表板目前处于公共预览版。 此预览版在没有服务级别协议的情况下提供，不建议用于生产工作负荷。 某些功能可能不受支持或者受限。 有关详细信息，请参阅 Microsoft Azure 预览版补充使用条款。
先决条件
具有 Azure 机器学习工作区的 Azure 订阅。
已注册的机器学习模型，其中包含连接了正在运行的计算资源的负责任 AI 图像仪表板。
可以使用以下方法创建负责任 AI 图像仪表板：
- Azure 机器学习工作室 UI
- 通过管道作业的 YAML 和 Python
- 预配置的示例 Jupyter 笔记本，例如使用 RAI 仪表板的图像分类方案，或者使用 RAI 仪表板的物体检测方案。
RAI 图像仪表板的某些功能需要动态、即时和实时的计算。 若要获得图像方案的完整功能，需要将正在运行的计算资源连接到仪表板。
- 对于物体检测，对交并比 (IOU) 阈值的设置默认处于禁用状态，只有在连接了计算资源时才会启用。
- 提交分布式并行版本 2 (DPv2) 作业时，连接计算资源可实现预计算所有模型解释，而不是按需加载解释。
有关详细信息，请参阅启用负责任 AI 仪表板的完整功能。
若要在机器学习工作室中打开负责任 AI 图像仪表板，请在“模型”列表中选择已注册的模型，在模型页面顶部选择“负责任 AI”，然后从列表中选择负责任 AI 图像仪表板的名称。
队列
在 RAI 图像仪表板中，可以选择或创建数据队列，这些队列是通过手动添加筛选器或保存所选数据创建的数据子集。 可以查看、创建、编辑、复制和删除队列。
默认仪表板视图会显示“全局队列”，即所有数据。 在仪表板顶部，可以选择“切换队列”以选择其他队列，也可以选择“新建队列”以创建新的队列。 还可以选择“设置”图标打开一个侧面板，其中列出了所有队列的名称和详细信息，你可以切换或创建新的队列。
RAI 图像仪表板组件
以下部分介绍了负责任 AI 图像仪表板组件。 图像分类和物体检测方案之间的可用组件和功能有所不同。
对于图像分类和多标签分类模型，负责任 AI 图像仪表板包含错误分析、视觉数据资源管理器、模型概览和数据分析组件。
错误分析
错误分析工具可用于图像分类和多分类任务。 这些工具可加速公平性错误的检测，并识别数据集中的欠代表/过度代表情况。
通过将元数据作为附加列包含在 mltable 数据集中，你可以对指定的图像元数据特征运行错误分析，而不是传入表格数据。 若要了解有关错误分析的详细信息，请参阅评估机器学习模型中的错误。
视觉数据资源管理器
视觉数据资源管理器组件具有多个视图，用于提供数据集的各种角度。 可以通过选择组件顶部的某个选项卡，在图像资源管理器视图、表视图或类视图之间进行选择。
图像资源管理器视图
图像资源管理器视图会显示模型预测的图像实例，并自动按正确标记的预测和错误标记的预测进行分类。 此视图可帮助你快速识别数据中的高级错误模式，并帮助你选择要进一步调查的实例。
- “选择要浏览的数据集队列”让你可以选择或搜索要查看的用户定义数据集队列。
- “设置缩略图大小”滑块可调整页面上图像卡的大小。
对于图像分类和多分类，不正确的预测是指预测的类标签与真实情况不同的图像。 每个图像卡片都会显示图像、预测的类标签和基准事实类标签。
选择图像卡时，会打开一个浮出控件，其中包含支持模型预测分析的以下信息。
- 所选实例：查看图像的预测结果和基准事实结果。
- 说明：查看夏普利相加解释 (SHAP) 特征归因可视化，深入了解使计算机视觉任务执行的模型行为。
- 信息：查看选定实例的图像元数据值。
“表”视图
“表视图”会显示你的数据集，其中有代表每个图像实例的行以及代表相应索引的列、基准事实类标签、预测类标签和元数据特征。
- “选择要浏览的数据集队列”让你可以选择或搜索要查看的用户定义数据集队列。
- “保存队列”让你可以通过手动选择图像来保存你创建的新数据集队列。
将鼠标悬停在图像行上，选中复选框以在新队列中加入图像。 可以按索引、元数据值和分类结果筛选数据集。 可以添加更多筛选器，使用新的队列名称保存生成的筛选后数据，并自动切换以显示新的队列。
类视图
“类视图”按类标签细分模型预测。 你可以识别每个类的错误模式，以诊断公平性问题并评估数据集中的表示不足/表示过度。
- 在“选择要浏览的数据集队列”下，可以选择或搜索要查看的用户定义数据集队列。
- “设置缩略图大小”滑块可调整页面上图像卡的大小。
- “行”选择在滚动视图之前显示的图像行数。
图像按标签显示，并显示数据集中每个标签的分布。 “10/120 示例”类标签意味着数据集中该类有 10 张图像，总共有 120 张图像。 “成功实例”具有纯绿色下划线，“错误实例”具有红色轮廓下划线。
模型概述
模型概览组件提供了一组全面的性能指标，用于评估你的计算机视觉模型，以及数据集队列之间的关键性能差异指标。 可以通过选择组件顶部的任一选项卡，在“数据集队列”或“特征队列”视图之间进行选择。
数据集队列视图
“数据集队列”视图会显示仪表板中全局队列和所有用户定义队列中的所选指标。
从下拉列表中选择“指标”，或选择“帮助我选择指标”以打开一个边栏屏幕，它可以解释和建议指标，并让你可以选择要显示的指标。 通过使用多选下拉列表选择和取消选择性能指标，可以调整要查看的指标。
还可以选择为显示的数据“显示热度地图”。
注意
在性能指标的初始状态时以及在加载指标计算时，性能指标会显示 N/A。
特征队列视图
在“特征队列”视图中，可以通过比较用户指定的敏感和不敏感特征之间的模型性能来调查模型。 例如，比较具有不同图像元数据值（如性别、种族和收入）的队列的性能。
此视图还会显示“差值”和“比率”平等性等“公平性指标”。 若要了解有关特征队列的详细信息，请参阅特征队列。
可视化效果
在“模型概览”组件的下半部分，可以在数据的“指标可视化效果”或“混淆矩阵”视图之间进行选择：
“指标可视化效果”会显示一个条形图，用于比较所选数据集队列之间的聚合性能指标。
- 选择“选择队列”以打开一个边栏，用于选择要应用的数据集和特征队列。
- 选择“选择指标”以打开一个边栏，用于选择要显示的指标。
“混淆矩阵”会显示所选数据集队列和类中的所选模型性能指标。
- 选择“数据集队列”以从下拉列表中选择要显示的数据集队列。
- 选择“选择类”以从下拉列表中选择要显示的类。
数据分析
“数据分析”组件可创建数据集队列，用于分析数据集统计信息以及各种筛选器，例如预测结果、数据集特征和错误组。 可以通过选择组件顶部的任一选项卡来选择“表视图”或“图表视图”。
“表”视图
图表视图
在“图表视图”中，X 轴和 Y 轴显示水平和垂直绘制的值。
“图表视图”让你可以在自定义聚合和本地数据浏览之间进行选择。 在“图表类型”下，可以选择是要聚合值还是显示单个数据点。
“聚合绘图”会沿 X 轴按箱或类别显示数据。
“单个数据点”会显示数据的聚合视图。
在任一类型的图表中，可以选择坐标轴标签来打开边栏窗格以选择特征并配置坐标轴。 对于“单个数据点”图表，选择“颜色值”下的标签时，会打开边栏窗格，可在其中选择用于对数据点进行分组的值。
在边栏窗格中，根据图表和值的类型，可以配置选项，例如“对数据应用分箱”、“箱数”或“启用对数缩放”。 “应抖动”会向数据添加可选干扰，以避免散点图中出现重叠点。
模型可解释性
对于 AutoML 图像分类模型，支持四种类型的可解释性方法：
仅会为预测的类生成解释。 对于多标签分类，需要置信度分数的阈值，以选择要为哪些类生成解释。 有关参数名称，请参见参数列表。
这四种方法仅适用于 AutoML 图像分类，不适用于其他任务类型，例如物体检测和实例分段。 非 AutoML 图像分类模型可以使用 SHAP 视觉实现模型可解读性。 AutoML 和非 AutoML 物体检测模型都可以使用 D-RISE 来生成模型预测的可视化解释。
要了解有关四种可解释性方法的详细信息，请参阅为预测生成解释。 有关视觉模型可解读性技术以及如何解读模型行为的可视化解释的更多信息，请参阅模型可解读性。
相关内容
- 详细了解负责任 AI 仪表板背后的概念和技术。
- 查看示例 YAML 和 Python 笔记本，使用 YAML 或 Python 生成负责任 AI 仪表板。
- 参阅这篇技术社区博客文章，详细了解如何使用负责任 AI 图像仪表板来调试图像数据和模型，并为更好的决策提供信息。
- 了解 ClearSight 如何在真实的客户案例中使用负责任 AI 仪表板。