在 Azure Percept Studio 中创建无代码视觉解决方案

重要

Azure Percept DK 停用：

更新 2023 年 2 月 22 日： (也称为视觉和音频 SOM) 的 Percept DK 视觉和音频配件组件的固件更新 现已在此处提供，使配件组件能够在停用日期之后继续运行。

Azure Percept 公共预览版将不断发展，以支持新的边缘设备平台和开发人员体验。 在这一发展过程中，Azure Percept DK 和 Audio Accessory 以及相关支持 Percept DK 的服务将于 2023 年 3 月 30 日停用。

自 2023 年 3 月 30 日起，Azure Percept DK 和 Audio Accessory 将不再受任何 Azure 服务的支持，包括 Azure Percept Studio、OS 更新、容器更新、查看 Web 流和自定义视觉集成。 Microsoft 将不再提供客户成功支持和任何相关的支持服务。 有关详细信息，请访问停用通知博客文章。

借助 Azure Percept Studio，无需编码即可构建和部署自定义计算机视觉解决方案。 在本文中，你将：

• 在 Azure Percept Studio 中创建视觉项目
• 使用开发工具包收集训练图像
• 在自定义视觉中标记训练图像
• 对自定义对象检测或分类模型进行训练
• 将模型部署到开发工具包
• 通过设置重新训练来改善模型

本教程适合几乎没有 AI 经验和刚开始使用 Azure Percept 的开发人员。

先决条件

• Azure Percept DK (devkit)
• Azure 订阅
• Azure Percept DK 设置体验：你已将 devkit 连接到 Wi-Fi 网络，创建了 IoT 中心，并已将 devkit 连接到 IoT 中心

创建视觉原型

1. 启动浏览器并转到 Azure Percept Studio。

2. 在概述页上，单击“演示 & 教程”选项卡。

3. 在“视觉教程和演示”下，单击“创建视觉原型” 。

   

4. 在“新建 Azure Percept 自定义视觉原型”页面上，执行以下操作：

   1. 在“项目名称”框中，输入视觉原型的名称。

   2. 在“项目说明”框中输入视觉原型的说明。

   3. 在“设备类型”下拉菜单中选择“Azure Percept DK” 。

   4. 选择“资源”下拉菜单下的资源，或单击“创建新资源” 。 如果选择创建新资源，请在“创建”窗口中执行以下操作：

      1. 输入新应用的名称。
      2. 选择 Azure 订阅。
      3. 选择一个资源组或新建一个资源组。
      4. 选择首选区域。
      5. 选择定价层（建议使用 S0）。
      6. 在窗口底部，单击“创建”。

      

   5. 对于“项目类型”，请选择视觉项目是要执行对象检测还是图像分类。 有关项目类型的详细信息，请单击“帮助我选择”。

   6. 对于“优化”，请选择是要针对准确性、低网络延迟还是这两者来优化项目。

   7. 单击“创建” 按钮。

      

将设备连接到项目并捕获图像

创建视觉解决方案后，必须向其添加开发工具包及其相应的 IoT 中心。

1. 打开开发工具包。

2. 在“IoT 中心”下拉菜单中，选择开发工具包在 OOBE 期间连接到的 IoT 中心。

3. 在“设备”下拉菜单中，选择你的开发工具包。

接下来，必须加载图像或捕获图像来训练 AI 模型。 建议每种标记类型至少上传 30 个图像。 例如，如果想要构建检测狗和猫程序，则必须至少上传 30 张狗狗图像和 30 张猫咪图像。 若要使用开发工具包的视觉 SoM 捕获图像，请执行以下操作：

1. 在“图像捕获”窗口中，选择“查看设备流”来查看视觉 SoM 视频流 。

2. 检查视频流，确保你的视觉 SoM 相机已正确对齐来获取训练图片。 根据需要进行调整。

3. 在“图像捕获”窗口中，单击“拍照” 。

   

4. 或者，可选中“自动图像捕获”框来设置自动图像捕获，以便一次收集大量图像。 在“捕获速率”下选择首选拍照速率，在“目标”下选择想要收集的图像总数 。 单击“设置自动捕获”，开始自动捕获图像的过程。

   

如果照片数充足，请单击屏幕底部的“下一步: 标记图像和模型训练”。 所有图像都将保存在自定义视觉中。

注意

如果选择将训练图像直接上传到自定义视觉，请注意图像文件大小不能超过 6 MB。

标记图像并训练模型

在训练模型之前，请向图像添加标记。

1. 在“标记图像和模型训练”页面上，单击“在自定义视觉中打开项目” 。

2. 在“自定义视觉”页面的左侧，单击“标记”下的“未标记”，查看你刚才在上一步中收集的图像 。 选择一个或多个未标记的图像。

3. 在“图像详细信息”窗口中，单击图像来开始标记。 如果选择“对象检测”作为项目类型，则还必须在要标记的特定对象周围绘制一个边界框。 根据需要调整边界框。 键入对象标记，然后单击 + 来应用标记。 例如，如果你要创建一个视觉解决方案，使其在货架需要补货时通知你，那么需要向空货架图像添加“空货架”标记，向满货架图像添加“满货架”标记。 对所有未标记的图像重复此操作。

   

4. 标记图像后，单击窗口右上角的 X 图标。 单击“标记”下的“已标记”可查看所有新标记的图像 。

5. 标记图像后，即可训练 AI 模型了。 为此，请单击页面顶部附近的“训练”。 每种标记类型必须至少有 15 张图像来训练模型（建议至少使用 30 张图像）。 训练通常耗时约 30 分钟，但如果图像集非常大，则可能需要更长时间。

   

6. 训练完成后，屏幕将显示模型的性能。 若要详细了解如何评估这些结果，请查看模型评估文档。 训练后，你可能还希望针对其他图像测试模型并根据需要重新训练。 每次训练模型时，模型都会另存为新的迭代。 若要详细了解如何提高模型性能，请查看自定义视觉文档。

   

   注意

   如果选择在自定义视觉中针对其他图像测试你的模型，请注意测试图像文件大小不能超过 4 MB。

对模型的性能感到满意后，请关闭浏览器标签页来关闭自定义视觉。

设计 AI 模型

1. 回到“Azure Percept Studio”选项卡，然后单击“下一步: 评估和部署”。

2. “评估和部署”窗口将显示所选模型迭代的性能。 在“模型迭代”下拉菜单中选择要部署到开发工具包的迭代，然后单击屏幕底部的“部署模型” 。

   

3. 部署模型后，查看设备的视频流来了解模型推理的实际应用情况。

   

关闭此窗口后，可在 Azure Percept Studio 主页上的“AI 项目”下单击“视觉”，然后选择你的视觉项目名称，随时回来编辑该项目 。

通过设置重新训练来改善模型

在对模型进行训练并将其部署到设备后，可以通过设置重新训练参数来捕获更多训练数据，从而提高模型的性能。 此功能可让你基于概率范围捕获图像，从而改善经过训练的模型的性能。 例如，可以将设备设置为仅在概率较低时捕获训练图像。 下面是有关如何添加更多图像以及如何平衡训练数据的一些附加指导。

1. 若要设置重新训练，请返回到“项目”，然后返回到“项目摘要”

2. 在“图像捕获”选项卡中，选择“自动图像捕获”和“设置重新训练”。

3. 选中“自动图像捕获”框来设置自动图像捕获，以便一次收集大量图像。

4. 在“捕获速率”下选择首选拍照速率，在“目标”下选择想要收集的图像总数 。

5. 在“设置重新训练”部分中，选择要为其捕获更多训练数据的迭代，然后选择概率范围。 仅会将满足概率要求的图像上传到你的项目。

   

清理资源

如果为本教程创建了新的 Azure 资源，但不再想要开发或使用视觉解决方案，请执行以下步骤来删除资源：

1. 转到 Azure 门户。
2. 单击“所有资源”。
3. 单击在本教程中创建的资源旁边的复选框。 资源类型将作为“认知服务”列出。
4. 单击屏幕顶部附近的“删除”图标。

视频演练

有关上述步骤的直观演练，请参阅以下视频：

后续步骤

接下来，请查看视觉操作方法文章，了解 Azure Percept Studio 中的其他视觉解决方案功能。