你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

Batch 终结点

训练了机器学习模型后,需要部署它,以便其他人可以使用它的预测。 模型的此类执行模式称为推理。 Azure 机器学习使用终结点和部署的概念进行机器学习模型推理。

批处理终结点是用于以异步方式对大量数据执行批量推理的终结点。 批处理终结点接收指向数据的指针并以异步方式运行作业,以在计算群集上并行处理数据。 批处理终结点将输出存储到数据存储供进一步分析。

建议在下列情况下使用批处理终结点:

  • 具有需要较长时间才能运行的高开销模型或管道。
  • 希望操作机器学习管道并重复使用各组件。
  • 需要对分布在多个文件中的大量数据执行推理。
  • 没有低延迟要求。
  • 模型的输入存储在存储帐户或 Azure 机器学习数据资产中。
  • 可以利用并行化。

批处理部署

部署是实现终结点提供的功能所需的一组资源和计算。 每个终结点可以托管采用不同配置的多个部署,这有助于将终结点指示的接口与部署指示的实现详细信息分离。 批处理终结点会自动将客户端路由到可以随时配置和更改的默认部署。

Diagram showing the relationship between endpoints and deployments in batch endpoints.

批处理终结点中有两种类型的部署:

模型部署

模型部署支持大规模操作模型推理,并以低延迟和异步方式处理大量数据。 Azure 机器学习通过跨计算群集中的多个节点并行执行推理过程,来自动检测可伸缩性。

在下列情况下使用模型部署:

  • 需要花费较长时间来运行推理的高开销模型。
  • 需要对分布在多个文件中的大量数据执行推理。
  • 没有低延迟要求。
  • 可以利用并行化。

此类部署的主要优势是可以使用在联机世界(联机终结点)中部署的相同资产,而现在却能够大规模地批量运行。 如果模型需要简单的预处理或后处理,则可以创作评分脚本以执行所需的数据转换。

若要在批处理终结点中创建模型部署,需要指定以下元素:

  • 型号
  • 计算群集
  • 评分脚本(对于 MLflow 模型是可选项)
  • 环境(对于 MLflow 模型是可选项)

管道组件部署

管道组件部署允许操作整个处理图(管道),以便以低延迟和异步方式执行批量推理。

在下列情况下使用管道组件部署:

  • 需要操作可在多个步骤中分解的完整计算图。
  • 需要在推理管道中重用训练管道中的组件。
  • 没有低延迟要求。

此类部署的主要优势是可重用平台中已存在的组件,而且能够操作复杂的推理例程。

若要在批处理终结点中创建管道部署,需要指定以下元素:

  • 管道组件
  • 计算群集配置

批处理终结点还允许你从现有的管道作业创建管道组件部署。 执行此操作时,Azure 机器学习会自动从作业创建管道组件。 这简化了此类部署的使用。 但是,最佳做法是始终显式创建管道组件以简化 MLOps 实践

成本管理

调用批处理终结点会触发异步批量推理作业。 作业启动时将自动预配计算资源,作业完成时将自动取消分配计算资源。 因此,你只需在使用计算时付费。

提示

部署模型时,如果你知晓可以利用特定的配置,则对于每个批量推理作业,可以替代计算资源设置(例如实例计数)和高级设置(例如最小批大小、错误阈值等),以加快执行速度并降低成本。

批处理终结点也可以在低优先级 VM 上运行。 批处理终结点可以从解除分配的 VM 中自动恢复,并在部署用于推理的模型时从原来的位置恢复工作。 请参阅在批处理终结点中使用低优先级 VM

最后,Azure 机器学习本身不收取批处理终结点或批处理部署的费用,因此你可以按照最适合自己方案的方式来组织终结点和部署。 终结点和部署可以使用独立群集或共享群集,因此你可以精细控制生成的作业所使用的计算。 在群集中使用缩放到零,以确保在空闲时不会消耗任何资源。

简化 MLOps 实践

批处理终结点可以处理同一终结点下的多个部署,从而支持你更改终结点的实现,而无需更改使用者用于调用终结点的 URL。

可以在不影响终结点本身的情况下添加、移除和更新部署。

Diagram describing how multiple deployments can be used under the same endpoint.

灵活的数据源和存储

批处理终结点直接从存储读取和写入数据。 可以将 Azure 机器学习数据存储、Azure 机器学习数据资产或存储帐户指定为输入。 有关支持的输入选项以及如何指示它们的详细信息,请参阅创建作业并将数据输入到批处理终结点

安全性

批处理终结点提供在企业设置中操作生产级工作负载所需的全部功能。 它们支持安全工作区上的专用网络Microsoft Entra 身份验证,使用用户主体(例如用户帐户)或服务主体(例如托管标识或非托管标识)均可。 批处理终结点生成的作业以调用方的标识运行,因而你能够灵活实现任何方案。 有关详细信息,请参阅如何对批处理终结点进行身份验证

后续步骤