选择适当的计算目标

已完成

在 Azure 机器学习中,计算目标是运行作业的物理或虚拟计算机。

了解可用的计算类型

Azure 机器学习支持多种类型的计算来进行试验、训练和部署。 通过进行多种类型的计算,可选择最符合需要的合适的计算目标类型。

Diagram of different hyperparameter values resulting in different models by performing hyperparameter tuning.

  • 计算实例:行为类似于虚拟机,主要用于运行笔记本。 它非常适合用于试验
  • 计算群集:虚拟机的多节点群集,可自动纵向扩展或缩减以满足需求。 运行需要处理大量数据的脚本的一种经济高效方法。 群集还使你能够使用并行处理来分发工作负载,并减少运行脚本所需的时间。
  • Kubernetes 群集:基于 Kubernetes 技术的群集,使你能够更好地控制计算的配置和管理方式。 可以为云计算附加自托管 Azure Kubernetes (AKS) 群集,或为本地工作负载附加 Arc Kubernetes 群集。
  • 附加计算:允许将现有计算(例如 Azure 虚拟机或 Azure Databricks 群集)附加到工作区。
  • 无服务器计算:可用于训练作业的完全托管的按需计算。

注意

Azure 机器学习提供创建和管理你自己的计算或使用完全由 Azure 机器学习管理的计算的选项。

何时使用哪种类型的计算?

通常,在使用计算目标时,可以遵循一些最佳做法。 为了解如何选择适当的计算类型,提供了多个示例。 请记住,使用哪种类型的计算始终取决于具体情况。

选择试验的计算目标

假设你是一名数据科学家,你受邀开发一种新型机器学习模型。 你可能有一小部分训练数据可供试验。

在试验和开发期间,你更青睐于使用 Jupyter Notebook。 笔记本体验最能从持续运行的计算中受益。

许多数据科学家都熟悉如何在本地设备上运行 Notebooks。 由 Azure 机器学习管理的云替代项是计算实例。 或者,如果想要利用 Spark 的分布式计算能力,还可以选择使用 Spark 无服务器计算在 Notebooks 中运行 Spark 代码。

选择生产的计算目标

试验完成后,可以通过运行 Python 脚本来训练模型,以便为生产做好准备。 脚本将更易于自动执行和安排,以便在一段时间内持续重新训练模型。 可以将脚本作为(管道)作业运行。

迁移到生产环境时,你希望计算目标已准备好处理大量数据。 使用的数据越多,机器学习模型可能就越好。

使用脚本训练模型时,需要按需计算目标。 计算群集在需要执行脚本时会自动纵向扩展,并在脚本完成执行后纵向缩减。 如果需要无需创建和管理的替代方法,可以使用 Azure 机器学习的无服务器计算

选择要部署的计算目标

使用模型生成预测时所需的计算类型取决于是要进行批处理预测还是实时预测。

对于批处理预测,可以在 Azure 机器学习中运行管道作业。 计算群集和 Azure 机器学习的无服务器计算等计算目标非常适合按需且可缩放的管道作业。

如果要进行实时预测,需要一种连续运行的计算类型。 因此,实时部署受益于更轻量(因此更具成本效益)的计算。 容器非常适合实时部署。 将模型部署到托管联机终结点时,Azure 机器学习将为你创建和管理容器以运行你的模型。 或者,可以附加 Kubernetes 群集来管理必要的计算以生成实时预测。