培训
认证
Microsoft Certified: Azure Data Scientist Associate - Certifications
使用 Python、Azure 机器学习和 MLflow 管理数据引入和准备、模型训练和部署以及机器学习解决方案监视。
本文演示如何在工作区上启用模型服务,并将模型切换到 基于无服务器计算构建的马赛克 AI 模型服务 体验。
serving-endpoints
,不包括 model
。可以创建 Model Serving 终结点并灵活地转换模型服务工作流,而无需禁用旧版 MLflow Model Serving。
以下步骤演示如何使用 UI 完成此操作。 对于已启用旧 MLflow Model Serving 的每个模型:
在 Model Serving 功能的早期版本中,服务终结点是根据注册模型版本的阶段(Staging
或 Production
)创建的。 要从该体验迁移服务模型,可以在新的 Model Serving 体验中复制该行为。
本部分演示如何为 Staging
模型版本和 Production
模型版本创建单独的模型服务终结点。 以下步骤展示了如何使用每个服务模型的服务终结点 API 来完成此任务。
在示例中,注册的模型名称 modelA
在模型阶段 Production
中具有版本 1,在模型阶段 Staging
中具有版本 2。
为已注册的模型创建两个终结点,一个用于 Staging
模型版本,另一个用于 Production
模型版本。
对于 Staging
模型版本:
POST /api/2.0/serving-endpoints
{
"name":"modelA-Staging"
"config":
{
"served_entities":
[
{
"entity_name":"model-A",
"entity_version":"2", // Staging Model Version
"workload_size":"Small",
"scale_to_zero_enabled":true
},
],
},
}
对于 Production
模型版本:
POST /api/2.0/serving-endpoints
{
"name":"modelA-Production"
"config":
{
"served_entities":
[
{
"entity_name":"model-A",
"entity_version":"1", // Production Model Version
"workload_size":"Small",
"scale_to_zero_enabled":true
},
],
},
}
验证终结点的状态。
对于暂存终结点:GET /api/2.0/serving-endpoints/modelA-Staging
对于生产终结点:GET /api/2.0/serving-endpoints/modelA-Production
终结点准备就绪后,使用以下命令查询终结点:
对于暂存终结点:POST /serving-endpoints/modelA-Staging/invocations
对于生产终结点:POST /serving-endpoints/modelA-Production/invocations
根据模型版本转换更新终结点。
在创建新的模型版本 3 的情况下,可以将模型版本 2 转换为 Production
,模型版本 3 可以转换为 Staging
,模型版本 1 Archived
。 这些更改可以反映在单独的模型服务终结点中,如下所示:
对于 Staging
终结点,请更新终结点以在 Staging
中使用新的模型版本。
PUT /api/2.0/serving-endpoints/modelA-Staging/config
{
"served_entities":
[
{
"entity_name":"model-A",
"entity_version":"3", // New Staging model version
"workload_size":"Small",
"scale_to_zero_enabled":true
},
],
}
对于 Production
终结点,请更新终结点以在 Production
中使用新的模型版本。
PUT /api/2.0/serving-endpoints/modelA-Production/config
{
"served_entities":
[
{
"entity_name":"model-A",
"entity_version":"2", // New Production model version
"workload_size":"Small",
"scale_to_zero_enabled":true
},
],
}
本部分提供有关如何将 MosaicML 推理部署迁移到 Mosaic AI 模型服务的指导,另外还包含了一个笔记本示例。
下表总结了 MosaicML 推理与 Azure Databricks 上的模型服务之间的对应关系。
MosaicML 推理 | Mosaic AI 模型服务 |
---|---|
create_inference_deployment | 创建模型服务终结点 |
update_inference_deployment | 更新模型服务终结点 |
delete_inference_deployment | 删除模型服务终结点 |
get_inference_deployment | 获取模型服务终结点的状态 |
以下笔记本提供了将 llama-13b
模型从 MosaicML 迁移到 Mosaic AI 模型服务的指导示例。
培训
认证
Microsoft Certified: Azure Data Scientist Associate - Certifications
使用 Python、Azure 机器学习和 MLflow 管理数据引入和准备、模型训练和部署以及机器学习解决方案监视。