管理模型服务终结点

项目
11/02/2024

本文介绍如何使用服务 UI 和 REST API 管理模型服务终结点。请参阅 REST API 参考中的服务终结点。

若要创建模型服务终结点，请使用以下方法之一：

获取模型终结点的状态

在服务 UI 中，可以从终结点详细信息页顶部的“服务终结点状态”指示器检查终结点的状态。

可以使用 REST API 或 MLflow 部署 SDK 以编程方式检查终结点的状态和详细信息

REST API

GET /api/2.0/serving-endpoints/{name}

以下示例创建一个终结点，该终结点为 Unity 目录模型注册表中注册的第 my-ads-model 一个模型版本提供服务。必须提供完整的模型名称，包括父目录和架构， catalog.schema.example-model例如。

在下面的示例响应中，state.ready 字段为“READY”，这意味着终结点已准备好接收流量。 state.update_state 字段为 NOT_UPDATING 且 pending_config 不再返回，因为更新已成功完成。

{
  "name": "unity-model-endpoint",
  "creator": "customer@example.com",
  "creation_timestamp": 1666829055000,
  "last_updated_timestamp": 1666829055000,
  "state": {
    "ready": "READY",
    "update_state": "NOT_UPDATING"
  },
  "config": {
    "served_entities": [
      {
        "name": "my-ads-model",
        "entity_name": "myCatalog.mySchema.my-ads-model",
        "entity_version": "1",
        "workload_size": "Small",
        "scale_to_zero_enabled": false,
        "state": {
          "deployment": "DEPLOYMENT_READY",
          "deployment_state_message": ""
        },
        "creator": "customer@example.com",
        "creation_timestamp": 1666829055000
      }
    ],
    "traffic_config": {
      "routes": [
        {
          "served_model_name": "my-ads-model",
          "traffic_percentage": 100
        }
      ]
    },
    "config_version": 1
  },
  "id": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
  "permission_level": "CAN_MANAGE"
}

MLflow 部署 SDK

from mlflow.deployments import get_deploy_client

client = get_deploy_client("databricks")
endpoint = client.get_endpoint(endpoint="chat")
assert endpoint == {
    "name": "chat",
    "creator": "alice@company.com",
    "creation_timestamp": 0,
    "last_updated_timestamp": 0,
    "state": {...},
    "config": {...},
    "tags": [...],
    "id": "88fd3f75a0d24b0380ddc40484d7a31b",
}

停止模型服务终结点

可以暂时停止模型服务终结点并稍后启动它。当终结点停止时，为其预配的资源将被关闭，并且终结点将无法为查询提供服务，直到再次启动为止。只有为自定义模型提供服务的终结点未经过路由优化，并且无法停止正在进行的更新。已停止的终结点不计入资源配额。发送到已停止的终结点的查询返回 400 错误。

可从“服务”UI 中的终结点的详细信息页停止终结点。

单击要停止的终结点。
单击右上角的“停止”。

或者，可以使用 REST API 以编程方式停止服务终结点，如下所示：

POST /api/2.0/serving-endpoints/{name}/config:stop

准备好启动已停止的模型服务终结点时，可以从“服务”UI 中的终结点详细信息页执行此操作。

单击要启动的终结点。
单击右上角的“启动”。

或者，可以使用 REST API 以编程方式启动已停止的服务终结点，如下所示：

POST /api/2.0/serving-endpoints/{name}/config:start

删除模型服务终结点

若要为模型禁用服务，可以删除为其提供服务的终结点。

在服务 UI 中，可从终结点的详细信息页中删除终结点。

单击边栏上的“服务”。
单击要删除的终结点。
单击顶部的串联菜单，然后选择“删除”。

或者，可以使用 REST API 或 MLflow 部署 SDK 以编程方式删除服务终结点

REST API

DELETE /api/2.0/serving-endpoints/{name}

MLflow 部署 SDK

from mlflow.deployments import get_deploy_client

client = get_deploy_client("databricks")
client.delete_endpoint(endpoint="chat")

调试模型服务终结点

若要调试终结点的任何问题，可以提取：

模型服务器容器生成日志
模型服务器日志

也可以通过“日志”选项卡中的终结点 UI 访问这些日志。

对于服务模型的生成日志，可以使用以下请求。有关详细信息，请参阅模型服务的调试指南。


GET /api/2.0/serving-endpoints/{name}/served-models/{served-model-name}/build-logs
{
  “config_version”: 1  // optional
}

如需获得所服务模型的模型服务器日志，可以使用以下请求：


GET /api/2.0/serving-endpoints/{name}/served-models/{served-model-name}/logs

{
  “config_version”: 1  // optional
}