Přejděte na nasazování modelů

Tento článek ukazuje, jak povolit službu Model Serving ve vašem pracovním prostoru a přepnout modely na prostředí pro obsluhu modelů založené na bezserverových výpočetních prostředcích.

Důležité

Od 22. srpna 2025 už zákazníci nebudou moct vytvářet nové koncové body obsluhy pomocí prostředí pro poskytování starších modelů MLflow. 15. září 2025 bude starší verze prostředí ukončena a všechny stávající koncové body, které tuto službu používají, už není možné používat.

Požadavky

Významné změny

  • Ve službě Model Serving se formát požadavku na koncový bod a odpověď z koncového bodu mírně liší od služby starší verze modelu MLflow. Podrobnosti o protokolu nového formátu najdete v tématu Vyhodnocení koncového bodu modelu.
  • V části Obsluha modelu obsahuje adresa URL koncového bodu serving-endpoints místo model.
  • Poskytování modelů zahrnuje plnou podporu správy prostředků pomocí pracovních postupů rozhraní API.
  • Obsluha modelů je připravená pro produkční prostředí a je zajištěná smlouvou SLA pro Azure Databricks.

Identifikace koncových bodů obsluhy, které používají službu starší verze modelu MLflow

Chcete-li identifikovat koncové body obsluhy modelů, které používají starší službu MLflow Model Serving:

  1. Přejděte do uživatelského rozhraní Modelů ve vašem pracovním prostoru.
  2. Vyberte filtr registru modelu pracovního prostoru .
  3. Vyberte filtr Povolené pouze pro použití ve starší verzi.

Migrujte obsluhované modely ze staršího MLflow Model Serving do Model Serving

Můžete vytvořit koncový bod pro obsluhu modelu a flexibilně převádět pracovní postupy obsluhy modelů, aniž byste museli vypnout Legacy MLflow Model Serving.

Následující kroky ukazují, jak toho dosáhnout pomocí uživatelského rozhraní. Pro každý model, na kterém máte povolenou službu starší verze modelu MLflow:

  1. Zaregistrujte model do katalogu Unity.
  2. Na bočním panelu pracovního prostoru pro strojové učení přejděte na koncové body pro poskytování.
  3. Postupujte podle postupu popsaného v tématu Vytvoření vlastních koncových bodů pro poskytování modelů, kde se dozvíte, jak vytvořit koncový bod pro poskytování pro váš model.
  4. Převést aplikaci tak, aby používala novou adresu URL poskytnutou koncovým bodem obsluhy k dotazování modelu spolu s novým formátem bodování.
  5. Po převedení modelů můžete na bočním panelu pracovního prostoru pro strojové učení přejít na Models.
  6. Vyberte model, pro který chcete zakázat poskytování starší verze modelu MLflow.
  7. Na kartě Obsluha vyberte Zastavit.
  8. Zobrazí se zpráva pro potvrzení. Vyberte Přestat obsluhovat.

Migrujte nasazené verze modelu do Model Serving

V předchozích verzích funkce obsluhy modelu se koncový bod obsluhy vytvořil na základě fáze registrované verze modelu: Staging nebo Production. Pokud chcete migrovat obsluhované modely z daného prostředí, můžete toto chování replikovat v novém prostředí pro obsluhu modelů.

Tato část ukazuje, jak vytvořit samostatný model obsluhující koncové body pro Staging verze modelu a Production verze modelu. Následující kroky ukazují, jak toho dosáhnout pomocí rozhraní API pro obsluhu koncových bodů pro každý z vašich obsluhovaných modelů.

V příkladu má registrovaný název modelA modelu verzi 1 ve fázi Production modelu a verzi 2 ve fázi Stagingmodelu .

  1. Vytvořte dva koncové body pro váš zaregistrovaný model, jeden pro verze modelu Staging a druhý pro verze modelu Production.

    Pro Staging verze modelu:

    POST /api/2.0/serving-endpoints
  {
     "name":"modelA-Staging"
     "config":
     {
        "served_entities":
        [
           {
              "entity_name":"model-A",
              "entity_version":"2",  // Staging Model Version
              "workload_size":"Small",
              "scale_to_zero_enabled":true
           },
        ],
     },
  }

    Pro Production verze modelu:

    POST /api/2.0/serving-endpoints
  {
     "name":"modelA-Production"
     "config":
     {
        "served_entities":
        [
           {
              "entity_name":"model-A",
              "entity_version":"1",   // Production Model Version
              "workload_size":"Small",
              "scale_to_zero_enabled":true
           },
        ],
     },
  }

  2. Ověřte stav koncových bodů.

    Přípravný koncový bod: GET /api/2.0/serving-endpoints/modelA-Staging

    Pro produkční koncový bod: GET /api/2.0/serving-endpoints/modelA-Production

  3. Jakmile jsou koncové body připravené, zadejte dotaz na koncový bod pomocí:

    Pro koncový bod stagingu: POST /serving-endpoints/modelA-Staging/invocations

    Pro produkční koncový bod: POST /serving-endpoints/modelA-Production/invocations

  4. Aktualizujte koncový bod na základě přechodů verzí modelu.

    Ve scénáři, ve kterém je vytvořen nový model verze 3, může model verze 2 přejít na Production, zatímco model verze 3 může přejít na Staging a model verze 1 přejde na Archived. Tyto změny se dají promítnout do samostatných modelů obsluhujících koncové body následujícím způsobem:

    V případě koncového bodu Staging aktualizujte koncový bod tak, aby používal novou verzi modelu v Staging.

    PUT /api/2.0/serving-endpoints/modelA-Staging/config
{
   "served_entities":
   [
      {
         "entity_name":"model-A",
         "entity_version":"3",  // New Staging model version
         "workload_size":"Small",
         "scale_to_zero_enabled":true
      },
   ],
}

    V případě koncového bodu Production aktualizujte koncový bod tak, aby používal novou verzi modelu v Production.

    PUT /api/2.0/serving-endpoints/modelA-Production/config
{
   "served_entities":
   [
      {
         "entity_name":"model-A",
         "entity_version":"2",  // New Production model version
         "workload_size":"Small",
         "scale_to_zero_enabled":true
      },
   ],
}

Další materiály

  • Last updated on