Expresní nasazení pro koncové body obsluhy modelů

Tento článek popisuje, jak používat expresní nasazení v modelu obsluhující koncové body. Rychlá nasazení výrazně zkracují dobu nasazení a zachovávají prostředí pro nasazení modelu stejné jako prostředí pro trénování modelu.

Note

Expresní nasazení se dříve označovala jako bezserverová optimalizovaná nasazení.

Co jsou expresní nasazení?

Zrychlená nasazení využívají při registraci modelu zabalení a přípravu artefaktů modelu v bezserverových prostředích poznámkových bloků, což vede k rychlejšímu nasazení koncových bodů a ke konzistentním prostředím mezi trénováním a obsluhou modelu.

To se liší od neexpresních nasazení, při nichž jsou artefakty modelu a prostředí zabaleny do kontejnerů při nasazení. V takových případech nemusí obslužné prostředí odpovídat prostředí použitému při trénování modelu.

Requirements

Koncové body nasazení Express mají stejné požadavky jako koncový bod obsluhy modelu (viz Požadavky). Kromě toho:

• Model musí být vlastní model (nikoli FMAPI).
• Model musí být protokolovaný a zaregistrovaný v bezserverovém poznámkovém blokuverze 3 nebo 4.
• Model musí být protokolován a registrován v mlflow>=3.1
• Model musí být zaregistrovaný v UC a obsluhován s procesorem.
• Maximální velikost prostředí modelu je 1 GB.

Použití expresních nasazení

Při protokolování a registraci modelu použijte bezserverový poznámkový blok s klientem 3 nebo 4 a mlflow>=3.1.

Pokud chcete upravit verzi klienta bezserverového prostředí, přečtěte si téma Konfigurace bezserverového prostředí.

Při registraci modelu pak nastavte env_pack parametr s požadovanými hodnotami.

import mlflow
from mlflow.utils.env_pack import EnvPackConfig

mlflow.register_model(
    model_info.model_uri,
    model_name,
    env_pack=EnvPackConfig(name="databricks_model_serving")
)

Přidáním parametru env_pack funkce zabalí a připraví artefakty modelu a bezserverové prostředí poznámkového bloku během registrace modelu, aby byly připraveny k použití při nasazení. V porovnání s registrací modelu bez env_pack to může trvat delší dobu.

EnvPackConfig má parametr install_dependencies (True ve výchozím nastavení), který určuje, jestli jsou v aktuálním prostředí nainstalovány závislosti modelu, aby bylo možné ověřit platnost prostředí. Pokud chcete tento krok přeskočit, nastavte hodnotu na False.

Note

Koncové body v pracovních prostorech bez přístupu k internetu nebo ty se závislostmi na vlastních knihovnách můžou selhat, pokud je install_dependencies nastaveno na True. V těchto případech nastavte install_dependencies na False.

Můžete také nahradit EnvPackConfig(...) za "databricks_model_serving" jako zkratku. To odpovídá EnvPackConfig(name="databricks_model_serving", install_dependencies = True).

Po dokončení registrace modelu můžete model nasadit do obsluhy modelu. Všimněte si, že doba nasazení je omezená a protokoly událostí už nenaznačují sestavení kontejneru.