Bezserverová optimalizovaná nasazení pro model obsluhující koncové body

Tento článek popisuje, jak používat bezserverové optimalizované nasazení na koncových bodech obsluhy modelů. Bezserverová optimalizovaná nasazení výrazně snižují dobu nasazení a udržují model obsluhující prostředí stejné jako trénovací prostředí modelu.

Co jsou bezserverová optimalizovaná nasazení?

Optimalizovaná nasazení bez serverů využívají balení a stagiování modelových artefaktů v prostředí poznámkových bloků bez serverů během registrace modelu, což vede k zrychlenému nasazení koncových bodů a konzistentním prostředím mezi trénováním a servírováním modelu.

To se liší od bezserverových optimalizovaných nasazení, kdy se artefakty modelu a prostředí zabalí do kontejnerů v době nasazení. V takových případech nemusí obslužné prostředí odpovídat prostředí použitému při trénování modelu.

Požadavky

Bezserverové optimalizované koncové body mají stejné požadavky jako model obsluhující koncový bod (viz Požadavky). Kromě toho:

• Model musí být vlastní model (nikoli FMAPI).
• Model musí být protokolovaný a zaregistrovaný v bezserverovém poznámkovém blokuverze 3 nebo 4.
• Model musí být protokolován a registrován v mlflow>=3.1
• Model musí být zaregistrovaný v UC a obsluhován s procesorem.
• Maximální velikost prostředí modelu je 1 GB.

Použití bezserverových optimalizovaných nasazení

Při protokolování a registraci modelu použijte bezserverový poznámkový blok s klientem 3 nebo 4 a mlflow>=3.1.

Pokud chcete upravit verzi klienta bezserverového prostředí, přečtěte si téma Konfigurace bezserverového prostředí.

Při registraci modelu pak nastavte env_pack parametr s požadovanými hodnotami.

import mlflow
from mlflow.utils.env_pack import EnvPackConfig

mlflow.register_model(
    model_info.model_uri,
    model_name,
    env_pack=env_pack=EnvPackConfig(name="databricks_model_serving")
)

Přidáním parametru env_pack funkce zabalí a připraví artefakty modelu a bezserverové prostředí poznámkového bloku během registrace modelu, aby byly připraveny k použití při nasazení. V porovnání s registrací modelu bez env_pack to může trvat delší dobu.

EnvPackConfig má parametr install_dependencies (True ve výchozím nastavení), který určuje, jestli jsou v aktuálním prostředí nainstalovány závislosti modelu, aby bylo možné ověřit platnost prostředí. Pokud chcete tento krok přeskočit, nastavte hodnotu na False.

Poznámka:

Koncové body v pracovních prostorech bez přístupu k internetu nebo ty se závislostmi na vlastních knihovnách můžou selhat, pokud je install_dependencies nastaveno na True. V těchto případech nastavte install_dependencies na False.

Můžete také nahradit EnvPackConfig(...) za "databricks_model_serving" jako zkratku. To odpovídá EnvPackConfig(name="databricks_model_serving", install_dependencies = True).

Po dokončení registrace modelu můžete model nasadit do obsluhy modelu. Všimněte si, že doba nasazení je omezená a protokoly událostí už nenaznačují sestavení kontejneru.