Serverlösa optimerade distributioner för modell som betjänar slutpunkter

Den här artikeln beskriver hur du använder serverlösa optimerade distributioner på din modell som betjänar slutpunkter. Serverlösa optimerade implementeringar minskar dramatiskt implementeringstiderna och säkerställer att modellens betjäningsmiljö förblir densamma som modellens träningsmiljö.

Vad är serverlösa optimerade distributioner?

Serverlösa optimerade distributioner drar nytta av paketerings- och mellanlagringsmodellartefakter i serverlösa notebook-miljöer under modellregistreringen, vilket resulterar i accelererad slutpunktsdistribution och konsekventa miljöer mellan träning och servering.

Detta skiljer sig från icke-serverlösa optimerade distributioner, där modellartefakter och miljöer paketeras i containrar vid distributionstillfället. I sådana fall kanske serveringsmiljön inte matchar den som används under modellträningen.

Kravspecifikation

Serverlösa optimerade slutpunkter har samma krav som modelltjänstslutpunkten (se Krav). Dessutom:

• Modellen måste vara en anpassad modell (inte FMAPI)
• Modellen måste loggas och registreras i en serverlös notebook med version 3 eller 4
• Modellen måste loggas och registreras med mlflow>=3.1
• Modellen måste vara registrerad i UC och hanteras med CPU
• Modellens maximala miljöstorlek är 1 GB

Använda serverlösa optimerade distributioner

När du loggar och registrerar en modell använder du en Serverless Notebook med klient 3 eller 4 och mlflow>=3.1.

Information om hur du justerar klientversionen av den serverlösa miljön finns i Konfigurera den serverlösa miljön.

När du registrerar en modell anger du sedan parametern env_pack med önskade värden.

import mlflow
from mlflow.utils.env_pack import EnvPackConfig

mlflow.register_model(
    model_info.model_uri,
    model_name,
    env_pack=env_pack=EnvPackConfig(name="databricks_model_serving")
)

Om du lägger till parametern env_pack blir funktionspaketet och mellanlagrar modellartefakterna och den serverlösa notebook-miljön under modellregistreringen för att förbereda det för användning under distributionen. Det kan ta ytterligare tid jämfört med att registrera modellen utan env_pack.

EnvPackConfig har en parameter install_dependencies (True som standard) som avgör om modellens beroenden är installerade i den aktuella miljön för att bekräfta att miljön är giltig. Om du vill hoppa över det steget anger du värdet till False.

Anmärkning

Slutpunkter i arbetsytor utan internetåtkomst eller slutpunkter med beroenden på anpassade bibliotek kan misslyckas om install_dependencies är inställt på True. I dessa fall ställer du in install_dependencies till False.

Du kan också ersätta EnvPackConfig(...) med "databricks_model_serving" som en förkortning. Detta motsvarar EnvPackConfig(name="databricks_model_serving", install_dependencies = True).

När du har registrerat modellen kan du distribuera modellen i modellservern. Observera att distributionstiden minskar och att händelseloggarna inte längre visar containeruppbyggnad.