Migrace na obsluhu modelů
Tento článek ukazuje, jak povolit službu Model Serving ve vašem pracovním prostoru a přepnout modely na nové prostředí pro obsluhu modelů založené na bezserverových výpočetních prostředcích.
Požadavky
- Registrovaný model v registru modelů MLflow.
- Oprávnění k registrovaným modelům, jak je popsáno v průvodci řízením přístupu.
- Povolte výpočetní prostředky bez serveru ve vašem pracovním prostoru.
Významné změny
- Ve službě Model Serving se formát požadavku na koncový bod a odpověď z koncového bodu mírně liší od služby starší verze modelu MLflow. Podrobnosti o novém formátovacím protokolu najdete v bodování koncového bodu modelu.
- V části Obsluha modelu adresa URL koncového
model
bodu obsahujeserving-endpoints
místo . - Poskytování modelů zahrnuje plnou podporu správy prostředků pomocí pracovních postupů rozhraní API.
- Obsluha modelů je připravená pro produkční prostředí a je zajištěná smlouvou SLA pro Azure Databricks.
Migrace starší verze modelu MLflow obsluhované modely na obsluhu modelů
Můžete vytvořit koncový bod obsluhy modelů a pružně přecházet model obsluhující pracovní postupy bez zakázání služby starších modelů MLflow.
Následující kroky ukazují, jak toho dosáhnout pomocí uživatelského rozhraní. Pro každý model, na kterém máte povolenou službu starší verze modelu MLflow:
- Na bočním panelu pracovního prostoru strojového učení přejděte na obsluhu koncových bodů.
- Postupujte podle pracovního postupu popsaného v tématu Vytvoření vlastních modelů, který obsluhuje koncové body při vytváření obslužného koncového bodu s vaším modelem.
- Převést aplikaci tak, aby používala novou adresu URL poskytnutou koncovým bodem obsluhy k dotazování modelu spolu s novým formátem bodování.
- Po přechodu modelů můžete přejít na boční panel pracovního prostoru strojového učení na bočním panelu.
- Vyberte model, pro který chcete zakázat poskytování starší verze modelu MLflow.
- Na kartě Obsluha vyberte Zastavit.
- Zobrazí se zpráva, která se zobrazí k potvrzení. Vyberte Zastavit obsluhu.
Migrace nasazených verzí modelu do obsluhy modelů
V předchozích verzích funkce obsluhy modelu se koncový bod obsluhy vytvořil na základě fáze registrované verze modelu: Staging
nebo Production
. Pokud chcete migrovat obsluhované modely z daného prostředí, můžete toto chování replikovat v novém prostředí pro obsluhu modelů.
Tato část ukazuje, jak vytvořit samostatný model obsluhující koncové body pro Staging
verze modelu a Production
verze modelu. Následující kroky ukazují, jak toho dosáhnout pomocí rozhraní API pro obsluhu koncových bodů pro každý z vašich obsluhovaných modelů.
V příkladu má registrovaný název modelA
modelu verzi 1 ve fázi Production
modelu a verzi 2 ve fázi Staging
modelu .
Vytvořte dva koncové body pro zaregistrovaný model, jeden pro verze modelu a druhý pro
Staging
Production
verze modelu.Pro
Staging
verze modelu:POST /api/2.0/serving-endpoints { "name":"modelA-Staging" "config":{ "served_entities":[ { "entity_name":"model-A", "entity_version":"2", // Staging Model Version "workload_size":"Small", "scale_to_zero_enabled":true }, ], }, }
Pro
Production
verze modelu:POST /api/2.0/serving-endpoints { "name":"modelA-Production" "config":{ "served_entities":[ { "entity_name":"model-A", "entity_version":"1", // Production Model Version "workload_size":"Small", "scale_to_zero_enabled":true }, ], }, }
Ověřte stav koncových bodů.
Přípravný koncový bod:
GET /api/2.0/serving-endpoints/modelA-Staging
Pro produkční koncový bod:
GET /api/2.0/serving-endpoints/modelA-Production
Jakmile jsou koncové body připravené, zadejte dotaz na koncový bod pomocí:
Přípravný koncový bod:
POST /serving-endpoints/modelA-Staging/invocations
Pro produkční koncový bod:
POST /serving-endpoints/modelA-Production/invocations
Aktualizujte koncový bod na základě přechodů verzí modelu.
Ve scénáři, ve kterém je vytvořen nový model verze 3, můžete mít přechod
Production
na verzi 2 modelu , zatímco model verze 3 může přejít naStaging
a model verze 1 jeArchived
. Tyto změny se dají promítnout do samostatných modelů obsluhujících koncové body následujícím způsobem:V případě koncového
Staging
bodu aktualizujte koncový bod tak, aby používal novou verzi modelu vStaging
souboru .PUT /api/2.0/serving-endpoints/modelA-Staging/config { "served_entities":[ { "entity_name":"model-A", "entity_version":"3", // New Staging model version "workload_size":"Small", "scale_to_zero_enabled":true }, ], }
V případě
Production
koncového bodu aktualizujte koncový bod tak, aby používal novou verzi modelu vProduction
souboru .PUT /api/2.0/serving-endpoints/modelA-Production/config { "served_entities":[ { "entity_name":"model-A", "entity_version":"2", // New Production model version "workload_size":"Small", "scale_to_zero_enabled":true }, ], }
Migrace pracovních postupů odvozování systému MosaicML do obsluhy modelů
Tato část obsahuje pokyny, jak migrovat nasazení odvozování systému MosaicML do služby Databricks Model Serving a obsahuje příklad poznámkového bloku.
Následující tabulka shrnuje paritu mezi odvozováním systému MosaicML a modelem obsluhujícími v Azure Databricks.
Odvozovat do systému MosaicML | Obsluha modelu Databricks |
---|---|
create_inference_deployment | Vytvoření koncového bodu obsluhy modelu |
update_inference_deployment | Aktualizace koncového bodu obsluhy modelu |
delete_inference_deployment | Odstranění koncového bodu obsluhy modelu |
get_inference_deployment | Získání stavu koncového bodu obsluhy modelu |
Následující poznámkový blok obsahuje příklad migrace llama-13b
modelu z MosaicML do služby Databricks Model Serving.
Migrace z odvozování Do poznámkového bloku obsluhy modelu Databricks
Další materiály
Váš názor
https://aka.ms/ContentUserFeedback.
Připravujeme: V průběhu roku 2024 budeme postupně vyřazovat problémy z GitHub coby mechanismus zpětné vazby pro obsah a nahrazovat ho novým systémem zpětné vazby. Další informace naleznete v tématu:Odeslat a zobrazit názory pro