Poznámka:
Přístup k této stránce vyžaduje autorizaci. Můžete se zkusit přihlásit nebo změnit adresáře.
Přístup k této stránce vyžaduje autorizaci. Můžete zkusit změnit adresáře.
Databricks doporučuje používat modely v katalogu Unity pro vylepšené zásady správného řízení, snadné sdílení pracovních prostorů a prostředí a flexibilnější pracovní postupy MLOps. Tato stránka vás provede migrací modelů v registru modelů pracovního prostoru do katalogu Unity.
Úvod k modelům v katalogu Unity
Modely v katalogu Unity rozšiřují výhody katalogu Unity na modely ML, včetně centralizovaného řízení přístupu, auditování, rodokmenu a sdílení modelů napříč pracovními prostory. Modely v katalogu Unity také poskytují větší flexibilitu při správě životního cyklu modelu.
Při migraci modelů do katalogu Unity se některé kroky životního cyklu modelu provádějí jinak:
- Oprávnění registru modelu pracovního prostoru se nahrazují oprávněními katalogu Unity na úrovni účtu. Viz krok 2. Přiřaďte modelu oprávnění katalogu Unity.
- Fáze se nahrazují vlastními aliasy a značkami. Místo čtyř pevných fází můžete vytvořit až 10 vlastních a znovu přiřaditelných aliasů. Můžete také nastavit značky pro označení modelů. Viz krok 4. Migrujte metadata modelu.
- Úlohy nasazení se používají k převodu modelů v jejich životním cyklu. Viz krok 6. (Volitelné) Vytvořte úlohu nasazení.
Krok 1. Vytvoření modelu v katalogu Unity
Viz Trénování a registrace modelů kompatibilních s katalogem Unity.
krok 2. Přiřazení oprávnění katalogu Unity k modelu
Katalog Unity má jednotný model oprávnění. Informace o přiřazování oprávnění k modelům v katalogu Unity najdete v tématu Řízení přístupu k modelům.
Následující tabulka ukazuje vztah mezi oprávněními v registru modelu pracovního prostoru a oprávněními v katalogu Unity. Kromě oprávnění zobrazených v tabulce vyžadují všechny akce také oprávnění USE CATALOG a USE SCHEMA.
| Registr modelů pracovního prostoru | Katalog Unity | Poznámky |
|---|---|---|
| Může číst | PROVÉST | |
| Může upravit | VYTVOŘENÍ VERZE MODELU + PŘIDAT ŠTÍTEK | Uživatelé s těmito oprávněními nemohou upravovat popis modelů nebo verzí modelu. |
| Může spravovat předprodukční verze | APPLY TAG + úloha nasazení | V katalogu Unity se úlohy nasazení používají k řízení přesunu verzí modelu prostřednictvím fází životního cyklu. Podrobnosti najdete v tématu Úlohy nasazení MLflow 3. |
| Může spravovat produkční verze. | APPLY TAG + úloha nasazení | V katalogu Unity se úlohy nasazení používají k řízení přesunu verzí modelu prostřednictvím fází životního cyklu. Podrobnosti najdete v tématu Úlohy nasazení MLflow 3. |
| Může spravovat | SPRAVOVAT |
Krok 3. Kopírování verzí modelu
Chcete-li kopírovat verze modelu, použijte copy_model_version() s klientem >MLflow = 3.4.0.
import mlflow
from mlflow import MLflowClient
# Registry must be set to workspace registry
mlflow.set_registry_uri("databricks")
client = MlflowClient(registry_uri="databricks")
src_model_uri = f"models:/my_wmr_model/1"
uc_migrated_copy = client.copy_model_version(
src_model_uri, "mycatalog.myschema.my_uc_model"
)
Pokud cílový model v katalogu Unity neexistuje, vytvoří se tímto voláním rozhraní API.
Modely v katalogu Unity vyžadují podpis. Pokud verze modelu pracovního prostoru nemá podpis, databricks doporučuje, abyste ho vytvořili podle pokynů v dokumentaci k MLflow. Další alternativou je použití proměnné prostředí MLFLOW_SKIP_SIGNATURE_CHECK_FOR_UC_REGISTRY_MIGRATION . Tato proměnná prostředí je dostupná jenom v případě, že používáte copy_model_version() a vyžaduje MLflow verzi 3.4.0 nebo vyšší. Pokud je tato proměnná prostředí nastavená na "true", podpis se nevyžaduje.
Skript, který můžete použít k migraci všech verzí modelu v registru modelu pracovního prostoru do cílového modelu Katalogu Unity, najdete v tématu Migrace verzí modelu z registru modelů pracovního prostoru do katalogu Unity.
Krok 4. Migrace metadat modelu
Tato část popisuje, jak mapovat metadata na úrovni registru pracovního prostoru na metadata modelu a verze modelu v Unity Catalog, jako jsou fáze, značky a popisy.
Stupně
Registr modelů pracovního prostoru používal koncept "fází", například Staging a Production, ke sledování životního cyklu modelu. Modely můžete vyhledat nebo vyvolat podle fáze. V katalogu Unity byly fáze nahrazeny aliasy pro volání modelu a značkami pro označování modelů.
Pro jednoduchou migraci fází registru modelů Workspace můžete přímo použít "production" a "staging" nebo jakékoli jiné názvy aliasů, které preferujete. V registru modelů pracovního prostoru může být několik verzí modelu ve stejné fázi a při odkazování na verzi modelu se automaticky vyvolává nejnovější verze. V katalogu Unity je alias přiřazen k jedinečné verzi modelu.
Pro jednoduchou migraci popisků fází použijte značky k označení verzí modelu jako "Production", "Staging" nebo "Archived". Můžete použít také jakýkoli jiný štítek. Další informace o značkách najdete v tématu Značky.
V registru modelů pracovního prostoru se životní cyklus verze modelu sledoval podle fáze a pro žádost o přechod bylo vyžadováno schválení člověkem. V katalogu Unity se životní cyklus verze modelu spravuje pomocí úlohy nasazení. Každá úloha v úloze nasazení odpovídá "fázi". Úlohy nasazení umožňují přizpůsobit životní cyklus modelu a vyhovět složitějším pracovním postupům než registr modelů pracovního prostoru. Úlohy nasazení stále umožňují lidská schválení. Podrobnosti najdete v tématu Úlohy nasazení MLflow 3.
Štítky
V katalogu Unity vytvoříte značky pro model nebo verzi modelu.
Pokud chcete vyhledat model podle značky v Průzkumníku katalogu, zadejte klíč nebo hodnotu do vyhledávacího pole:
V Průzkumníku katalogu můžete použít značky pouze k vyhledávání modelů, nikoli verzí modelu. Klient MLflow nepodporuje vyhledávání modelů podle značek katalogu Unity. Katalog Unity umožňuje maximálně 50 značek na objekt.
Popis a komentáře
Do modelu a verze modelu můžete přidat popisy. Katalog Unity také poskytuje možnost popisu vygenerovaného pomocí umělé inteligence pro model.
Modely v katalogu Unity nemají odpovídající umístění pro informace uvedené v části Aktivity na stránce verze modelu v registru modelů pracovního prostoru. Pokud jsou v této části informace, které chcete přenést s verzí modelu, zkopírujte je do části Popis stránky verze modelu v katalogu Unity.
Krok 5. Aktualizace všech úloh a koncových bodů
Po migraci modelů a verzí modelů do katalogu Unity aktualizujte všechny úlohy, poznámkové bloky a další úlohy, včetně koncových bodů obsluhy modelu, abyste mohli používat verze v katalogu Unity.
Krok 6. (Volitelné) Vytvořte úlohu nasazení
Úloha nasazení se automaticky aktivuje při každém vytvoření nové verze modelu a automatizuje pracovní postup vyhodnocení, schválení a nasazení. Podrobnosti najdete v tématu Úlohy nasazení MLflow 3.
Oznámení můžete nastavit tak, aby se aktivovala u událostí, jako je vytvoření nebo schválení verze modelu. Viz Přidat oznámení k úloze.
Pokud jste měli e-mailová oznámení nastavená pro události v registru modelů pracovního prostoru, proveďte jejich migraci následujícím způsobem:
- Byla vytvořena nová verze modelu: Nastavte úlohu nasazení, která se aktivuje při vytvoření nové verze modelu, a e-mailové oznámení při aktivaci úlohy.
- Žádost o přechod fáze: Žádosti o přechod fáze odpovídají úkolům schválení. Nastavte e-mailové oznámení o úspěchu nebo selhání úkolu schválení.
- Přechody fází: Přechody fází odpovídají pracovním úkolům. Nastavte e-mailové oznámení o úspěchu nebo selhání úkolu.
- Nové komentáře: Komentáře nejsou v katalogu Unity podporovány.
Pokud jste nastavili webhooky pro události, můžete je implementovat v Unity Catalogu jako spouštěče úloh modelových událostí. Triggery modelů umožňují automatizovat úlohy Lakeflow na základě vytváření nových modelů, verzí modelů nebo aliasů modelů v katalogu Unity. Spouštěče modelů jsou v privátní verzi Preview. Další informace vám poskytne zástupce Databricks.
Více informací
Níže uvedené stránky popisují, jak migrovat pracovní postupy (trénování modelu a dávkové odvozování) z registru modelů pracovního prostoru do katalogu Unity.