Přidejte prostředek služby modelu Unity Gateway do aplikace Databricks

Important

Tato funkce je ve verzi Public Preview.

Přidejte služby modelů Unity Gateway jako zdroje aplikací Databricks, aby vaše aplikace mohla odesílat požadavky na inferenci, včetně chatu, dokončení a embeddingů, do AI modelů spravovaných v Unity Catalog. Služby modelu Unity Gateway zahrnují základní modely s platbou za token dostupné pod system.ai, stejně jako modelové služby, které vytvoříte.

Note

Atribuce použití pro služby modelů Unity Gateway je přesná pouze pro standardní Databricks Apps. Aplikace běžící v prostředí mikro VM, jako jsou aplikace Genie App Builder, nehlásí přesné přiřazení využití.

Podívejte se na sledování používání Unity Gateway.

Požadavky na oprávnění

Pro přístup k modelové službě Unity Gateway musí mít principal služby aplikace privilegium USE CATALOG na rodičovském katalogu, privilegium USE SCHEMA na rodičovském schématu a EXECUTE privilegium na modelové službě. Když přidáte prostředek služby modelu, Azure Databricks automaticky udělí tato oprávnění instančnímu objektu služby aplikace.

Aby bylo toto automatické udělení úspěšné, musí být pro každé oprávnění splněno jedno z následujících podmínek:

  • Pro USE CATALOG: Buď všichni uživatelé účtu mají USE CATALOG oprávnění k katalogu, nebo máte MANAGE oprávnění v katalogu.
  • Pro USE SCHEMA: Buď všichni uživatelé účtu mají USE SCHEMA oprávnění ke schématu, nebo máte MANAGE oprávnění ke schématu.
  • Pro EXECUTE: Buď všichni uživatelé účtu mají EXECUTE oprávnění ke službě modelu, nebo vy máte MANAGE oprávnění ke službě modelu.

Viz referenční informace k oprávněním katalogu Unity.

Přidejte prostředek modelové služby Unity Gateway

Než přidáte službu modelu Unity Gateway jako zdroj, prostudujte si předpoklady zdrojů aplikace.

  1. V sekci Zdroje aplikace při vytváření nebo úpravě aplikace klikněte na + Přidat zdroj>Model.
  2. Ve výběru zdrojů vyberte modelovou službu v sekci Unity Gateway . Picker také uvádí vlastní serverové endpointy v sekci Serving Endpoints . Pro propojení jednoho z těchto koncových bodů viz Přidat prostředek koncového bodu pro poskytování modelu do aplikace Databricks. Chcete-li používat základní model s platbou za token, vyberte službu modelu z katalogu system.ai.
  3. Vyberte úroveň oprávnění pro vaši aplikaci:
    • Může provádět: Uděluje instančnímu objektu služby aplikace oprávnění EXECUTE odesílat požadavky na inferenci do služby modelu. Toto je jediná úroveň oprávnění dostupná pro modelovou službu.
  4. (Volitelné) Zadejte vlastní klíč zdroje, což je způsob, jakým odkazujete na modelovou službu ve vaší aplikaci v konfiguraci aplikace. Výchozí klíč je model.

Konfigurace pomocí Databricks Asset Bundles

Pokud definujete svou aplikaci pomocí Declarative Automation Bundles, přidejte modelovou službu jako uc_securable zdroj do konfigurace balíčku:

resources:
  apps:
    my_app:
      name: 'my-app'
      source_code_path: ./app
      resources:
        - name: 'model'
          uc_securable:
            securable_full_name: '<catalog>.<schema>.<model_service>'
            securable_type: 'MODEL_SERVICE'
            permission: 'EXECUTE'

Informace o prostředcích aplikace v deklarativních automatizačních balících najdete viz app.resources.

Proměnné prostředí

Když nasadíte aplikaci s prostředkem služby modelu Unity Gateway, Azure Databricks zpřístupní úplný třídílný název Unity Catalogu služby modelu prostřednictvím proměnných prostředí, na které se můžete odkazovat pomocí pole valueFrom.

Příklad konfigurace:

env:
  - name: MODEL_SERVICE_NAME
    valueFrom: model # Use your custom resource key if you set one

Pole valueFrom se vyřeší na plný třídílný název modelové služby v Unity Catalogu (například system.ai.databricks-dbrx-instruct). Tento název použijte při volání modelové služby přes Azure Databricks SDK nebo Unity Gateway REST API.

Další informace najdete v tématu Použití proměnných prostředí pro přístup k prostředkům.

Odstraňte prostředek služby modelu Unity Gateway

Když z aplikace odeberete prostředek služby modelu Unity Gateway, instanční objekt služby aplikace ztratí oprávnění EXECUTE ke službě modelu. Samotná modelová služba zůstává beze změny a nadále je dostupná pro ostatní uživatele a aplikace, které mají příslušná oprávnění.

Osvědčené postupy

Při práci s modelovými servisními zdroji Unity Gateway zvažte následující:

  • EXECUTE je jediná dostupná úroveň oprávnění. Dává aplikaci přístup k odesílání požadavků na inferenci a neuděluje administrátorská oprávnění k modelové službě.
  • Chcete-li používat základní modely s platbou za token bez dalšího nastavení, vyberte službu modelu z katalogu system.ai.
  • Proměnná prostředí se překládá na plný třídílný název Unity Catalog (catalog.schema.model_service). Použijte tuto hodnotu při volání modelové služby přes Azure Databricks SDK nebo REST API.
  • Ošetřete chyby v inferenci a limity počtu požadavků ve svém aplikačním kódu. Unity Gateway vynucuje limity požadavků a ochranné zábrany nastavené na každé modelové službě.
  • Výběr zdrojů modelu také uvádí klasické endpointy pro modely, seskupené v sekci Serving Endpoints . Modelové služby a koncové body pro poskytování mohou koexistovat ve stejné aplikaci.
  • Poslední aktualizace v