Skapa och hantera modell-API:er (modelltjänster)

Skapa, dela och hantera dina egna modell-API:er (modelltjänster) i Unity Catalog.

Tip

De systemtillhandahållna modell-API:erna i schemat system.ai är redo att söka utan någon installation. Skapa ditt eget modell-API endast när du vill styra ytterligare modeller eller exponera en anpassad endpoint.

Requirements

  • En Azure Databricks arbetsyta i en Unity AI Gateway-stödd region.
  • Unity Catalog har aktiverats för din arbetsyta. Se Aktivera en arbetsyta för Unity Catalog.
  • Om du vill skapa en modelltjänst måste du ha:
    • USE CATALOG, USE SCHEMAoch CREATE SERVICE i katalogen och schemat där du skapar modelltjänsten.
    • EXECUTE på varje modell som modelltjänsten refererar till som mål.
    • EXECUTE, USE CATALOG, och USE SCHEMA på varje modellleverantörstjänst som modelltjänsten refererar till som destination.
    • USE CATALOG, USE SCHEMA, och CREATE TABLE i katalogen och schemat där slutsatsdragningstabellen skapas, om du aktiverar slutsatsdragningsloggning.

Skapa en modelltjänst

Du kan skapa en modelltjänst i Unity AI Gateway-användargränssnittet eller i Katalogutforskaren.

Modelltjänster och modellprovidertjänster delar ett namnområde i ett Unity Catalog-schema. Du kan inte använda ett namn för en modelltjänst om en modellleverantörstjänst i schemat redan använder den, och vice versa.

Använda användargränssnittet

  1. Gör något av följande:
    • Klicka på AI Gateway i arbetsytans sidofält och klicka sedan på Skapa.
    • I Katalogutforskaren går du till schemat där du vill skapa modelltjänsten och klickar sedan på Skapa>tjänstmodelltjänst>.
  2. Ange ett namn för modelltjänsten och välj den katalog och det schema som du vill skapa den i. Om du börjar från Katalogutforskaren fyller Katalogutforskaren katalogen och schemat i förväg.
  3. Välj den primära destinationen att betjäna. Denna destination kan vara en Databricks-hostad modell som du har EXECUTE på och som Unity AI Gateway kan hantera, eller en modellleverantörstjänst som du har EXECUTE, USE CATALOG, och USE SCHEMA på.
  4. Klicka på Skapa.

När du har skapat modelltjänsten öppnar Azure Databricks dess översiktssida, där du kan komma igång eller konfigurera ytterligare funktioner som slutsatsdragningsloggning.

Bevilja åtkomst till en modelltjänst

Om du vill låta andra ställa frågor till en modelltjänst, beviljar du dem EXECUTE på modelltjänsten och USE CATALOG och USE SCHEMA på dess katalog och schema. Om modelltjänsten loggar till en inferenstabell beviljar du SELECT för tabellen så att användare kan läsa de loggade begärandena och svaren.

Så här beviljar du åtkomst i Katalogutforskaren:

  1. Öppna modelltjänsten i Katalogutforskaren.
  2. På fliken Behörigheter klickar du på Bevilja.
  3. Välj de användare eller grupper som du vill bevilja åtkomst till, välj behörigheten EXECUTE och klicka på Bevilja.

Kontrollera att samma huvudnamn också har USE CATALOG och USE SCHEMA på modelltjänstens katalog och schema. Om du vill att de ska kunna läsa loggade förfrågningar och svar beviljar du SELECT för inferenstabellen på fliken Behörigheter.

Mer information om hur du beviljar och identifierar åtkomst finns i Styra modelltjänster.

Konfigurera funktioner i en modelltjänst

Du konfigurerar funktioner som hastighetsbegränsningar, slutsatsdragningsloggning och skyddsräcken för modelltjänsten från Unity AI Gateway-användargränssnittet, på samma sätt som du konfigurerar dem på en Unity AI Gateway-slutpunkt. See:

Slutsatsdragningsloggning

När du aktiverar slutsatsdragningsloggning skapar Azure Databricks en ny, tom Unity Catalog-tabell med ett fördefinierat schema på den plats som du anger. Notera följande:

  • Du måste ha USE CATALOG, USE SCHEMAoch CREATE TABLE i målkatalogen och schemat.
  • Skaparen av modelltjänsten är ägare till slutsatsdragningstabellen. Inga andra användare har åtkomst om du inte beviljar den.
  • Om det redan finns en tabell på den angivna platsen misslyckas skapandet av modelltjänsten.
  • Slutsatsdragningstabellen har en oberoende livscykel från modelltjänsten. Om du släpper tabellen fortsätter modelltjänsten att fungera men slutar logga.

För mer om inferenstabeller, se Loggförfrågningar och svar på inferenstabeller.

Ta bort en modelltjänst

För att ta bort en modelltjänst måste du ha minst behörigheten MANAGE för den. Ägaren har en övermängd av MANAGE.

Om du vill ta bort en modelltjänst öppnar du den i Katalogutforskaren och väljer Ta bort från menyn kebab.

Det går inte att ta bort modelltjänster som tillhandahålls av system.ai systemet.

Nästa steg

  • Last updated on