Usługi modeli w Unity Catalog

Ważna

Ta funkcja jest dostępna w wersji beta. Administratorzy kont mogą kontrolować dostęp do tej funkcji ze strony podglądów konsoli konta. Zobacz Zarządzanie wersjami zapoznawczami usługi Azure Databricks.

Note

Unity AI Gateway nie jest obsługiwany na platformie Azure Government.

Usługa modelu to obiekt podlegający zabezpieczeniom w Unity Catalog, który reprezentuje nadzorowany punkt końcowy LLM. Usługi modeli umożliwiają centralne definiowanie i udostępnianie dużych modeli językowych (LLM) oraz zarządzanie dostępem do nich w katalogu Unity Catalog, obok Twoich danych i ponad granicami obszarów roboczych.

W wersji beta usługi modelu obsługują następujące elementy:

  • Hostowane przez Databricks modele bazowe rozliczane za token, jako usługi udostępniane przez system w system.ai oraz jako usługi tworzone przez Ciebie.
  • Tworzenie i zarządzanie usługami modeli za pomocą interfejsu Unity AI Gateway, Catalog Explorer i interfejsu Unity Catalog REST API.
  • Wykonywanie zapytań do usług modelowych w różnych obszarach roboczych, zarówno z poziomu Azure Databricks, jak i spoza niego.

Co to jest usługa modeli?

Usługa modelu znajduje się w schemacie Katalogu Unity i odwołuje się do jednego lub większej liczby miejsc docelowych, z trasowaniem i mechanizmem awaryjnego przełączania między nimi. Dzwoniący wywołują usługę modelu pod jej w pełni kwalifikowaną nazwą, a brama Unity AI kieruje każde żądanie do celu. Docelowym może być model hostowany w Databricks lub usługa dostawcy modeli , która kieruje trasę do zewnętrznego dostawcy, a pojedyncza usługa modelu może łączyć oba te elementy.

Ponieważ usługa modelu jest obiektem zabezpieczanym w Unity Catalog, to:

  • Znajduje się w katalogu i schemacie, gdzie dziedziczy ustawienia schematu, takie jak powiązania z obszarem roboczym.
  • Zawiera standardowe metadane Unity Catalog, takie jak nazwa, właściciel, opis i tagi.
  • Podlega uprawnieniom Unity Catalog, więc przyznajesz dostęp za pomocą tych samych instrukcji GRANT i REVOKE, których używasz w przypadku tabel, funkcji i modeli.
  • Można go znaleźć w Catalog Explorer wraz z pozostałymi zasobami Unity Catalog.

Ta sama usługa modelowa jest również widoczna jako punkt końcowy w interfejsie użytkownika Unity AI Gateway, gdzie zespoły AI mogą konfigurować funkcje, takie jak limity żądań, tabele inferencji i mechanizmy zabezpieczające. Aby uzyskać więcej informacji na temat tych funkcji, zobacz Zarządzanie sztuczną inteligencją za pomocą usługi Unity AI Gateway.

Dlaczego warto nadzorować modele LLM w Unity Catalog?

Punkty końcowe bramy Unity AI Gateway utworzone w obszarze roboczym są ograniczone do tego obszaru roboczego. Aby udostępnić punkt końcowy między obszarami roboczymi, należy go zduplikować w każdym obszarze roboczym i zarządzać poszczególnymi kopiami oddzielnie.

Usługi modeli przenoszą zarządzanie do Unity Catalog, dzięki czemu możesz:

  • Zdefiniuj punkt końcowy LLM raz i użyj go z dowolnego obszaru roboczego dołączonego do tego samego magazynu metadanych.
  • Centralnie zarządzaj dostępem przy użyciu uprawnień Unity Catalog zamiast uprawnień w poszczególnych obszarach roboczych.
  • Odkryj modele , które są dostępne dla Ciebie w różnych obszarach roboczych z jednej lokalizacji.
  • Śledź użycie i koszty usług modeli w tabelach systemowych Unity Catalog.

Usługi modelu udostępniane przez system

Azure Databricks udostępnia gotową do użycia usługę modelową w schemacie system.ai dla każdego modelu bazowego hostowanego przez Databricks, takiego jak system.ai.databricks-claude-opus-4-6. Azure Databricks dodaje nowe usługi modeli systemowych, ponieważ nowe modele podstawowe stają się dostępne.

Usługi modelu zapewniane przez system mają następujące cechy:

  • Domyślnie wszyscy użytkownicy konta mają uprawnienie EXECUTE, dzięki czemu można ich odpytywać bez dodatkowej konfiguracji.
  • Użytkownik systemowy jest właścicielem i nie można ich usunąć.
  • Domyślnie tylko administratorzy magazynu metadanych mogą je modyfikować. Administrator magazynu metadanych może delegować zarządzanie, przyznając uprawnienie MANAGE.

Aby ograniczyć dostęp do usług modelu udostępnianych przez system, zobacz Zarządzanie usługami modelu.

Uprawnienia

Usługi modeli używają standardowego modelu uprawnień Unity Catalog. Obowiązują następujące uprawnienia:

Przywilej Opis
USE CATALOG, USE SCHEMA Uzyskaj dostęp do katalogu i schematu, które zawierają usługę modelu. Wymagane dla wszystkich operacji.
CREATE SERVICE Utwórz usługi modelu w schemacie. Przyznane w wykazie lub schemacie.
EXECUTE Wysyłaj zapytania do usługi modelowej.
MANAGE Modyfikowanie lub usuwanie usługi modelu i zarządzanie jej grantami. Właściciel ma nadzbiór MANAGE.

Usługi modelowe korzystają z uprawnień definiera. Azure Databricks ocenia zapytanie względem uprawnień właściciela, a nie wywołującego. Gdy użytkownik wysyła zapytanie do usługi modelowej, Azure Databricks sprawdza, czy właściciel ma EXECUTE do wskazanych miejsc docelowych, takich jak modele źródłowe i wszelkie usługi dostawców modeli. Dzwoniący nie potrzebuje bezpośredniego dostępu do tych miejsc.

Ograniczenia

Następujące możliwości nie są dostępne w wersji beta:

  • Modele aprowizowanej przepustowości jako miejsca docelowe.
  • Tworzenie usług modelu i zarządzanie nimi za pomocą programu Terraform lub SQL.
  • Odnajdywanie usług modelu przy użyciu tylko uprawnienia BROWSE.
  • Śledzenie pochodzenia i globalne wyszukiwanie usług modeli.

Następne kroki

  • Last updated on