Zarządzanie AI z Unity AI Gateway

Unity AI Gateway to rozwiązanie Azure Databricks do zarządzania ładem w obszarze sztucznej inteligencji w przedsiębiorstwach. Oparty na Unity Catalog rozszerza nadzór poza dane i zasoby AI na interakcje w środowisku uruchomieniowym między modelami, agentami, serwerami MCP i narzędziami. Kontroluj, z których usług AI mogą korzystać zespoły, kieruj ruchem do usług AI i zarządzaj nim, ustawiaj mechanizmy zabezpieczające oraz monitoruj użycie z poziomu jednej płaszczyzny sterowania.

Azure Databricks obsługuje duże modele językowe (LLM) natywnie za pomocą API Foundation Model, dzięki czemu masz dostęp pay-per-token do modeli takich jak GPT, Claude i Gemini bez konieczności uruchamiania infrastruktury. Możesz także podłączać zewnętrznych dostawców modeli i kierować żądania do ich interfejsów API z użyciem tych samych mechanizmów kontroli dostępu i zarządzania ruchem.

Wprowadzenie

Skonfiguruj i zastosuj nadzór nad AI we wszystkich zasobach AI oraz w ruchu i działaniu usług.

Temat	Opis
Samouczek: Zarządzaj dostępem do modelu agenta kodującego za pomocą Unity AI Gateway	Przekieruj zewnętrznego agenta kodującego przez zarządzane usługi modelowe, a następnie kontroluj, kto może uzyskać dostęp do modeli i ograniczaj zużycie i wydatki agenta.
Samouczek: zarządzanie dostępem agenta kodującego do GitHub MCP	Ogranicz dostęp agenta programistycznego do narzędzi GitHub MCP za pomocą uprawnień Unity Catalog i wbudowanej polityki usługi.
Tutorial: Dodaj bariery zabezpieczające polityki usług do modelu usługi	Wdróż mechanizmy zabezpieczające w usłudze modelowej za pomocą wbudowanych i niestandardowych zasad usługi.
Samouczek: Śledź wydatki na model fundamentów według użytkownika, zespołu lub projektu	Zidentyfikuj sterowniki wydatków LLM, przypisując koszt użytkownikom, zespołom lub projektom za pomocą tagów serwisowych i żądań.

Kontroluj dostęp do usług AI

Zarejestruj zasoby AI jako obiekty zabezpieczalne w Unity Catalog, a następnie przyznawaj i odbieraj dostęp za pomocą tych samych uprawnień co w przypadku tabel i woluminów. Agenci są zarządzani za pomocą tych samych zabezpieczanych obiektów: agent jest rejestrowany jako model w Unity Catalog, a narzędzia, które wywołuje, są zarządzane jako usługi, funkcje i połączenia MCP.

Temat	Opis
API modeli	Odpytuj modele bazowe udostępniane natywnie w system.ai bez żadnej konfiguracji i zarządzaj dostępem za pomocą uprawnień Unity Catalog.
Zewnętrzni dostawcy modeli	Połącz dostawców takich jak OpenAI i Anthropic z "bring your own key" (BYOK) i zarządzaj nimi przez jeden punkt kontrolny.
Modele	Zarządzaj zarejestrowanymi modelami, w tym modelami bazowymi udostępnianymi przez Azure Databricks, za pomocą uprawnień Unity Catalog.
Uprawnienia modelu podstawowego	Ogranicz, do których modeli fundamentów obsługiwanych przez Azure Databricks Twoja organizacja może mieć dostęp, zarówno dla całego konta, jak i w każdej grupie.
Narzędzia MCP	Zarządzaj serwerami MCP zarejestrowanymi jako obiekty zabezpieczane w Unity Catalog, korzystając z filtrowania narzędzi i zasad dotyczących usług.
Narzędzia niestandardowe	Zarządzaj funkcjami usługi Unity Catalog, z których agenci korzystają jako z narzędzi, przy użyciu tych samych uprawnień, jakich używasz w przypadku danych.
Połączenia HTTP	Zarządzaj połączeniami Unity Catalog używanymi do łączenia się z zewnętrznymi interfejsami API i serwerami MCP.
Tworzenie niestandardowych API modeli	Opcjonalnie: Dodaj własne zarządzane endpointy, gdy potrzebujesz modeli innych niż domyślne modele gotowe do użycia system.ai.

Kierowanie ruchem sztucznej inteligencji i zarządzanie nim

Brama AI Unity kieruje żądania do Twojego modelu i usług MCP z centralnego panelu sterowania, dzięki czemu możesz zarządzać pojemnością, dostępnością i kosztami u różnych dostawców.

Temat	Opis
Stosowanie limitów szybkości	Wymuszanie limitów użycia usług modelu i usług MCP w celu zarządzania pojemnością i kosztami.
Konfigurowanie podziału ruchu i mechanizmów awaryjnych	Rozdzielaj żądania między wiele miejsc docelowych modeli i dodaj mechanizm przełączania awaryjnego, aby zwiększyć dostępność.
Zadania kodowania tras za pomocą inteligentnego trasowania	Automatycznie wybieraj najlepszy model i uprzęż dla każdego zadania kodowania, aby kontrolować wydatki na AI bez rezygnacji z jakości.
Zarządzanie budżetami	Monitoruj wydatki i ustawiaj progi dla poszczególnych użytkowników oraz twarde limity.

Ustawianie barier zabezpieczających i zasad dostępu

Zasady usługi, nazywane również mechanizmami ochronnymi, określają sposób przetwarzania każdego żądania i każdej odpowiedzi na podstawie ich treści oraz tego, kto wykonuje wywołanie.

Temat	Opis
Zasady usług dla obiektów zabezpieczanych AI	Sposób, w jaki zasady usług zarządzają zawartością żądań i odpowiedzi na usługi sztucznej inteligencji przy użyciu wbudowanych i niestandardowych zasad.
Tworzenie i dołączanie zasad usługi	Jak napisać funkcję polityki usług i dołączyć ją do usługi lub modelu MCP.

Monitorowanie użycia, kosztów i ryzyka

Śledź aktywność, wydatki i wyniki we wszystkich usługach Unity AI Gateway.

Temat	Opis
Omówienie możliwości obserwacji	Wybierz odpowiednie narzędzie do monitorowania wykorzystania AI, kosztów, wydajności i aktywności w różnych usługach.
Monitorowanie użycia	Śledź żądania, zużycie tokenów i opóźnienia w Unity AI Gateway, korzystając z tabel systemowych.
Analizowanie kosztów	Przypisz koszt usługi Azure Databricks do usług, modeli docelowych, tożsamości i tagów.
Żądania inspekcji i odpowiedzi	Rejestruj żądania i odpowiedzi w tabelach Delta usługi Unity Catalog na potrzeby monitorowania i debugowania.