Obserwowalność Unity AI Gateway

Obserwatorność Unity AI Gateway pozwala monitorować koszty, użytkowanie, wydajność i dostęp dla każdej usługi AI z jednej płaszczyzny kontrolnej, wspieranej przez tabele systemowe Unity Catalog. W miarę jak zespoły wdrażają agentów kodujących, kopilotów i agentów niestandardowych w całej organizacji, coraz trudniej jest zobaczyć, kto korzysta z których modeli lub narzędzi, ile kosztują i czy endpointy są zdrowe. Ponieważ każde żądanie trafia przez Unity AI Gateway, możesz odpowiedzieć na te pytania w jednym miejscu.

Note

Dostęp do tych tabel systemowych wymaga domyślnie zarówno roli administratora konta, jak i metastore. Administratorzy mogą zarządzać dostępem do tabel systemowych lub publikować panel użytkowania AI Gateway , aby udostępniać analizę użytkowania bez przyznawania dostępu do tabel.

Wymagania

Monitorowanie kosztów

Z interfejsu użytkownika obszaru roboczego przejdź do AI Gateway > Govern > Usage Dashboard > Cost Analysis, aby śledzić wydatki w dolarach według punktu końcowego, modelu bazowego udostępnianego przez Azure Databricks lub użytkownika w czasie. Wbudowany panel korzysta z tabel użytkowania i rozliczeń:

Note

Wydatki na zewnętrzny model są obliczane na podstawie opublikowanych cen każdego dostawcy i mają charakter wyłącznie informacyjny. Zobacz Modele zewnętrzne.

Aby przypisać koszty do niestandardowych wymiarów, użyj tagów żądań lub tagów usługowych, aby grupować koszty według jednostki biznesowej, projektu lub dowolnego innego wymiaru istotnego dla Twojej organizacji (zobacz Śledzenie kosztów modeli bazowych według użytkownika, zespołu lub projektu).

Zobacz Analizuj koszt Unity AI Gateway.

Monitorowanie użytkowania i wydajności

Panel użycia Unity AI Gateway (AI Gateway > Govern > Usage Dashboard) monitoruje liczbę żądań, zużycie tokenów oraz opóźnienie dla wszystkich punktów końcowych obsługiwanych przez bramę. Każdy Model lub usługa MCP posiada również wbudowaną zakładkę Metryki do monitorowania stanu bez konieczności opuszczania interfejsu Eksploratora katalogu. Aby przeprowadzić bardziej szczegółową analizę, wyślij zapytanie do tabeli system.ai_gateway.usage, aby analizować metryki użycia, takie jak liczba tokenów, opóźnienie, inicjator żądania i tagi żądania dla każdego żądania kierowanego przez bramę (zobacz schemat tabeli użycia).

Note

Punkty końcowe bram Unity AI logują się do system.ai_gateway.usage, natomiast punkty końcowe obsługujące model (legacy) logują się do .system.serving.endpoint_usage

Typowe zastosowania:

  • Monitoruj i optymalizuj wszystkie swoje usługi AI z jednego miejsca, w całym stosie AI
  • Śledzenie adopcji agentów kodujących i popularności modeli w zespołach
  • Zidentyfikuj najbardziej aktywnych użytkowników, usługi i modele, aby dostrzec możliwości optymalizacji

Zobacz Śledzenie użycia modelu.

Przeglądaj prośby i odpowiedzi

Włącz tabele inferencji dla usługi modelu, aby rejestrować ładunki żądań i odpowiedzi w tabeli Unity Catalog. Używaj tabel wnioskowania do:

  • Rozwiązywanie problemów z nieudanymi lub nieoczekiwanymi odpowiedziami
  • Sprawdź, czy zabezpieczenia działają, takie jak redakcia danych osobowych
  • Audyt ekspozycji na wrażliwe dane

Zobacz Dzienniki i odpowiedzi na tabele wnioskowania.

Dostęp audytowy

Zapytaj tabelę system.access.audit , aby udowodnić, kto i kiedy korzystał z której usługi AI. Aby odróżnić ludzkiego dzwoniącego od agenta działającego w jego imieniu, użyj pola run_by i run_as w identity_metadata.

Typowe zastosowania:

  • Sporządzenie ścieżki dostępu do zgodności i raportowania regulacyjnego
  • Odróżnij osobę dzwoniącą od agenta działającego w jej imieniu
  • Utrzymuj centralny ślad audytu dla agentów kodujących wykorzystywanych przez Twoje zespoły

Zobacz tabela systemu dziennika audytu.

Śledzenie zależności

Lineage śledzi zależności między modelami fundamentowymi a usługami modelowymi, a także ich odbiorcami w dalszej fazie rozwoju. Wykorzystaj linię genealogiczną, aby ocenić wpływ wycofania lub zmiany usługi modelowej i powiadomić jej właścicieli.

Zobacz Lineage w Unity Catalog.

Dodatkowe zasoby

  • Last updated on