Samouczek: zarządzanie dostępem do modelu agenta kodowania za pomocą usługi Unity AI Gateway

W tym samouczku połączysz zewnętrznego agenta kodowania, takiego jak Codex, Interfejs wiersza polecenia Gemini lub Kursor, z dużymi modelami językowymi (LLMs) zarządzanymi przez usługę Unity AI Gateway. Następnie możesz kontrolować, kto może mieć dostęp do tych modeli oraz ile zasobów agent może zużyć i ile może wydać. Zamiast wklejać przez każdego dewelopera klucz API dostawcy do swojego narzędzia, każde żądanie jest kierowane przez usługę model service bramy Unity AI Gateway. Unity Catalog kontroluje, kto może używać których modeli, a Unity AI Gateway egzekwuje limity oraz rejestruje użycie i koszty.

Po ukończeniu tego samouczka będziesz mieć następujące elementy:

  • Agent programistyczny, który wysyła każde żądanie do modelu przez Unity AI Gateway, korzystając z poświadczeń Azure Databricks, bez klucza API dostawcy na komputerze dewelopera.
  • Centralne rejestry korzystania z agenta i związanych z tym kosztów, zgodnie z limitami szybkości żądań i uprawnieniami ustawionymi w usłudze modelu.

Prerequisites

Krok 1. Łączenie agenta kodowania

Agenta można połączyć w jeden z dwóch sposobów:

  • ucode (zalecane): Program uruchamiający open source (Unity AI Gateway Coding CLI), który obsługuje OAuth i zapisuje plik konfiguracyjny każdego agenta, w tym podstawowy adres URL usługi modelu oraz model. Nie zarządzasz ręcznie kluczami API ani punktami końcowymi.
  • Konfiguracja ręczna: Ustaw samodzielnie bazowy adres URL usługi modelu oraz model w wbudowanych ustawieniach narzędzia (Cursor, Codex lub Gemini CLI). Zobacz Integracja z agentami kodowania.

W tej sekcji jest używana funkcja ucode. Zainstaluj go, a następnie uruchom żądanego agenta:

uv tool install git+https://github.com/databricks/ucode

Kodeks

ucode codex

Aby uruchomić w trybie nieinterakcyjnym, przekaż własną flagę agenta za pomocą polecenia ucode:

ucode codex --full-auto

Gemini CLI

ucode gemini

OpenCode

ucode opencode

Copilot

ucode copilot

Przy pierwszym uruchomieniu ucode poprosi o podanie adresu URL obszaru roboczego i przeprowadzi uwierzytelnienie; przy kolejnych uruchomieniach od razu przejdzie do agenta.

Krok 2. Zarządzaj dostępem agenta do modelu

Usługą modelu można zarządzać jak każdym innym zabezpieczanym obiektem w katalogu Unity: przyznawać uprawnienia EXECUTE, aby kontrolować, kto może z niej korzystać, oraz używać bramy Unity AI Gateway do ograniczania liczby żądań i wydatków. Skonfiguruj dowolną z następujących opcji:

  • Zarządzanie osobami, które mogą uzyskać dostęp do modelu: w Eksploratorze wykazu otwórz usługę modelu i przyznaj EXECUTE użytkownikom lub grupom na karcie Uprawnienia .
  • Ogranicz liczbę żądań: W Eksploratorze katalogu na karcie Przegląd usługi modelu kliknij pozycję Skonfiguruj w sekcji Limity szybkości. Ustaw limit liczby żądań na minutę (QPM) lub limit liczby tokenów na minutę (TPM) dla wszystkich żądań dla punktu końcowego lub dla poszczególnych użytkowników.
  • Ustaw limit wydatków: Administrator konta może utworzyć budżet obejmujący wszystkie punkty końcowe Unity AI Gateway. Budżet obejmuje łączne wydatki na usługi modeli; ustaw próg alertu, aby otrzymywać powiadomienia lub blokować korzystanie, zanim koszty przekroczą ten próg.

Krok 3. Sprawdzanie, czy ruch jest zarządzany

Potwierdź, że żądania agenta są kierowane przez Unity AI Gateway i są rejestrowane:

  • Z poziomu agenta: Wyślij monit. Agent odpowiada, używając skonfigurowanego przez Ciebie modelu, bez klucza API dostawcy na Twoim komputerze.

  • Z tabeli systemu użycia: Wykonywanie zapytań dotyczących śledzenia użycia w celu potwierdzenia, że usługa modelu rejestruje żądania:

    SELECT service_name, requester, status_code, COUNT(*) AS calls
FROM system.ai_gateway.usage
WHERE service_type = 'MODEL_SERVICE'
GROUP BY service_name, requester, status_code
ORDER BY calls DESC;

Aby szczegółowo przeanalizować wydatki, zobacz Analizuj koszt Unity AI Gateway.

Następne kroki

  • Last updated on