Zelfstudie: De modeltoegang van een coderingsagent beheren met Unity AI Gateway

In deze zelfstudie verbindt u een externe coderingsagent, zoals Codex, Gemini CLI of Cursor, met grote taalmodellen (LLM's) die worden beheerd door Unity AI Gateway. Vervolgens bepaalt u wie toegang heeft tot deze modellen en hoeveel de agent kan verbruiken en uitgeven. In plaats van elke ontwikkelaar die een API-sleutel van een provider in het hulpprogramma plakt, wordt elke aanvraag gerouteerd via een Unity AI Gateway-modelservice. Unity Catalog bepaalt wie welke modellen kunnen gebruiken en Unity AI Gateway dwingt limieten af en registreert gebruik en kosten.

Aan het einde van deze zelfstudie hebt u het volgende:

  • Een coderingsagent die elke modelaanvraag verzendt via Unity AI Gateway met behulp van uw Azure Databricks-referenties, zonder api-sleutel van de provider op de computer van de ontwikkelaar.
  • Centrale records van het gebruik en de kosten van de agent, afhankelijk van de frequentielimieten en machtigingen die u hebt ingesteld voor de modelservice.

Prerequisites

Stap 1: Uw coderingsagent verbinden

U kunt de agent op twee manieren verbinden:

  • ucode (aanbevolen): een opensource-startprogramma (Unity AI Gateway Coding CLI) dat OAuth verwerkt en het configuratiebestand van elke agent schrijft, inclusief de basis-URL en het model van de modelservice. U beheert api-sleutels of eindpunten niet handmatig.
  • Handmatige configuratie: stel de basis-URL van de modelservice en het model zelf in de ingebouwde instellingen van het hulpprogramma in (Cursor, Codex of Gemini CLI). Zie Integreren met coderingsagents.

In deze sectie wordt gebruikgemaakt van ucode. Installeer deze en voer vervolgens de gewenste agent uit:

uv tool install git+https://github.com/databricks/ucode

Codex

ucode codex

Als u wilt uitvoeren in de niet-interactieve modus, geeft u de eigen vlag van de agent door via ucode:

ucode codex --full-auto

Gemini CLI

ucode gemini

OpenCode

ucode opencode

Copilot

ucode copilot

Wanneer u ucode voor het eerst start, vraagt het om de URL van uw werkruimte en authenticeert het u; daarna gaat het rechtstreeks naar de agent.

Stap 2: De modeltoegang van de agent beheren

U kunt een modelservice beheren zoals elke andere unity-catalogus die kan worden beveiligd: verlenen EXECUTE om te bepalen wie deze kan gebruiken en Unity AI Gateway te gebruiken om het aanvraagvolume en de uitgaven te caperen. Stel een van de volgende opties in:

  • Beheer wie toegang heeft tot het model: Open in Catalog Explorer de modelservice en verleen EXECUTE aan gebruikers of groepen op het tabblad Machtigingen.
  • Limiet voor aanvraagvolume instellen: klik in Catalog Explorer op het tabblad Overzicht van de modelservice en klik vervolgens onder Aanvraaglimieten op Instellen. Stel een frequentielimiet voor aanvragen per minuut (QPM) of tokens per minuut (TPM) in voor alle aanvragen op het eindpunt of per gebruiker.
  • Een uitgavenbudget instellen: een accountbeheerder kan een budget maken dat is afgestemd op alle Unity AI Gateway-eindpunten. Het budget bundelt de uitgaven van al uw modelservices; stel een waarschuwingsdrempel in zodat u een melding ontvangt of het gebruik wordt geblokkeerd voordat de kosten de drempel overschrijden.

Stap 3: controleren of verkeer wordt beheerd

Controleer of de aanvragen van de agent worden gerouteerd via Unity AI Gateway en worden vastgelegd:

  • Vanaf de agent: een prompt verzenden. De agent reageert met behulp van het model dat u hebt geconfigureerd, zonder api-sleutel van de provider op uw computer.

  • Vanuit de tabel van het gebruikssysteem: gebruiksregistratie raadplegen om te bevestigen dat uw modelservice de verzoeken registreert:

    SELECT service_name, requester, status_code, COUNT(*) AS calls
FROM system.ai_gateway.usage
WHERE service_type = 'MODEL_SERVICE'
GROUP BY service_name, requester, status_code
ORDER BY calls DESC;

Om uitgaven in meer detail te analyseren, zie Uitgaven voor Unity AI Gateway analyseren.

Volgende stappen 

  • Last updated on