Osservabilità del Gateway AI di Unity

L'osservabilità del Gateway AI Unity ti permette di monitorare costi, utilizzo, prestazioni e accesso per ogni servizio AI da un unico piano di controllo, supportato da tabelle di sistema Unity Catalog. Man mano che i team adottano coding agent, copiloti e custom agent in tutta l'organizzazione, diventa sempre più difficile capire chi accede a quali modelli o strumenti, quanto costano e se gli endpoint sono sani. Poiché ogni richiesta passa attraverso Unity AI Gateway, puoi rispondere a queste domande in un unico posto.

Note

L'accesso a queste tabelle di sistema richiede di default sia ruoli di amministratore account che metastore. Gli amministratori possono gestire l'accesso alle tabelle di sistema o pubblicare il dashboard di utilizzo AI Gateway per condividere l'analisi d'uso senza concedere l'accesso alle tabelle.

Requisiti

Monitorare i costi

Dall'interfaccia dello spazio di lavoro, vai a AI Gateway > Govern > Usage > Dashboard Cost Analysis per tracciare la spesa in dollari per endpoint, modello di fondazione fornito da Azure Databricks o utente nel tempo. Il dashboard integrato attinge alle tabelle di utilizzo e fatturazione:

Note

La spesa per modelli esterni viene calcolata dai prezzi pubblicati da ciascun fornitore ed è solo informativa. Vedere Modelli esterni.

Per attribuire la spesa secondo dimensioni personalizzate, usa tag di richiesta o servizio per raggruppare i costi per unità di business, progetto o qualsiasi dimensione che la tua organizzazione tenga (vedi Traccia della spesa del modello di base per utente, team o progetto).

Vedi Analizza il costo del Unity AI Gateway.

Utilizzo e prestazioni del monitor

Il dashboard di utilizzo dell'Unity AI Gateway (AI Gateway > Govern > Usage Dashboard) monitora il volume delle richieste, il consumo di token e la latenza per tutti gli endpoint gestiti dal gateway. Ogni Model o Servizio MCP dispone anche di una scheda Metrics integrata per il monitoraggio della salute senza uscire dall'interfaccia di Catalog Explorer. Per un'analisi più approfondita, consulta la system.ai_gateway.usage tabella per analizzare metriche d'uso come il conteggio dei token, la latenza, i tag requester e request per ogni richiesta instradata attraverso il gateway ( vedi lo schema della tabella d'uso).

Note

Gli endpoint di Unity AI Gateway registrano i log in system.ai_gateway.usage, mentre gli endpoint di serving dei modelli (legacy) registrano i log in system.serving.endpoint_usage.

Usi comuni:

  • Monitora e ottimizza tutti i tuoi servizi di IA da un unico posto, all'interno del tuo stack di IA
  • Monitorare l'adozione degli agenti di codifica e la popolarità dei modelli tra i team
  • Identifica gli utenti, i servizi e i modelli più attivi per individuare le opportunità di ottimizzazione

Vedi Traccia dell'utilizzo del modello.

Ispezionare richieste e risposte

Abilita le tabelle di inferenza su un servizio modello per registrare i payload di richieste e risposte su una tabella Unity Catalog. Utilizzare le tabelle di inferenza per:

  • Risolvere i problemi relativi a risposte con esito negativo o inattese
  • Verifica che le barriere di protezione funzionino, ad esempio l'oscuramento delle informazioni di identificazione personale (PII)
  • Verifica dell'esposizione dei dati sensibili

Vedi Richieste di log e risposte alle tabelle di inferenza.

Accesso al controllo

Interroga la system.access.audit tabella per dimostrare chi ha avuto accesso a quale servizio AI e quando. Per distinguere un chiamante umano da un agente che agisce per suo conto, utilizza i campi run_by e run_as in identity_metadata.

Usi comuni:

  • Creare un sentiero di accesso per la conformità e la segnalazione normativa
  • Distinguere un chiamante umano da un agente che agisce per loro conto
  • Mantieni una traccia di audit centrale tra gli agenti di codifica utilizzati dai tuoi team

Consultare la tabella di sistema del registro di controllo .

Tenere traccia delle dipendenze

Lineage traccia le dipendenze tra modelli di fondazione e Servizi Modello, così come i loro consumatori a valle. Usa Lineage per definire l'impatto della deprecazione o della modifica di un Servizio Modello e notifica i suoi proprietari.

Vedi la derivazione dei dati in Unity Catalog.

Risorse aggiuntive

  • Last updated on