Gateway di intelligenza artificiale

AI Gateway è la soluzione di Databricks per gestire e monitorare gli endpoint LLM, gli agenti di codifica e gli endpoint di distribuzione dei modelli. Usare il gateway di intelligenza artificiale per analizzare l'utilizzo, configurare le autorizzazioni e gestire la capacità tra i provider.

Gateway di intelligenza artificiale (beta)

La nuova esperienza del gateway di intelligenza artificiale è disponibile nella versione beta. Il gateway di intelligenza artificiale (Beta) è il piano di controllo aziendale per la governance degli endpoint LLM e degli agenti di codifica con funzionalità avanzate, tra cui un'interfaccia utente avanzata, una migliore osservabilità e una copertura api estesa.

Argomento	Descrzione
Gateway di intelligenza artificiale (beta)	Informazioni su Gateway di intelligenza artificiale (beta), sulle funzionalità supportate e su come iniziare.
Configurare gli endpoint del gateway di intelligenza artificiale	Creare e configurare gli endpoint del gateway AI per i tuoi LLM e agenti di programmazione.
Eseguire query sugli endpoint del gateway di intelligenza artificiale	Eseguire query sugli endpoint del gateway di intelligenza artificiale usando il client OpenAI e altre API supportate.
Monitorare l'utilizzo per gli endpoint del gateway di intelligenza artificiale	Monitorare l'utilizzo e i costi per gli endpoint del gateway di intelligenza artificiale usando le tabelle di sistema.
Monitorare i modelli usando le tabelle di inferenza	Monitorare e controllare le richieste e le risposte nelle tabelle Delta del catalogo Unity.
Integrazione con agenti di codifica	Integrare agenti di codifica come Cursor, Gemini CLI, Codex CLI e Claude Code con il gateway di intelligenza artificiale.

Annotazioni

Le funzionalità del gateway di intelligenza artificiale non comportano addebiti durante la versione beta.

Gestione degli endpoint

Le funzionalità del gateway di intelligenza artificiale sono disponibili anche per i modelli che servono gli endpoint, inclusi gli endpoint del modello esterno, gli endpoint dell'API del modello foundation e gli endpoint del modello personalizzati.

Argomento	Descrzione
Gateway di intelligenza artificiale per la gestione degli endpoint	Informazioni sulle funzionalità del gateway di intelligenza artificiale per la gestione degli endpoint, incluse le funzionalità e le limitazioni supportate.
Configurare AI Gateway sugli endpoint di erogazione dei modelli	Configurare le funzionalità del gateway di intelligenza artificiale, ad esempio il rilevamento dell'utilizzo, la registrazione del payload, i limiti di frequenza e le protezioni in un endpoint di gestione del modello.
Monitora i modelli serviti utilizzando le tabelle di inferenza abilitate dal Gateway AI	Monitorare i modelli erogati usando le tabelle di inferenza abilitate tramite AI Gateway.