Concetti di AI Gateway

SI APPLICA A: AI Gateway (anteprima)

Important

AI Gateway è attualmente in anteprima pubblica. Durante l'anteprima pubblica, AI Gateway è disponibile nelle seguenti regioni:

  • Stati Uniti - Stati Uniti orientali 2
  • Europa - Svezia Centrale

AI Gateway centralizza l'accesso a modelli e strumenti di IA. Applicazioni e agenti utilizzano endpoint gateway mentre i team della piattaforma gestiscono le connessioni backend, gli accessi, le policy e l'osservabilità.

Questo articolo spiega il concetto chiave su cui si basa.

Gateway e endpoint runtime

Un gateway è una risorsa Azure di tipo Microsoft.ApiManagement/aigateways. Contiene le connessioni e i controlli utilizzati dalle tue applicazioni.

L'interfaccia di gestione configura il gateway. Gli endpoint runtime ricevono richieste dell'applicazione per l'inferenza del modello o l'accesso agli strumenti MCP. Questi sono percorsi di accesso diversi: il permesso di configurare un gateway non concede automaticamente il permesso di chiamare i suoi modelli o strumenti.

Fornitori di modelli, modelli registrati e alias

Le connessioni del modello separano il servizio backend dal nome usato dall'applicazione.

Element Purpose
Fornitore di modelli Memorizza l'endpoint e la configurazione di autenticazione per Microsoft Foundry o un servizio di modelli personalizzato compatibile.
Modello registrato Identifica una distribuzione o modello backend esistente e gli endpoint che supporta. La registrazione non distribuisce un nuovo modello.
Alias del modello Fornisce un nome di chiamata stabile che le applicazioni utilizzano mentre il team della piattaforma gestisce la mappatura del modello backend.

Ad esempio, un'applicazione può usare un alias per un modello di chat senza memorizzare le credenziali del fornitore. Cambiare il backend richiede comunque di verificare che il sostituto supporti l'API e il comportamento dell'applicazione.

Server e strumenti MCP federati

Un server MCP federato combina strumenti provenienti dai servizi backend dietro un unico endpoint MCP. Un backend può essere un server MCP remoto, un'API descritta da OpenAPI o un connettore integrato.

Uno strumento descrive un'operazione e i suoi input attesi. Un agente scopre gli strumenti disponibili e invoca operazioni selezionate tramite il gateway. Le chiamate degli strumenti possono modificare i dati backend, quindi la disponibilità degli strumenti e i controlli di accesso influenzano ciò che i chiamanti possono fare.

L'autenticazione backend è separata dall'accesso del chiamante. Con una connessione backend condivisa, i chiamanti autorizzati utilizzano i permessi di quella connessione.

Accesso e identità

Tre relazioni determinano chi può configurare il gateway e utilizzare i suoi backend:

Relationship Purpose
Amministratore del gateway I permessi di gestione Azure permettono a un operatore di configurare il gateway e le sue risorse.
Chiamante verso il gateway L'accesso runtime Microsoft Entra o una chiave API runtime gateway autorizza applicazioni e agenti. Le chiavi API di runtime garantiscono l'accesso all'intero gateway.
Gateway al backend Un'identità gestita o una credenziale backend autorizza il gateway presso il servizio upstream. L'identità ha bisogno di accedere a quel servizio.

La configurazione di una relazione non concede le autorizzazioni dell'altra. Tieni separate le credenziali di esecuzione del gateway da quelle del provider e dalle credenziali di distribuzione.

Governance, networking e osservabilità

Le policy applicano controlli condivisi al traffico di modelli e strumenti, come i limiti di consumo e la protezione degli strumenti. I controlli della spesa stimata del modello aiutano a gestire l'utilizzo; la fatturazione dei provider rimane l'origine per le tariffe effettive.

Il networking determina come il gateway raggiunge i servizi backend. I requisiti di rete appartengono al design del gateway, soprattutto quando i backend utilizzano connettività privata.

La telemetria fornisce visibilità sull'utilizzo e sul comportamento delle richieste. Configura una destinazione di telemetria prima di affidarti ai dati raccolti per valutare il traffico gateway.

La documentazione in prodotto contiene le linee guida di configurazione per modelli, server MCP, accessi, policy, rete e osservabilità.