Condividi tramite

Introduzione a Mosaic AI Gateway

Questo articolo descrive Mosaic AI Gateway, la soluzione Databricks per la governance e il monitoraggio dell'accesso ai modelli di intelligenza artificiale generativi supportati e ai relativi endpoint di gestione dei modelli associati.

Che cos'è Mosaic AI Gateway?

Mosaic AI Gateway è progettato per semplificare l'utilizzo e la gestione dei modelli e degli agenti generativi di intelligenza artificiale all'interno di un'organizzazione. Si tratta di un servizio centralizzato che offre governance, monitoraggio e conformità di produzione ai modelli che servono gli endpoint. Consente anche di eseguire, proteggere e gestire il traffico di intelligenza artificiale per democratizzare e accelerare l'adozione dell'IA per l'organizzazione.

Tutti i dati vengono registrati in tabelle Delta in Unity Catalog.

Per iniziare a visualizzare informazioni dettagliate dai dati del gateway di intelligenza artificiale, scaricare il dashboard del gateway di intelligenza artificiale di esempio da GitHub. Questa dashboard sfrutta i dati delle tabelle di inferenza per il tracciamento dell'utilizzo e la registrazione dei payload.

Dopo aver scaricato il file JSON, importare il dashboard nell'area di lavoro. Per istruzioni sull'importazione dei dashboard, vedere Importare un file del dashboard.

funzionalità supportate

La tabella seguente definisce le funzionalità del gateway di intelligenza artificiale disponibili e il modello che gestisce i tipi di endpoint li supporta.

Funzionalità Definizione Endpoint del modello esterno API del modello di base di cui è stato effettuato il provisioning dell'endpoint di velocità effettiva API del modello di base per l'endpoint con pagamento in base al token Agenti Mosaic AI Endpoint del modello personalizzato
Autorizzazione e limitazione della frequenza Controllare chi ha accesso e quanti accessi. Sostenuto Sostenuto Sostenuto Non supportato Sostenuto
Registrazione del carico utile Monitorare e controllare i dati inviati alle API del modello usando tabelle di inferenza . Sostenuto Sostenuto Sostenuto Sostenuto Sostenuto
Monitoraggio dell'utilizzo Monitorare l'utilizzo operativo sugli endpoint e sui costi associati usando le tabelle di sistema. Sostenuto Sostenuto Sostenuto Non supportato Sostenuto
Guardrail di IA Evitare dati indesiderati e non sicuri nelle richieste e nelle risposte. Vedere AI Guardrails. Sostenuto Sostenuto Sostenuto Non supportato Non supportato
Soluzioni di riserva Ridurre al minimo le interruzioni di produzione durante e dopo la distribuzione. Sostenuto Non supportato Non supportato Non supportato Non supportato
Suddivisione del traffico Distribuire il carico del traffico attraverso i modelli. Sostenuto Sostenuto Non supportato Non supportato Sostenuto

Mosaic AI Gateway comporta addebiti su base di funzionalità abilitate. Le funzionalità a pagamento includono la registrazione del payload e il rilevamento dell'utilizzo. Le funzionalità come le autorizzazioni per le query, la limitazione della frequenza, i fallback e la suddivisione del traffico sono gratuite. Tutte le nuove funzionalità sono soggette a addebiti.

Guardrail di intelligenza artificiale

Importante

Questa funzionalità è disponibile in anteprima pubblica.

Le guardrail di intelligenza artificiale consentono agli utenti di configurare e applicare la conformità dei dati a livello di endpoint del modello e di ridurre il contenuto dannoso in tutte le richieste inviate al modello sottostante. Le richieste e le risposte non valide vengono bloccate e all'utente viene restituito un messaggio predefinito. Vedere come configurare le protezioni in un endpoint di gestione del modello.

Importante

Il servizio di moderazione AI Guardrails ha una dipendenza dalle API di modelli fondamentali con pagamento per token. Questa dipendenza limita la disponibilità del servizio di moderazione di AI Guardrails alle aree che supportano le API del modello foundation con pagamento in base al token.

La tabella seguente riepiloga le protezioni configurabili. Vedere Limitazioni.

Annotazioni

Dopo il 30 maggio 2025, la moderazione dell'argomento e il filtro delle parole chiave dei guardrail di intelligenza artificiale non sono più supportati. Se queste funzionalità sono necessarie per i vostri flussi di lavoro, contattare il team account Databricks per partecipare all'anteprima privata delle protezioni personalizzate.

Barriera di sicurezza Definizione
Filtro di sicurezza Il filtro di sicurezza impedisce al modello di interagire con contenuti non sicuri e dannosi, ad esempio crimini violenti, autolesionismo e discorso di odio.
Il filtro di sicurezza del gateway di intelligenza artificiale è compilato con Meta Llama 3. Databricks usa Llama Guard 2-8b come filtro di sicurezza. Per altre informazioni sul filtro di sicurezza llama Guard e sugli argomenti che si applicano al filtro di sicurezza, vedere la scheda del modello 2 8B di Meta Llama Guard.
Meta Llama 3 è concesso in licenza con la licenza community LLAMA 3, Copyright © Meta Platforms, Inc. Tutti i diritti riservati. I clienti sono tenuti a garantire la conformità con i modelli di licenza applicabili.
Rilevamento delle informazioni personali identificabili I clienti possono rilevare qualsiasi informazione sensibile, ad esempio nomi, indirizzi, numeri di carta di credito per gli utenti.
Per questa funzionalità, l'AI Gateway usa Presidio per rilevare le seguenti categorie statunitensi di informazioni personali: numeri di carta di credito, indirizzi di posta elettronica, numeri di telefono, numeri di conto bancario e numeri di previdenza sociale.
Il classificatore PII consente di identificare informazioni riservate o informazioni personali in dati strutturati e non strutturati. Tuttavia, poiché usa meccanismi di rilevamento automatizzato, non esiste alcuna garanzia che il servizio trovi tutte le informazioni riservate. Di conseguenza, dovrebbero essere impiegati sistemi e protezioni aggiuntivi.
Questi metodi di classificazione hanno come ambito principalmente le categorie di informazioni personali degli Stati Uniti, ad esempio i numeri di telefono degli Stati Uniti e i numeri di previdenza sociale.

Usare il gateway di intelligenza artificiale

È possibile configurare le funzionalità del gateway di intelligenza artificiale nei modelli che servono gli endpoint usando l'interfaccia utente di gestione. Vedere Configurare il gateway di intelligenza artificiale nei modelli che servono gli endpoint.

Limitazioni

Di seguito sono riportate le limitazioni per gli endpoint abilitati per il gateway di intelligenza artificiale:

  • Quando si usano protezioni di intelligenza artificiale, le dimensioni del batch delle richieste, ovvero le dimensioni del batch di incorporamento, le dimensioni del batch di completamento o il parametro n delle richieste di chat, non possono superare 16.
  • Per i carichi di lavoro con throughput configurato, sono supportati solo la limitazione della frequenza e la registrazione del payload utilizzando le tabelle di inferenza abilitate da AI Gateway.
  • Se si usano chiamate di funzione e si specificano protezioni di intelligenza artificiale, tali protezioni non vengono applicate alle richieste e alle risposte intermedie della funzione. Tuttavia, le protezioni vengono applicate alla risposta finale dell'output.
  • I carichi di lavoro da testo a immagine non sono supportati.
  • È supportato solo il monitoraggio dell'uso per i carichi di lavoro di inferenza batch su endpoint a pagamento per token, con funzionalità del gateway di intelligenza artificiale abilitate. Nella tabella di sistema endpoint_usage sono visibili solo le righe corrispondenti alla richiesta di inferenza batch.
  • I guardrail e i fallback di intelligenza artificiale non sono supportati nei modelli personalizzati che servono gli endpoint.
  • Per gli endpoint di servizio dei modelli personalizzati, solo i carichi di lavoro che non sono ottimizzati per le route supportano la limitazione della frequenza e il rilevamento dell'utilizzo.
  • Le tabelle di inferenza per i modelli ottimizzati per la route che servono gli endpoint sono disponibili in anteprima pubblica.