Mosaic AI Gateway

Importante

Questa funzionalità è disponibile in anteprima pubblica.

Questo articolo descrive Mosaic AI Gateway, la soluzione Databricks per la governance e il monitoraggio dell'accesso ai modelli di intelligenza artificiale generativi supportati e ai relativi endpoint di gestione dei modelli associati.

Che cos'è Mosaic AI Gateway?

Mosaic AI Gateway è progettato per semplificare l'utilizzo e la gestione dei modelli di intelligenza artificiale generativi all'interno di un'organizzazione. Si tratta di un servizio centralizzato che offre governance, monitoraggio e conformità di produzione ai modelli che servono gli endpoint. Consente anche di eseguire, proteggere e gestire il traffico di intelligenza artificiale per democratizzare e accelerare l'adozione dell'IA per l'organizzazione.

Tutti i dati vengono registrati in tabelle Delta in Unity Catalog.

Per iniziare a visualizzare informazioni dettagliate dai dati del gateway di intelligenza artificiale, scaricare il dashboard del gateway di intelligenza artificiale di esempio da GitHub. Questo dashboard sfrutta i dati delle tabelle di inferenza di rilevamento dell'utilizzo e registrazione del payload.

Dopo aver scaricato il file JSON, importare il dashboard nell'area di lavoro. Per istruzioni sull'importazione dei dashboard, vedere Importare un file del dashboard.

Il gateway di intelligenza artificiale supporta le funzionalità seguenti:

• Autorizzazione e limitazione della frequenza per controllare chi ha accesso e quanto accesso.
• Registrazione del payload per monitorare e controllare i dati inviati alle API del modello usando le tabelle di inferenza.
• Rilevamento dell'utilizzo per monitorare l'utilizzo operativo sugli endpoint e sui costi associati usando le tabelle di sistema.
• AI Guardrails per evitare dati indesiderati e dati non sicuri nelle richieste e nelle risposte.
• Routing del traffico per ridurre al minimo le interruzioni di produzione durante e dopo la distribuzione.

Mosaic AI Gateway comporta addebiti su base di funzionalità abilitate. Durante l'anteprima queste funzionalità a pagamento includono guardrail di intelligenza artificiale, registrazione del payload e rilevamento dell'utilizzo. Le funzionalità come le autorizzazioni per le query, la limitazione della frequenza e il routing del traffico sono gratuiti. Tutte le nuove funzionalità sono soggette a addebiti.

La tabella seguente riflette la frequenza di token delle unità databricks (DBU) per milione (M) per le funzionalità del gateway di intelligenza artificiale a pagamento. Gli addebiti sono elencati nello Serverless Real-time Inference SKU.

Funzionalità	Frequenza DBU
Guardrail di IA	21.429 UNITÀ di database per token M
Registrazione del payload	2.857 UNITÀ di database per token M
Monitoraggio dell'utilizzo	0.571 UNITÀ di database per token M

Guardrail di intelligenza artificiale

Le guardrail di intelligenza artificiale consentono agli utenti di configurare e applicare la conformità dei dati a livello di endpoint del modello e di ridurre il contenuto dannoso in tutte le richieste inviate al modello sottostante. Le richieste e le risposte non valide vengono bloccate e all'utente viene restituito un messaggio predefinito. Vedere come configurare le protezioni in un endpoint di gestione del modello.

Importante

I guardrail di intelligenza artificiale sono disponibili solo nelle aree che supportano le API del modello di base con pagamento in base al token.

La tabella seguente riepiloga le protezioni configurabili.

Protezione	Definizione
Filtro di sicurezza	Il filtro di sicurezza impedisce al modello di interagire con contenuti non sicuri e dannosi, ad esempio crimini violenti, autolesionismo e discorso di odio. Il filtro di sicurezza del gateway di intelligenza artificiale è compilato con Meta Llama 3. Databricks usa Llama Guard 2-8b come filtro di sicurezza. Per altre informazioni sul filtro di sicurezza llama Guard e sugli argomenti che si applicano al filtro di sicurezza, vedere la scheda del modello 2 8B di Meta Llama Guard. Meta Llama 3 è concesso in licenza con la licenza community LLAMA 3, Copyright © Meta Platforms, Inc. Tutti i diritti riservati. I clienti sono tenuti a garantire la conformità con i modelli di licenza applicabili.
Rilevamento delle informazioni personali	I clienti possono rilevare qualsiasi informazione sensibile, ad esempio nomi, indirizzi, numeri di carta di credito per gli utenti. Per questa funzionalità, gateway di intelligenza artificiale usa Presidio per rilevare le categorie di informazioni personali seguenti: numeri di carta di credito, indirizzi di posta elettronica, numeri di telefono, numeri di conto bancario e numeri di previdenza sociale. Il classificatore PII consente di identificare informazioni riservate o informazioni personali in dati strutturati e non strutturati. Tuttavia, poiché usa meccanismi di rilevamento automatizzato, non esiste alcuna garanzia che il servizio trovi tutte le informazioni riservate. Di conseguenza, dovrebbero essere impiegati sistemi e protezioni aggiuntivi. Questi metodi di classificazione hanno come ambito principalmente le categorie di informazioni personali degli Stati Uniti, ad esempio i numeri di telefono degli Stati Uniti e i numeri di previdenza sociale.
Moderazione degli argomenti	Possibilità di elencare un set di argomenti consentiti. Dato una richiesta di chat, questa protezione contrassegna la richiesta se il relativo argomento non è incluso negli argomenti consentiti.
Filtro delle parole chiave	I clienti possono specificare diversi set di parole chiave non valide sia per l'input che per l'output. Un potenziale caso d'uso per il filtro delle parole chiave è quindi il modello non parla dei concorrenti. Questa protezione usa parole chiave o corrispondenza di stringhe per decidere se la parola chiave esiste nel contenuto della richiesta o della risposta.

Usare il gateway di intelligenza artificiale

È possibile configurare le funzionalità del gateway di intelligenza artificiale nei modelli che servono gli endpoint usando l'interfaccia utente di gestione. Vedere Configurare AI Gateway negli endpoint che gestiscono i modelli.

Limiti

Di seguito sono riportate alcune limitazioni durante l'anteprima:

• Il gateway di intelligenza artificiale è supportato solo per i modelli che gestiscono endpoint che servono modelli esterni.
• Quando si usano protezioni, le dimensioni del batch della richiesta, ovvero le dimensioni del batch di incorporamento, le dimensioni batch dei completamenti o il n parametro delle richieste di chat, non possono superare 16.