Introduzione a Mosaic AI Gateway
Importante
Questa funzionalità è disponibile in anteprima pubblica.
Questo articolo descrive Mosaic AI Gateway, la soluzione Databricks per la governance e il monitoraggio dell'accesso ai modelli di intelligenza artificiale generativi supportati e ai relativi endpoint di gestione dei modelli associati.
Mosaic AI Gateway è progettato per semplificare l'utilizzo e la gestione dei modelli e degli agenti generativi di intelligenza artificiale all'interno di un'organizzazione. Si tratta di un servizio centralizzato che offre governance, monitoraggio e conformità di produzione ai modelli che servono gli endpoint. Consente anche di eseguire, proteggere e gestire il traffico di intelligenza artificiale per democratizzare e accelerare l'adozione dell'IA per l'organizzazione.
Tutti i dati vengono registrati in tabelle Delta in Unity Catalog.
Per iniziare a visualizzare informazioni dettagliate dai dati del gateway di intelligenza artificiale, scaricare il dashboard del gateway di intelligenza artificiale di esempio da GitHub. Questa dashboard sfrutta i dati delle tabelle di inferenza per il tracciamento dell'utilizzo e la registrazione dei payload.
Dopo aver scaricato il file JSON, importare il dashboard nell'area di lavoro. Per istruzioni sull'importazione dei dashboard, vedere Importare un file del dashboard.
La tabella seguente definisce le funzionalità del gateway di intelligenza artificiale disponibili e il modello che gestisce i tipi di endpoint li supporta.
| Funzionalità | Definizione | endpoint del modello esterno | API del modello Foundation con endpoint di throughput preconfigurato | gli agenti di Mosaic AI |
|---|---|---|---|---|
| Autorizzazione e limitazione della frequenza | Controllare chi ha accesso e quanti accessi. | Sostenuto | Sostenuto | Non confermato |
| Registrazione del payload | Monitorare e controllare i dati inviati alle API del modello usando tabelle di inferenza . | Sostenuto | Sostenuto | Sostenuto |
| Monitoraggio dell'utilizzo | Monitorare l'utilizzo operativo sugli endpoint e sui costi associati usando tabelle di sistema. | Sostenuto | Sostenuto | Non confermato |
| Guardrail di IA | Evitare dati indesiderati e dati non sicuri nelle richieste e nelle risposte. Vedere barriere di intelligenza artificiale. | Sostenuto | Sostenuto | Non confermato |
| Fallbacks | Ridurre al minimo le interruzioni di produzione durante e dopo la distribuzione. | Sostenuto | Non confermato | Non confermato |
| Suddivisione del traffico | Bilanciare il carico del traffico tra modelli. | Sostenuto | Sostenuto | Non confermato |
Mosaic AI Gateway comporta addebiti su base di funzionalità abilitate. Durante l'anteprima queste funzionalità a pagamento includono guardrail per l'intelligenza artificiale, registrazione del carico utile e monitoraggio dell'utilizzo. Le funzionalità come le autorizzazioni per le query, la limitazione della frequenza, i fallback e la suddivisione del traffico sono gratuite. Tutte le nuove funzionalità sono soggette a addebiti.
La tabella seguente riflette il tasso per milione (M) di token delle Unità Databricks (DBU) relative alle funzionalità del gateway di intelligenza artificiale a pagamento. Gli addebiti sono elencati nello Serverless Real-time Inference SKU.
| Funzionalità | Frequenza DBU |
|---|---|
| Guardrail di IA | 21.429 DBU per ognuno M token |
| Registrazione del payload | 2,857 unità DB per M token |
| Monitoraggio dell'utilizzo | 0.571 DBU per milione di token |
Le guardrail di intelligenza artificiale consentono agli utenti di configurare e applicare la conformità dei dati a livello di endpoint del modello e di ridurre il contenuto dannoso in tutte le richieste inviate al modello sottostante. Le richieste e le risposte non valide vengono bloccate e all'utente viene restituito un messaggio predefinito. Vedere come configurare le barriere di sicurezza in un endpoint di servizio modello.
Importante
Il servizio di moderazione AI Guardrails ha una dipendenza dai modelli di base delle API di modelli con pagamento per token. Questa dipendenza limita la disponibilità del servizio di moderazione di AI Guardrails alle regioni che supportano le API del modello di base con pagamento per token.
La tabella seguente riepiloga le protezioni configurabili. Vedere Limitazioni.
| Guardrail | Definizione |
|---|---|
| Filtro di sicurezza | Il filtro di sicurezza impedisce al modello di interagire con contenuti non sicuri e dannosi, ad esempio crimini violenti, autolesionismo e discorso di odio. Il filtro di sicurezza del gateway di intelligenza artificiale è compilato con Meta Llama 3. Databricks usa Llama Guard 2-8b come filtro di sicurezza. Per altre informazioni sul filtro di sicurezza llama Guard e sugli argomenti che si applicano al filtro di sicurezza, vedere la scheda del modello 2 8B di Meta Llama Guard. Meta Llama 3 è concesso in licenza con la licenza community LLAMA 3, Copyright © Meta Platforms, Inc. Tutti i diritti riservati. I clienti sono tenuti a garantire la conformità con i modelli di licenza applicabili. |
| Rilevamento delle informazioni personali identificabili | I clienti possono rilevare qualsiasi informazione sensibile, ad esempio nomi, indirizzi, numeri di carta di credito per gli utenti. Per questa funzionalità, AI Gateway usa Presidio per rilevare le seguenti categorie statunitensi di PII: numeri di carta di credito, indirizzi di posta elettronica, numeri di telefono, numeri di conto bancario e numeri di previdenza sociale. Il classificatore PII consente di identificare informazioni riservate o informazioni personali in dati strutturati e non strutturati. Tuttavia, poiché usa meccanismi di rilevamento automatizzato, non esiste alcuna garanzia che il servizio trovi tutte le informazioni riservate. Di conseguenza, dovrebbero essere impiegati sistemi e protezioni aggiuntivi. Questi metodi di classificazione hanno come ambito principalmente le categorie di informazioni personali degli Stati Uniti, ad esempio i numeri di telefono degli Stati Uniti e i numeri di previdenza sociale. |
| Moderazione degli argomenti | Possibilità di elencare un set di argomenti consentiti. Data una richiesta di chat, questa misura di sicurezza segnala la richiesta se l'argomento non rientra tra quelli consentiti. |
| Filtro delle parole chiave | I clienti possono specificare diversi set di parole chiave non valide sia per l'input che per l'output. Un potenziale caso d'uso del filtro delle parole chiave è evitare che il modello parli dei concorrenti. Questa protezione usa parole chiave o corrispondenza di stringhe per decidere se la parola chiave esiste nel contenuto della richiesta o della risposta. |
È possibile configurare le funzionalità del gateway di intelligenza artificiale nei modelli che servono gli endpoint usando l'interfaccia utente di gestione. Vedere Configurare AI Gateway negli endpoint che gestiscono i modelli.
Di seguito sono riportate alcune limitazioni durante l'anteprima:
- Il gateway di intelligenza artificiale è supportato solo per:
- Le API del modello di base con throughput fornito per la gestione degli endpoint del modello.
- Modellare gli endpoint che servono modelli esterni.
- Modellare gli endpoint che servono agenti di Intelligenza artificiale Mosaic.
- Quando si usano protezioni di intelligenza artificiale, le dimensioni del batch delle richieste, ovvero le dimensioni del batch di incorporamento, le dimensioni del batch di completamento o il parametro
ndelle richieste di chat, non possono superare 16. - Per i carichi di lavoro con throughput configurato, sono supportati solo la limitazione della frequenza e la registrazione del payload utilizzando le tabelle di inferenza abilitate da AI Gateway.
- Vedi limitazioni delle tavole di inferenza abilitate dal gateway AI.
- Se usi la funzione che chiama e specifici protezioni di intelligenza artificiale, queste protezioni non vengono applicate alle richieste e risposte intermedie della funzione. Tuttavia, le protezioni vengono applicate alla risposta finale dell'output.