Gateway di intelligenza artificiale Unity per la gestione degli endpoint

Importante

Una nuova esperienza di Unity AI Gateway è disponibile nella versione beta. Il nuovo Gateway Unity AI è il piano di controllo aziendale per la gestione degli endpoint LLM e degli agenti di codifica con funzionalità avanzate. Consulta Gateway di intelligenza artificiale Unity per agenti e LLMs.

Questa pagina descrive Unity AI Gateway per la gestione degli endpoint, che regola e monitora l'accesso ai modelli di intelligenza artificiale generativi supportati e agli endpoint di gestione dei modelli associati.

Che cos'è Unity AI Gateway per la gestione degli endpoint?

Unity AI Gateway è progettato per semplificare l'utilizzo e la gestione di modelli e agenti di intelligenza artificiale generativi all'interno di un'organizzazione. Si tratta di un servizio centralizzato che offre governance, monitoraggio e conformità di produzione ai modelli che servono gli endpoint. Consente anche di eseguire, proteggere e gestire il traffico di intelligenza artificiale per democratizzare e accelerare l'adozione dell'IA per l'organizzazione.

Tutti i dati vengono registrati in tabelle Delta in Unity Catalog.

Per iniziare a visualizzare approfondimenti dai dati di Unity AI Gateway, scarica il dashboard di esempio Unity AI Gateway da GitHub. Questa dashboard sfrutta i dati delle tabelle di inferenza per il tracciamento dell'utilizzo e la registrazione dei payload.

Dopo aver scaricato il file JSON, importare il dashboard nell'area di lavoro. Per istruzioni sull'importazione dei dashboard, vedere Importare un file del dashboard.

Funzionalità supportate

Importante

Il nuovo gateway di intelligenza artificiale di Unity offre un'interfaccia utente avanzata, una migliore osservabilità e una copertura API estesa per le macchine virtuali, inclusi i modelli esterni e le API del modello di base con pagamento in base al token. È consigliabile usare Unity AI Gateway per sbloccare queste nuove funzionalità.

La tabella seguente definisce le funzionalità del gateway di intelligenza artificiale di Unity disponibili e il modello che gestisce i tipi di endpoint li supporta.

Caratteristica / Funzionalità	Definizione	Endpoint del modello esterno	API del modello di base per l'endpoint con pagamento in base al token	API del modello di base di cui è stato effettuato il provisioning dell'endpoint di velocità effettiva	Agenti Mosaic AI	Endpoint del modello personalizzato
Disponibile in Unity AI Gateway	Usare le funzionalità avanzate del gateway di intelligenza artificiale di Unity. Consulta Gateway di intelligenza artificiale Unity per agenti e LLMs.	Sostenuto	Sostenuto	Non supportato	Non supportato	Non supportato
Autorizzazione e limitazione della frequenza	Controllare chi ha accesso e quanti accessi.	Sostenuto	Sostenuto	Sostenuto	Non supportato	Sostenuto
Registrazione del payload	Monitorare e controllare i dati inviati alle API del modello usando tabelle di inferenza .	Sostenuto	Sostenuto	Sostenuto	Sostenuto	Sostenuto
Monitoraggio dell'utilizzo	Monitorare l'utilizzo operativo sugli endpoint e sui costi associati usando le tabelle di sistema.	Sostenuto	Sostenuto	Sostenuto	Non supportato	Sostenuto
Parapetti di IA	Evitare dati indesiderati e non sicuri nelle richieste e nelle risposte. Vedere AI Guardrails.	Sostenuto	Sostenuto	Sostenuto	Non supportato	Non supportato
Fallbacks	Ridurre al minimo le interruzioni di produzione durante e dopo la distribuzione.	Sostenuto	Non supportato	Non supportato	Non supportato	Non supportato
Suddivisione del traffico	Distribuire il carico del traffico attraverso i modelli.	Sostenuto	Non supportato	Sostenuto	Non supportato	Sostenuto

Unity AI Gateway comporta addebiti per una funzionalità abilitata. Le funzionalità a pagamento includono la registrazione del payload e il rilevamento dell'utilizzo. Le funzionalità come le autorizzazioni per le query, la limitazione della frequenza, i fallback e la suddivisione del traffico sono gratuite. Tutte le nuove funzionalità sono soggette a addebiti.

Guardrail di intelligenza artificiale

Importante

Questa funzionalità è in Anteprima Pubblica.

Le guardrail di intelligenza artificiale consentono agli utenti di configurare e applicare la conformità dei dati a livello di endpoint del modello e di ridurre il contenuto dannoso in tutte le richieste inviate al modello sottostante. Le richieste e le risposte non valide vengono bloccate e all'utente viene restituito un messaggio predefinito. Vedere come configurare le protezioni in un endpoint di gestione del modello.

Importante

Il servizio di moderazione AI Guardrails ha una dipendenza dalle API di modelli fondamentali con pagamento per token. Questa dipendenza limita la disponibilità del servizio di moderazione di AI Guardrails alle aree che supportano le API del modello foundation con pagamento in base al token.

La tabella seguente riepiloga le protezioni configurabili. Vedere Limitazioni.

Guardrail	Definizione
Filtro di sicurezza	Il filtro di sicurezza impedisce al modello di interagire con contenuti non sicuri e dannosi, ad esempio crimini violenti, autolesionismo e discorso di odio. Il filtro di sicurezza di Unity AI Gateway è realizzato con Meta Llama 3. Databricks usa Llama Guard 2-8b come filtro di sicurezza. Per altre informazioni sul filtro di sicurezza llama Guard e sugli argomenti che si applicano al filtro di sicurezza, vedere la scheda del modello 2 8B di Meta Llama Guard. Meta Llama 3 è concesso in licenza con la licenza community LLAMA 3, Copyright © Meta Platforms, Inc. Tutti i diritti riservati. I clienti sono tenuti a garantire la conformità con i modelli di licenza applicabili.
Rilevamento delle informazioni personali identificabili	I clienti possono rilevare qualsiasi informazione sensibile, ad esempio i numeri di carta di credito per gli utenti. Per questa funzionalità, Unity AI Gateway usa Presidio per rilevare le categorie di informazioni personali seguenti: numeri di carta di credito, indirizzi di posta elettronica, numeri di telefono, numeri di conto bancario e numeri di previdenza sociale. Il classificatore PII consente di identificare informazioni riservate o informazioni personali in dati strutturati e non strutturati. Tuttavia, poiché usa meccanismi di rilevamento automatizzato, non esiste alcuna garanzia che il servizio trovi tutte le informazioni riservate. Di conseguenza, dovrebbero essere impiegati sistemi e protezioni aggiuntivi. Questi metodi di classificazione hanno come ambito principalmente le categorie di informazioni personali degli Stati Uniti, ad esempio i numeri di telefono degli Stati Uniti e i numeri di previdenza sociale.

Usare Unity AI Gateway

È possibile configurare le funzionalità del gateway di intelligenza artificiale Unity nel modello che gestisce gli endpoint usando l'interfaccia utente di gestione. Consulta Configurare il Gateway Unity AI sugli endpoint che servono i modelli.

Limitazioni

Di seguito sono riportate le limitazioni per gli endpoint abilitati per il gateway di Intelligenza Artificiale Unity:

• Quando si usano protezioni di intelligenza artificiale, le dimensioni del batch delle richieste, ovvero le dimensioni del batch di incorporamento, le dimensioni del batch di completamento o il parametro n delle richieste di chat, non possono superare 16.
• Se si usano chiamate di funzione e si specificano protezioni di intelligenza artificiale, tali protezioni non vengono applicate alle richieste e alle risposte intermedie della funzione. Tuttavia, le protezioni vengono applicate alla risposta finale dell'output.
• I carichi di lavoro da testo a immagine non sono supportati.
• Solo il monitoraggio dell'utilizzo è supportato per i carichi di lavoro di inferenza batch sugli endpoint a pagamento per token, con le funzionalità del Gateway di Intelligenza Artificiale Unity attivate. Nella tabella di sistema endpoint_usage sono visibili solo le righe corrispondenti alla richiesta di inferenza batch.
• I guardrail e i fallback di intelligenza artificiale non sono supportati nei modelli personalizzati che servono gli endpoint.
• Per gli endpoint di servizio dei modelli personalizzati, solo i carichi di lavoro che non sono ottimizzati per le route supportano la limitazione della frequenza e il rilevamento dell'utilizzo.
• Le tabelle di inferenza per i modelli ottimizzati per la route che servono gli endpoint sono disponibili in anteprima pubblica.
• Per informazioni dettagliate sulle limitazioni delle tabelle di inferenza abilitate per Gateway di Intelligenza artificiale di Unity, vedere Limitazioni delle tabelle di inferenza.