Catalogo modelli e raccolte in Studio AI della piattaforma Azure

Articolo
07/26/2024

Importante

Alcune funzionalità descritte in questo articolo potrebbero essere disponibili solo in anteprima. Questa anteprima viene fornita senza un contratto di servizio e non è consigliabile per i carichi di lavoro di produzione. Alcune funzionalità potrebbero non essere supportate o potrebbero presentare funzionalità limitate. Per altre informazioni, vedere le Condizioni supplementari per l'uso delle anteprime di Microsoft Azure.

Il catalogo modelli in Studio AI della piattaforma Azure è l'hub ideato per individuare e usare un'ampia gamma di modelli, che ti consentono di creare applicazioni IA generative. Il catalogo modelli include centinaia di modelli di diversi provider di modelli, come il servizio OpenAI di Azure, Mistral, Meta, Cohere, Nvidia, Hugging Face, inclusi i modelli sottoposti a training da parte di Microsoft. I modelli dei provider diversi da Microsoft sono prodotti non Microsoft, come definito nelle Condizioni per i prodotti Microsoft e sono soggetti alle condizioni fornite con il modello.

Raccolte di modelli

Il catalogo modelli organizza i modelli in raccolte. Nel catalogo modelli sono disponibili tre tipi di raccolte:

Modelli curati da Azure per intelligenza artificiale: i più diffusi modelli proprietà e open weight di terze parti disponibili in pacchetto e ottimizzati per un perfetto funzionamento sulla piattaforma di Azure per intelligenza artificiale. L'uso di questi modelli è soggetto alle condizioni di licenza del provider di modelli fornite con il modello. Quando si distribuisce in Studio AI della piattaforma Azure, la disponibilità del modello è soggetta al contratto di servizio di Azure in vigore e Microsoft fornisce supporto per i problemi di distribuzione. I modelli di partner come Meta, NVIDIA, Mistral AI sono esempi di modelli disponibili nella raccolta "Curato da Azure per intelligenza artificiale" nel catalogo. Questi modelli possono essere identificati da una spunta verde nei riquadri del modello del catalogo oppure è possibile filtrare in base alla raccolta "Curato da Azure per intelligenza artificiale".
Modelli OpenAI di Azure, disponibili esclusivamente in Azure: modelli OpenAI di Azure di punta tramite la raccolta "Azure OpenAI" attraverso un'integrazione con il servizio OpenAI di Azure. Microsoft supporta questi modelli e il relativo utilizzo in base alle condizioni del prodotto e al contratto di servizio per OpenAI di Azure.
Modelli aperti dell'hub Hugging Face: centinaia di modelli dell'hub HuggingFace sono accessibili tramite la raccolta "Hugging Face" per l'inferenza in tempo reale con l’ambiente di calcolo gestito. Hugging Face crea e gestisce i modelli elencati nella raccolta HuggingFace. Usare il forum HuggingFace o il supporto HuggingFace per assistenza. Per altre informazioni, vedere Distribuire modelli aperti.

Suggerimento di aggiunte al catalogo modelli: è possibile inviare una richiesta di aggiunta di un modello al catalogo modelli usando questo modulo.

Panoramica delle funzionalità del catalogo modelli

Per informazioni sui modelli OpenAI di Azure, vedere Servizio OpenAI di Azure.

Alcuni modelli delle raccolte Curati da Azure per intelligenza artificiale e Modelli aperti dell'hub Hugging Face possono essere distribuiti con un’opzione di calcolo gestita, mentre altri sono disponibili per la distribuzione tramite API serverless con fatturazione in base al consumo. Questi modelli possono essere individuati, confrontati, valutati, ottimizzati (se previsto), distribuiti su larga scala e integrati nelle applicazioni IA generative con sicurezza e governance dei dati di livello aziendale.

Individuazione: esaminare le schede dei modelli, provare l'inferenza di esempio ed esplorare gli esempi di codice per valutare, ottimizzare o distribuire il modello.
Confronto: confrontare i benchmark tra i modelli e i set di dati disponibili nel settore per valutare quale sia il più adatto al proprio scenario aziendale.
Valutazione: valutare se il modello è adatto per il carico di lavoro specifico fornendo dati di test personalizzati. Le metriche di valutazione semplificano la visualizzazione dell'esecuzione del modello selezionato nello scenario.
Ottimizzazione: personalizzare i modelli ottimizzati usando i propri dati di training e scegliere il modello migliore confrontando le metriche di tutti i processi di ottimizzazione. Le ottimizzazioni predefinite accelerano la messa a punto e riducono la memoria e il calcolo per essa necessari.
Distribuzione: distribuire modelli su cui è stato eseguito un training preliminare o modelli ottimizzati senza alcun problema di inferenza. I modelli che possono essere distribuiti in ambienti di calcolo gestiti possono anche essere scaricati.

Distribuzione dei modelli: ambiente di calcolo gestito e API serverless (con pagamento in base al consumo)

Il Catalogo modelli offre due modi distinti per distribuire modelli dal catalogo per l'uso: le API di calcolo gestite e serverless. Le opzioni di distribuzione disponibili per ogni modello variano. Altre informazioni sulle caratteristiche delle opzioni di distribuzione e sulle opzioni disponibili per modelli specifici sono riportate nelle tabelle seguenti. Altre informazioni sull'elaborazione dati con le opzioni di distribuzione.

Funzionalità	Calcolo gestito	API serverless (con pagamento in base al consumo)
Esperienza di distribuzione e fatturazione	I pesi del modello vengono distribuiti in macchine virtuali dedicate con endpoint online gestiti. L'endpoint online gestito, che può avere una o più distribuzioni, rende disponibile un'API REST per l'inferenza. Vengono fatturate le ore core della macchina virtuale usate dalle distribuzioni.	L'accesso ai modelli avviene tramite una distribuzione che effettua il provisioning di un'API che fornisce l’accesso al modello. L'API fornisce l'accesso al modello ospitato e gestito da Microsoft, per l'inferenza. Questa modalità di accesso viene definita "Models as a Service". Vengono addebitati input e output alle API, in genere nei token; le informazioni sui prezzi vengono fornite prima della distribuzione.
Autenticazione delle API	Chiavi e autenticazione con Microsoft Entra ID.	Solo chiavi.
Sicurezza dei contenuti	Usare le API del servizio Sicurezza dei contenuti di Azure.	I filtri di Sicurezza dei contenuti di Azure AI sono integrati nelle API di inferenza. I filtri di Sicurezza dei contenuti di Azure AI possono essere fatturati separatamente.
Isolamento della rete	Configurare le reti gestite per gli hub di Studio AI della piattaforma Azure.	L'endpoint MaaS seguirà l'impostazione del flag di accesso alla rete pubblica (PNA) dell'hub. Per altre informazioni, vedere la sezione Isolamento rete per i modelli distribuiti tramite API serverless.

Modello	Calcolo gestito	API serverless (con pagamento in base al consumo)
Modelli della famiglia Llama	Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat Llama-3-8B-Instruct Llama-3-70B-Instruct Llama-3-8B Llama-3-70B	Llama-3-70B-Instruct Llama-3-8B-Instruct Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat
Modelli della famiglia Mistral	mistralai-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x22B-Instruct-v0-1 mistral-community-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x7B-v01 mistralai-Mistral-7B-Instruct-v0-2 mistralai-Mistral-7B-v01 mistralai-Mixtral-8x7B-Instruct-v01 mistralai-Mistral-7B-Instruct-v01	Mistral-large Mistral-small
Modelli della famiglia Cohere	Non disponibile	Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-multilingual
JAIS	Non disponibile	jais-30b-chat
Modelli della famiglia Phi3	Phi-3-small-128k-Instruct Phi-3-small-8k-Instruct Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi3-medium-128k-instruct Phi3-medium-4k-instruct	Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi3-medium-128k-instruct Phi3-medium-4k-instruct
Nixtla	Non disponibile	TimeGEN-1
Altri modelli	Disponibile	Non disponibile

Calcolo gestito

La possibilità di distribuire modelli nell’ambiente di calcolo gestito è fornita dalle funzionalità della piattaforma Azure Machine Learning che consentono di integrare facilmente, nell'intero ciclo di vita LLMOps, l'ampia gamma di modelli del catalogo.

In che modo vengono resi disponibili i modelli per la distribuzione come ambiente di calcolo gestito?

I modelli vengono resi disponibili tramite i registri di Azure Machine Learning, che consentono il primo approccio del Machine Learning all'hosting e alla distribuzione di asset di Machine Learning, ad esempio pesi modello, runtime di contenitori per l'esecuzione dei modelli, pipeline per la valutazione e l'ottimizzazione dei modelli e set di dati per benchmark ed esempi. Questi registri di Machine Learning si basano su un'infrastruttura di livello aziendale altamente scalabile che:

Offre artefatti del modello con accesso a bassa latenza a tutte le aree di Azure con replica geografica predefinita.
Supporta requisiti di sicurezza aziendali come la limitazione dell'accesso ai modelli con Criteri di Azure e la distribuzione sicura con reti virtuali gestite.

Distribuire modelli per l'inferenza con l’ambiente di calcolo gestito

I modelli disponibili per la distribuzione in un ambiente di calcolo gestito possono essere distribuiti in endpoint online di Azure Machine Learning per l'inferenza in tempo reale. La distribuzione nell’ambiente di calcolo gestito richiede una quota macchina virtuale nella sottoscrizione di Azure per gli SKU specifici necessari per eseguire il modello in modo ottimale. Alcuni modelli consentono la distribuzione in una quota condivisa temporaneamente per il test del modello. Altre informazioni sulla distribuzione di modelli:

Creare app di intelligenza artificiale generativa con l’ambiente di calcolo gestito

Il prompt flow offre un'esperienza ottimale per la creazione di prototipi. È possibile usare i modelli distribuiti con gli ambienti di calcolo gestiti in prompt flow con lo strumento Apri strumento LLM modello. È inoltre possibile usare l'API REST esposta dall’ambiente di calcolo gestito nei più diffusi strumenti LLM, come LangChain, usando l'estensione di Azure Machine Learning.

Sicurezza dei contenuti per i modelli distribuiti come ambiente di calcolo gestito

Il servizio Sicurezza dei contenuti di Azure AI (AACS) può essere usato con ambienti di calcolo gestito per esaminare varie categorie di contenuti dannosi (ad esempio contenuti sessualmente espliciti, che incitano alla violenza, all’odio e all’autolesionismo) e minacce avanzate, ad esempio per rilevare il rischio di jailbreak o la presenza di testo appartenente a materiale protetto. Puoi consultare questo notebook per avere l’integrazione di riferimento con Sicurezza dei contenuti di Azure AI per Llama 2 o usare lo strumento Sicurezza contenuti (Testo) in Prompt Flow per passare risposte dal modello ad AACS per lo screening. Per tale utilizzo, i costi vengono addebitati separatamente in base ai prezzi AACS.

API serverless con fatturazione in base al consumo

Alcuni modelli nel Catalogo modelli possono essere distribuiti come API serverless con fatturazione in base al consumo. Questo metodo di distribuzione, denominato Modelli come servizio (MaaS), consente di utilizzare i modelli come API senza ospitarli nella sottoscrizione. I modelli disponibili tramite MaaS sono ospitati nell'infrastruttura gestita da Microsoft, che consente l'accesso basato su API al modello del provider di modelli. L'accesso basato su API può ridurre sensibilmente i costi di accesso a un modello e semplificare notevolmente l'esperienza di provisioning. La maggior parte dei modelli MaaS prevede prezzi basati su token.

In che modo i modelli di terze parti vengono resi disponibili in MaaS?

I modelli disponibili per la distribuzione come API serverless con fatturazione di pagamento in base al consumo sono offerti dal provider di modelli, ma ospitati nell'infrastruttura Azure gestita da Microsoft e accessibili tramite API. I provider di modelli definiscono le condizioni di licenza e impostano il prezzo per l'uso dei modelli, mentre il servizio Azure Machine Learning gestisce l'infrastruttura di hosting, rende disponibili le API di inferenza e svolge la funzione di elaboratore dati per le richieste inviate e i contenuti prodotti dai modelli distribuiti tramite MaaS. Per altre informazioni sull'elaborazione dati per MaaS, vedere l'articolo sulla privacy dei dati.

Pagare per l'utilizzo dei modelli in MaaS

L'esperienza di individuazione, sottoscrizione e utilizzo dei modelli distribuiti tramite MaaS si svolge nello studio AI della piattaforma Azure e nello studio di Azure Machine Learning. Gli utenti accettano le condizioni di licenza per l'uso dei modelli, e le informazioni sui prezzi per l'utilizzo vengono fornite durante la distribuzione. I modelli di provider di terze parti vengono fatturati tramite Azure Marketplace, in base alle Condizioni per l'utilizzo del Marketplace commerciale, mentre i modelli Microsoft vengono fatturati in base ai contatori di Azure come servizi di consumo di prima parte. Come descritto nelle Condizioni per i prodotti, i servizi di consumo di prima parte vengono acquistati usando i contatori di Azure, ma non sono soggetti alle condizioni di servizio di Azure. L'uso di questi modelli è soggetto alle condizioni di licenza fornite.

Distribuire modelli per l'inferenza tramite MaaS

La distribuzione di un modello tramite MaaS consente agli utenti di ottenere l'accesso pronto per l'uso delle API di inferenza senza la necessità di configurare l'infrastruttura o effettuare il provisioning delle GPU, risparmiando tempo e risorse di progettazione. Queste API possono essere integrate con diversi strumenti LLM e l'utilizzo viene addebitato secondo quanto descritto nella sezione precedente.

Ottimizzare i modelli tramite MaaS con pagamento in base al consumo

Per i modelli disponibili tramite MaaS e che supportano l'ottimizzazione, gli utenti possono sfruttare i vantaggi dell'hosted fine-tuning con fatturazione con pagamento in base al consumo per personalizzare i modelli tramite i dati forniti. Per altre informazioni, vedi la panoramica sull'ottimizzazione.

RAG con modelli distribuiti come API serverless

Lo studio AI della piattaforma Azure consente agli utenti di usare gli indici vettoriali e il processo RAG (Retrieval Augmented Generation). I modelli distribuibili tramite API serverless possono essere usati per generare incorporamenti e inferenze in base ai dati personalizzati e generare così risposte specifiche per il caso d'uso. Per altre informazioni, vedi Come creare un indice vettoriale.

Disponibilità di offerte e modelli a livello di area

La distribuzione con pagamento in base al consumo è disponibile solo per gli utenti la cui sottoscrizione di Azure appartiene a un account di fatturazione in un paese in cui il provider di modelli ha reso disponibile l'offerta (vedere "Area di disponibilità dell'offerta" nella tabella della sezione successiva). Se l'offerta è disponibile nell'area pertinente, l'utente deve avere un hub/progetto nell'area di Azure in cui il modello è disponibile per la distribuzione o l'ottimizzazione, a seconda dei casi (vedi le colonne "hub/area del progetto" nella tabella seguente).

Modello	Area di disponibilità dell'offerta	Hub/Area del progetto per la distribuzione	Hub/Area del progetto per l'ottimizzazione
Llama-3-70B-Instruct Llama-3-8B-Instruct	Paesi gestiti da Microsoft	Stati Uniti orientali, Stati Uniti orientali 2, Stati Uniti centro-settentrionali, Stati Uniti centro-meridionali, Svezia centrale, Stati Uniti occidentali, Stati Uniti occidentali 3	Non disponibile
Llama-2-7b Llama-2-13b Llama-2-70b	Paesi gestiti da Microsoft	Stati Uniti orientali, Stati Uniti orientali 2, Stati Uniti centro-settentrionali, Stati Uniti centro-meridionali, Stati Uniti occidentali, Stati Uniti occidentali 3	Stati Uniti occidentali 3
Llama-2-7b-chat Llama-2-13b-chat Llama-2-70b-chat	Paesi gestiti da Microsoft	Stati Uniti orientali, Stati Uniti orientali 2, Stati Uniti centro-settentrionali, Stati Uniti centro-meridionali, Stati Uniti occidentali, Stati Uniti occidentali 3,	Non disponibile
Mistral Small	Paesi gestiti da Microsoft	Stati Uniti orientali, Stati Uniti orientali 2, Stati Uniti centro-settentrionali, Stati Uniti centro-meridionali, Svezia centrale, Stati Uniti occidentali, Stati Uniti occidentali 3	Non disponibile
Mistral-Large	Paesi gestiti da Microsoft Brasile RAS di Hong Kong Israele	Stati Uniti orientali, Stati Uniti orientali 2, Stati Uniti centro-settentrionali, Stati Uniti centro-meridionali, Svezia centrale, Stati Uniti occidentali, Stati Uniti occidentali 3	Non disponibile
Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-multilingual	Paesi gestiti da Microsoft Giappone	Stati Uniti orientali, Stati Uniti orientali 2, Stati Uniti centro-settentrionali, Stati Uniti centro-meridionali, Svezia centrale, Stati Uniti occidentali, Stati Uniti occidentali 3	Non disponibile
TimeGEN-1	Paesi gestiti da Microsoft Messico Israele	Stati Uniti orientali, Stati Uniti orientali 2, Stati Uniti centro-settentrionali, Stati Uniti centro-meridionali, Svezia centrale, Stati Uniti occidentali, Stati Uniti occidentali 3	Non disponibile
jais-30b-chat	Paesi gestiti da Microsoft	Stati Uniti orientali, Stati Uniti orientali 2, Stati Uniti centro-settentrionali, Stati Uniti centro-meridionali, Svezia centrale, Stati Uniti occidentali, Stati Uniti occidentali 3	Non disponibile
Phi-3-mini-4k-instruct	Paesi gestiti da Microsoft	Stati Uniti orientali 2, Canada centrale, Svezia centrale, Stati Uniti occidentali 3	Non disponibile
Phi-3-mini-128k-instruct Phi-3-medium-4k-Instruct Phi-3-medium-128k-instruct	Paesi gestiti da Microsoft	Stati Uniti orientali 2, Svezia centrale	Non disponibile

Sicurezza dei contenuti per i modelli distribuiti tramite API serverless

Importante

Per i modelli linguistici distribuiti tramite API serverless, Azure Machine Learning implementa una configurazione predefinita dei filtri di moderazione del testo di Sicurezza dei contenuti di Azure AI che rileva i contenuti dannosi (ad esempio contenuti che incitano all’odio, all’autolesionismo, contenuti sessualmente espliciti e violenti). Per altre informazioni sul filtro dei contenuti (anteprima), vedere Categorie di danni in Sicurezza dei contenuti di Azure AI.

Suggerimento

Il filtro del contenuto (anteprima) non è disponibile per determinati tipi di modello distribuiti tramite API serverless. Questi tipi di modello includono modelli di incorporamento e modelli di serie temporali.

Il filtraggio dei contenuti (anteprima) avviene nel momento stesso in cui i processi del servizio richiedono di generare contenuti e possono essere fatturati separatamente in base ai prezzi AACS previsti per tale utilizzo. È possibile disabilitare il filtro dei contenuti (anteprima) per singoli endpoint serverless quando si distribuisce un modello linguistico per la prima volta o successivamente nella pagina dei dettagli della distribuzione facendo clic sul pulsante di attivazione/disattivazione del filtro dei contenuti.

Si supponga di decidere di usare un'API diversa dall'API di inferenza del modello di Azure per intelligenza artificiale allo scopo di usare un modello distribuito tramite un'API serverless. In una situazione di questo tipo, il filtro dei contenuti (anteprima) non è abilitato a meno che non venga implementato separatamente tramite Sicurezza dei contenuti di Azure AI. Per altre informazioni su come iniziare a usare Sicurezza dei contenuti di Azure AI, vedere Guida introduttiva: Analizzare il contenuto del testo. Se non si usa il filtro dei contenuti (anteprima) per i modelli distribuiti tramite API serverless, si corre un rischio maggiore di esporre gli utenti a contenuti dannosi.

Isolamento rete per i modelli distribuiti tramite API serverless

Gli endpoint per i modelli distribuiti come API serverless seguono l'impostazione del flag di accesso alla rete pubblica (PNA) dell'hub di Studio AI che contiene il progetto in cui è presente la distribuzione. Per proteggere l'endpoint MaaS, disabilitare il flag PNA nell'hub di Studio AI. È possibile proteggere la comunicazione in ingresso da un client all'endpoint usando un endpoint privato per l'hub.

Per impostare il flag PNA per l'hub di Azure per intelligenza artificiale:

Accedere al portale di Azure
Cercare il gruppo di risorse a cui appartiene l'hub e selezionare l'hub di Azure per intelligenza artificiale nelle risorse elencate per tale gruppo di risorse.
Nella pagina Panoramica dell'hub usare il riquadro di spostamento a sinistra per passare a Impostazioni>Rete.
Nella scheda Accesso pubblico è possibile configurare le impostazioni per il flag di accesso alla rete pubblica.
Salva le modifiche. La propagazione delle modifiche può richiedere fino a cinque minuti.

Limiti

Se si usa un hub di Studio AI con un endpoint privato creato prima del 11 luglio 2024, i nuovi endpoint MaaS aggiunti ai progetti in questo hub non seguiranno la configurazione di rete dell'hub. In questo caso, è invece necessario creare un nuovo endpoint privato per l'hub e creare nuove distribuzioni di API serverless nel progetto in modo che le nuove distribuzioni possano seguire la configurazione di rete dell'hub.
Se si usa un hub di Studio AI con distribuzioni MaaS create prima del 11 luglio 2024 e si abilita un endpoint privato in tale hub, le distribuzioni MaaS esistenti non seguiranno la configurazione di rete dell'hub. È necessario creare di nuovo le distribuzioni per consentire alle distribuzioni di API serverless nell'hub di seguire la configurazione di rete dell'hub.
Attualmente il supporto per i dati non è disponibile per le distribuzioni MaaS negli hub privati, poiché il flag PNA è disabilitato per gli hub privati.
La propagazione di qualsiasi modifica della configurazione di rete (ad esempio, l'abilitazione o la disabilitazione del flag PNA) può richiedere fino a cinque minuti.

Passaggio successivo

Esplorare i modelli di base di Azure per Intelligenza artificiale in Studio AI della piattaforma Azure

Condividi tramite