Raccolte e catalogo modelli
Il catalogo dei modelli in studio di Azure Machine Learning è l'hub per individuare e usare un'ampia gamma di modelli che consentono di creare applicazioni di intelligenza artificiale generative. Il catalogo dei modelli include centinaia di modelli di provider di modelli, ad esempio il servizio Azure OpenAI, Mistral, Meta, Cohere, Nvidia, Hugging Face, inclusi i modelli sottoposti a training da Microsoft. I modelli dei provider diversi da Microsoft sono prodotti non Microsoft, come definito nelle Condizioni per i prodotti Microsoft e sono soggetti alle condizioni fornite con il modello.
Raccolte di modelli
I modelli sono organizzati in base alle raccolte nel catalogo dei modelli. Nel catalogo modelli sono disponibili tre tipi di raccolte:
- Modelli curati da Azure per intelligenza artificiale: i più diffusi modelli proprietà e open weight di terze parti disponibili in pacchetto e ottimizzati per un perfetto funzionamento sulla piattaforma di Azure per intelligenza artificiale. L'uso di questi modelli è soggetto alle condizioni di licenza del provider di modelli fornite con il modello. Quando si distribuisce in Azure Machine Learning, la disponibilità del modello è soggetta al contratto di servizio Azure in vigore e Microsoft fornisce il supporto per i problemi di distribuzione. I modelli di partner come Meta, NVIDIA, Mistral AI sono esempi di modelli disponibili nella raccolta "Curato da Azure per intelligenza artificiale" nel catalogo. Questi modelli possono essere identificati da una spunta verde nei riquadri del modello del catalogo oppure è possibile filtrare in base alla raccolta "Curato da Azure per intelligenza artificiale".
- Modelli OpenAI di Azure, disponibili esclusivamente in Azure: modelli del servizio OpenAI di Azure di punta inclusi nella raccolta "OpenAI di Azure" tramite un'integrazione con il servizio OpenAI di Azure. L'uso di questi modelli, supportati da Microsoft, è soggetto alle condizioni del prodotto e al Contratto di servizio per OpenAI di Azure.
- Modelli aperti dell'hub Hugging Face: centinaia di modelli dell'hub HuggingFace sono accessibili tramite la raccolta "Hugging Face" per l'inferenza in tempo reale con gli endpoint online. Hugging Face crea e gestisce i modelli elencati nella raccolta HuggingFace. Usare il forum HuggingFace o il supporto HuggingFace per assistenza. Altre informazioni su come distribuire modelli da Hugging Face.
Suggerimento di aggiunte al catalogo dei modelli: è possibile inviare una richiesta per aggiungere un modello al catalogo dei modelli usando questo modulo.
Panoramica delle funzionalità del catalogo dei modelli
Per informazioni sui modelli OpenAI di Azure, vedere Servizio OpenAI di Azure.
Per i modelli curati dall'intelligenza artificiale di Azure e dai modelli Open dall'hub Hugging Face, alcuni di questi possono essere distribuiti con un'opzione di calcolo gestita e alcuni di questi sono disponibili per la distribuzione tramite API serverless con fatturazione con pagamento in base al consumo. Questi modelli possono essere individuati, confrontati, valutati, ottimizzati (se previsto), distribuiti su larga scala e integrati nelle applicazioni IA generative con sicurezza e governance dei dati di livello aziendale.
- Individuazione: esaminare le schede dei modelli, provare l'inferenza di esempio ed esplorare gli esempi di codice per valutare, ottimizzare o distribuire il modello.
- Confronto: confrontare i benchmark tra i modelli e i set di dati disponibili nel settore per valutare quale sia il più adatto al proprio scenario aziendale.
- Valutazione: valutare se il modello è adatto per il carico di lavoro specifico fornendo dati di test personalizzati. Le metriche di valutazione semplificano la visualizzazione dell'esecuzione del modello selezionato nello scenario.
- Ottimizzazione: personalizzare i modelli ottimizzabili usando i propri dati di training e scegliere il modello migliore confrontando le metriche di tutti i processi di ottimizzazione. Le ottimizzazioni predefinite accelerano la messa a punto e riducono le risorse di memoria e di calcolo necessarie.
- Distribuzione: è possibile distribuire facilmente per inferenza i modelli su cui è stato eseguito un training preliminare o i modelli ottimizzati. È anche possibile scaricare i modelli che possono essere distribuiti nel calcolo gestito.
Distribuzione del modello: calcolo gestito e API serverless (con pagamento in base al consumo)
Il Catalogo modelli offre due modi distinti per distribuire modelli dal catalogo per l'uso: le API di calcolo gestite e serverless. Le opzioni di distribuzione disponibili per ogni modello variano. Altre informazioni sulle caratteristiche delle opzioni di distribuzione e sulle opzioni disponibili per modelli specifici sono riportate nelle tabelle seguenti. Altre informazioni sull'elaborazione dati con le opzioni di distribuzione.
| Funzionalità | Calcolo gestito | API serverless (con pagamento in base al consumo) |
|---|---|---|
| Esperienza di distribuzione e fatturazione | I pesi del modello vengono distribuiti in Macchine virtuali dedicate con endpoint online gestiti. L'endpoint online gestito, che può avere una o più distribuzioni, rende disponibile un'API REST per l'inferenza. Vengono fatturate le ore core della macchina virtuale usate dalle distribuzioni. | L'accesso ai modelli avviene tramite una distribuzione che effettua il provisioning di un'API per accedere al modello. L'API fornisce l'accesso al modello ospitato in un pool di GPU centrale, gestito da Microsoft, per l'inferenza. Questa modalità di accesso viene definita "Models as a Service". Vengono addebitati input e output alle API, in genere nei token; le informazioni sui prezzi vengono fornite prima della distribuzione. |
| Autenticazione delle API | Chiavi e autenticazione con Microsoft Entra ID. Altre informazioni. | Solo chiavi. |
| Sicurezza dei contenuti | Usare le API del servizio Sicurezza dei contenuti di Azure. | I filtri di Sicurezza dei contenuti di Azure AI sono integrati nelle API di inferenza. I filtri di Sicurezza dei contenuti di Azure AI possono essere fatturati separatamente. |
| Isolamento della rete | Rete virtuale gestita con endpoint online. Altre informazioni. |
Opzioni di distribuzione
| Modello | Calcolo gestito | API serverless (con pagamento in base al consumo) |
|---|---|---|
| Modelli della famiglia Llama | Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat Llama-3-8B-Instruct Llama-3-70B-Instruct Llama-3-8B Llama-3-70B |
Llama-3-70B-Instruct Llama-3-8B-Instruct Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat |
| Modelli della famiglia Mistral | mistralai-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x22B-Instruct-v0-1 mistral-community-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x7B-v01 mistralai-Mistral-7B-Instruct-v0-2 mistralai-Mistral-7B-v01 mistralai-Mixtral-8x7B-Instruct-v01 mistralai-Mistral-7B-Instruct-v01 |
Mistral-large Mistral-small |
| Modelli della famiglia Cohere | Non disponibile | Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-multilingual |
| Altri modelli | Disponibile | Non disponibile |
Calcolo gestito
La possibilità di distribuire modelli con calcolo gestito si basa sulle funzionalità della piattaforma di Azure Machine Learning per abilitare l'integrazione perfetta, nell'intero ciclo di vita LLMOps, dell'ampia raccolta di modelli nel catalogo dei modelli.
Come vengono resi disponibili i modelli per il calcolo gestito?
I modelli vengono resi disponibili tramite i registri di Azure Machine Learning, che consentono il primo approccio del Machine Learning all'hosting e alla distribuzione di asset di Machine Learning, ad esempio pesi modello, runtime di contenitori per l'esecuzione dei modelli, pipeline per la valutazione e l'ottimizzazione dei modelli e set di dati per benchmark ed esempi. Questi registri di Machine Learning si basano su un'infrastruttura di livello aziendale altamente scalabile che:
Offre artefatti del modello con accesso a bassa latenza a tutte le aree di Azure con replica geografica predefinita.
Supporta requisiti di sicurezza aziendali come la limitazione dell'accesso ai modelli con Criteri di Azure e la distribuzione sicura con reti virtuali gestite.
Valutare e ottimizzare i modelli distribuiti con il calcolo gestito
È possibile valutare e ottimizzare la raccolta "Curate by Azure AI" in Azure Machine Learning usando Azure Machine Learning Pipelines. È possibile scegliere di usare un codice di valutazione e ottimizzazione personale e limitarsi ad accedere ai pesi del modello oppure usare i componenti di Azure Machine Learning che offrono funzionalità di valutazione e ottimizzazione predefinite. Per altre informazioni, seguire questo collegamento.
Distribuire modelli per l'inferenza con il calcolo gestito
I modelli disponibili per la distribuzione con calcolo gestito possono essere distribuiti in endpoint online di Azure Machine Learning per inferenza in tempo reale o possono essere usati per l'inferenza batch di Azure Machine Learning per elaborare in batch i dati. La distribuzione nel calcolo gestito richiede la quota di macchine virtuali nella sottoscrizione di Azure per gli SKU specifici necessari per eseguire in modo ottimale il modello. Alcuni modelli consentono la distribuzione in una quota condivisa temporaneamente per il test del modello. Altre informazioni sulla distribuzione di modelli:
- Distribuire modelli Meta Llama
- Distribuire modelli Open creati da Azure per intelligenza artificiale
- Distribuire modelli Hugging Face
Creare app di intelligenza artificiale generative con calcolo gestito
Il prompt flow offre funzionalità per la creazione di prototipi, l'esecuzione di esperimenti, l'iterazione e la distribuzione di applicazioni di intelligenza artificiale. È possibile usare i modelli distribuiti con il calcolo gestito in Prompt Flow con lo strumento Open Model LLM. È inoltre possibile usare l'API REST esposta dagli endpoint in tempo reale nei più diffusi strumenti LLM, come LangChain, con l'estensione di Azure Machine Learning.
Sicurezza del contenuto per i modelli distribuiti con il calcolo gestito
Il servizio Azure AI Content Cassaforte ty (AACS) è disponibile per l'uso con i modelli distribuiti nel calcolo gestito per visualizzare diverse categorie di contenuto dannoso, ad esempio contenuto sessuale, violenza, odio e autolesionismo e minacce avanzate, ad esempio rilevamento dei rischi di Jailbreak e Rilevamento del testo del materiale protetto. È possibile consultare questo notebook per informazioni sull'integrazione con il servizio AACS per Llama 2 oppure usare lo strumento Sicurezza dei contenuti (testo) nel prompt flow per passare risposte dal modello ad AACS per poter essere esaminate. In questo caso, i costi vengono addebitati separatamente in base ai prezzi di AACS.
Usare i modelli non presenti nel catalogo dei modelli
Per i modelli non disponibili nel catalogo dei modelli, Azure Machine Learning offre una piattaforma aperta ed estendibile per l'uso di modelli di propria scelta. È possibile usare un modello con qualsiasi framework o runtime usando le funzionalità di piattaforma open ed estendibili di Azure Machine Learning, ad esempio ambienti di Azure Machine Learning per contenitori in grado di creare pacchetti di framework e runtime e pipeline di Azure Machine Learning per il codice per valutare o ottimizzare i modelli. Fare riferimento a questo notebook per esempi di riferimento su come importare i modelli e usare le pipeline e i runtime predefiniti.
API serverless con fatturazione con pagamento in base al consumo
Alcuni modelli nel catalogo dei modelli possono essere distribuiti come API serverless con fatturazione con pagamento in base al consumo; questo metodo di distribuzione è denominato Models-as-a Service (MaaS). I modelli disponibili tramite MaaS sono ospitati nell'infrastruttura gestita da Microsoft, che consente l'accesso basato su API al modello del provider di modelli. L'accesso basato su API può ridurre sensibilmente i costi di accesso a un modello e semplificare notevolmente l'esperienza di provisioning. La maggior parte dei modelli MaaS prevede prezzi basati su token.
In che modo i modelli di terze parti vengono resi disponibili in MaaS?
I modelli disponibili per la distribuzione come API serverless con fatturazione con pagamento in base al consumo vengono offerti dal provider di modelli, ma ospitati nell'infrastruttura di Azure gestita da Microsoft e accessibili tramite API. I provider di modelli definiscono le condizioni di licenza e impostano il prezzo per l'uso dei modelli, mentre il servizio Azure Machine Learning gestisce l'infrastruttura di hosting, rende disponibili le API di inferenza e svolge la funzione di elaboratore dati per le richieste inviate e i contenuti prodotti dai modelli distribuiti tramite MaaS. Per altre informazioni sull'elaborazione dati per MaaS, vedere l'articolo sulla privacy dei dati.
Pagare per l'utilizzo dei modelli in MaaS
L'esperienza di individuazione, sottoscrizione e utilizzo dei modelli distribuiti tramite MaaS si svolge nello studio AI della piattaforma Azure e nello studio di Azure Machine Learning. Gli utenti accettano le condizioni di licenza per l'uso dei modelli, e le informazioni sui prezzi per l'utilizzo vengono fornite durante la distribuzione. I modelli di provider di terze parti vengono fatturati tramite Azure Marketplace, in base alle Condizioni per l'utilizzo del Marketplace commerciale, mentre i modelli Microsoft vengono fatturati in base ai contatori di Azure come servizi di consumo di prima parte. Come descritto nelle Condizioni per i prodotti, i servizi di consumo di prima parte vengono acquistati usando i contatori di Azure, ma non sono soggetti alle condizioni di servizio di Azure. L'uso di questi modelli è soggetto alle condizioni di licenza fornite.
Distribuire modelli per l'inferenza tramite MaaS
La distribuzione di un modello tramite MaaS consente agli utenti di ottenere l'accesso pronto per l'uso delle API di inferenza senza la necessità di configurare l'infrastruttura o effettuare il provisioning delle GPU, risparmiando tempo e risorse di progettazione. Queste API possono essere integrate con diversi strumenti LLM e l'utilizzo viene addebitato secondo quanto descritto nella sezione precedente.
Ottimizzare i modelli tramite MaaS con pagamento in base al consumo
Per i modelli disponibili tramite MaaS e che supportano l'ottimizzazione, gli utenti possono sfruttare i vantaggi dell'hosted fine-tuning con fatturazione con pagamento in base al consumo per personalizzare i modelli tramite i dati forniti. Per altre informazioni, vedere come ottimizzare un modello Llama 2 nello studio AI della piattaforma Azure.
RAG con modelli distribuiti tramite MaaS
Lo studio AI della piattaforma Azure consente agli utenti di usare gli indici vettoriali e il processo RAG (Retrieval Augmented Generation). I modelli che possono essere distribuiti come API serverless possono essere usati per generare incorporamenti e inferenze in base ai dati personalizzati per generare risposte specifiche del caso d'uso. Per altre informazioni, vedere Retrieval Augmented Generation e indici.
Disponibilità di offerte e modelli a livello di area
La distribuzione con pagamento in base al consumo è disponibile solo per gli utenti la cui sottoscrizione di Azure appartiene a un account di fatturazione in un paese in cui il provider di modelli ha reso disponibile l'offerta (vedi "area di disponibilità dell'offerta" nella tabella della sezione successiva). Se l'offerta è disponibile nell'area pertinente, l'utente deve disporre di un'area di lavoro nell'area di Azure in cui il modello è disponibile per la distribuzione o l'ottimizzazione, come applicabile (vedere le colonne "Area di lavoro" nella tabella seguente).
| Modello | Area di disponibilità dell'offerta | Area di lavoro per la distribuzione | Area di lavoro per l'ottimizzazione |
|---|---|---|---|
| Llama-3-70B-Instruct Llama-3-8B-Instruct |
Paesi gestiti da Microsoft | Stati Uniti orientali 2, Svezia centrale | Non disponibile |
| Llama-2-7b Llama-2-13b Llama-2-70b |
Paesi gestiti da Microsoft | Stati Uniti orientali 2, Stati Uniti occidentali 3 | Stati Uniti occidentali 3 |
| Llama-2-7b-chat Llama-2-13b-chat Llama-2-70b-chat |
Paesi gestiti da Microsoft | Stati Uniti orientali 2, Stati Uniti occidentali 3 | Non disponibile |
| Mistral-Large Mistral Small |
Paesi gestiti da Microsoft | Stati Uniti orientali 2, Svezia centrale | Non disponibile |
| Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-multilingual |
Paesi gestiti da Microsoft Giappone |
Stati Uniti orientali 2, Svezia centrale | Non disponibile |
Sicurezza dei contenuti per i modelli distribuiti tramite MaaS
Azure Machine Learning implementa una configurazione predefinita dei filtri di moderazione del testo di Sicurezza dei contenuti di Azure AI per i contenuti dannosi (odio, autolesionismo, contenuti sessualmente espliciti e violenza) nei modelli linguistici distribuiti con MaaS. Per altre informazioni sul filtro dei contenuti, vedere Categorie di danni in Sicurezza dei contenuti di Azure AI. Il filtraggio dei contenuti avviene nel momento stesso in cui i processi del servizio richiedono di generare contenuti e possono essere fatturati separatamente in base ai prezzi AACS per tale utilizzo. È possibile disabilitare il filtro dei contenuti per singoli endpoint serverless quando si distribuisce un modello linguistico per la prima volta o nella pagina dei dettagli della distribuzione facendo clic sul pulsante di attivazione/disattivazione del filtro dei contenuti. Se i filtri di contenuto sono disattivati, il rischio di esporre gli utenti a contenuti dannosi è più elevato.
Altre informazioni
- Informazioni su come usare i modelli di base in Azure Machine Learning per l'ottimizzazione, la valutazione e la distribuzione usando l'interfaccia utente dello studio di Azure Machine Learning o i metodi basati su codice.
- Esplorare il catalogo modelli nello studio di Azure Machine Learning. Per esplorare il catalogo, è necessaria un'area di lavoro di Azure Machine Learning.
- Valutare, ottimizzare e distribuire modelli curati da Azure Machine Learning.