Condividi tramite

Come distribuire la famiglia Phi-3 di modelli linguistici di piccole dimensioni con lo studio di Azure Machine Learning

  • Articolo

Questo articolo illustra la famiglia Phi-3 di modelli linguistici di piccole dimensioni. È anche stato appreso come usare lo studio di Azure Machine Learning per distribuire modelli da questa famiglia come API serverless con fatturazione basata sui token in base al consumo.

La famiglia Phi-3 di SLM è una raccolta di modelli di testo generativi ottimizzati per istruzioni. I modelli Phi-3 sono i modelli di linguaggio più efficienti e convenienti disponibili, che superano le stesse dimensioni e le dimensioni successive in vari linguaggi, ragionamenti, codifiche e benchmark matematici.

Famiglia di modelli Phi-3

Phi-3 Mini è il modello aperto più avanzato, leggero e basato su parametri 3.8B. Il training di Phi-3-Mini è stato effettuato con set di dati Phi-3, che includono dati sintetici e i dati dei siti web filtrati e disponibili a livello pubblico, con particolare attenzione alla qualità elevata e alle proprietà dense di ragionamento.

Il modello appartiene alla famiglia di modelli Phi-3 e la versione Mini è disponibile in due varianti, 4K e 128K, che denotano la lunghezza del contesto (in token) che ogni variante di modello può supportare.

Il modello è stato sottoposto a un rigoroso processo di miglioramento, incorporando sia l'ottimizzazione delle preferenze supervisionate che l'ottimizzazione diretta delle preferenze per garantire una precisa conformità alle istruzioni e misure di sicurezza solide. Quando valutati in base ai benchmark che testano il buon senso, la comprensione del linguaggio, la matematica, il codice, il contesto lungo e il ragionamento logico, Phi-3-Mini-4K-Instruct e Phi-3-Mini-128K-Instruct hanno dimostrato prestazioni affidabili e all'avanguardia tra i modelli con meno di 13 miliardi di parametri.

Importante

Questa funzionalità è attualmente in anteprima pubblica. Questa versione di anteprima viene fornita senza contratto di servizio, pertanto se ne sconsiglia l’uso per i carichi di lavoro in ambienti di produzione. Alcune funzionalità potrebbero non essere supportate o potrebbero presentare funzionalità limitate.

Per altre informazioni, vedere le Condizioni supplementari per l'uso delle anteprime di Microsoft Azure.

Distribuire modelli Phi-3 come API serverless

Alcuni modelli nel catalogo modelli possono essere distribuiti come API serverless con la fatturazione di pagamenti in base al consumo. Questo tipo di distribuzione consente di usare i modelli come le API senza ospitarli nella sottoscrizione, mantenendo al contempo la sicurezza e la conformità aziendali necessarie alle organizzazioni. Questa opzione di distribuzione non richiede la quota dalla sottoscrizione.

Prerequisiti

  • Una sottoscrizione di Azure con un metodo di pagamento valido. Le sottoscrizioni di Azure gratuite o di valutazione non funzioneranno. Se non si dispone di una sottoscrizione di Azure, è possibile creare un account Azure gratuito per iniziare.

  • Un'area di lavoro di Azure Machine Learning. Se non si dispone di un'area di lavoro, seguire la procedura descritta nell'articolo Guida introduttiva: Creare risorse dell'area di lavoro per crearne una. L'offerta di distribuzione modello API serverless per Phi-3 è disponibile solo con le aree di lavoro create in queste aree geografiche:

    • Stati Uniti orientali 2
    • Svezia centrale

    Per un elenco delle aree disponibili per ognuno dei modelli che supportano distribuzioni di endpoint API serverless, vedere Disponibilità dell'area per i modelli negli endpoint API serverless.

  • I controlli degli accessi in base al ruolo di Azure vengono usati per concedere l'accesso alle operazioni in Azure Machine Learning. Per eseguire la procedura descritta in questo articolo, all'account utente deve essere assegnato il ruolo di sviluppatore di Azure per intelligenza artificiale nel gruppo di risorse. Per altre informazioni sulle autorizzazioni, vedere Gestire l'accesso a un'area di lavoro di Azure Machine Learning.

Creare una nuova distribuzione

Per creare una distribuzione:

  1. Passare ad Azure Machine Learning Studio.

  2. Selezionare l'area di lavoro in cui distribuire i modelli. Per usare l'offerta di distribuzione del modello API serverless, l'area di lavoro deve appartenere a una delle aree elencate nella sezione Prerequisiti.

  3. Scegliere il modello da distribuire, ad esempio Phi-3-medium-128k-Instruct, dal catalogo dei modelli.

  4. Nella pagina di panoramica del modello nel catalogo modelli selezionare Distribuisci e quindi API serverless con Sicurezza dei contenuti di Azure AI.

    In alternativa, è possibile avviare la distribuzione passando all'area di lavoro e selezionando Endpoint>Endpoint serverless>Crea. È quindi possibile selezionare un modello.

  5. Nella distribuzione guidata selezionare la scheda Prezzi e termini per informazioni sui prezzi per il modello selezionato.

  6. Assegnare un nome alla distribuzione. Questo nome diventa parte dell'URL dell'API di distribuzione. Questo URL deve essere univoco in ogni area di Azure.

  7. Seleziona Distribuisci. Attendere che la distribuzione sia pronta e che si venga reindirizzati alla pagina Distribuzioni. Questo passaggio richiede che l'account disponga delle autorizzazioni associate al ruolo di sviluppatore di Azure per intelligenza artificiale per il gruppo di risorse, come indicato nei prerequisiti.

  8. Prendere nota dell'URI di destinazione e della Chiave segreta che possono essere usati per chiamare la distribuzione e generare completamenti. Per altre informazioni sull'uso delle API, vedere Riferimento: completamento chat.

  9. Selezionare la scheda Test per iniziare a interagire con il modello.

  10. È sempre possibile trovare i dettagli, l'URI e le chiavi di accesso dell'endpoint passando ad Area di lavoro>Endpoint>Endpoint serverless.

Utilizzare modelli Phi-3 come servizio

I modelli distribuiti come API serverless possono essere utilizzati tramite l'API chat, a seconda del tipo di modello distribuito.

  1. Nell'area di lavoro, selezionare Endpoint>Endpoint serverless.
  2. Trovare e selezionare la distribuzione creata.
  3. Copiare l'URI di Destinazione e i valori del token Chiave.
  4. Effettuare una richiesta API usando l'API /v1/chat/completions tramite <target_url>/v1/chat/completions. Per altre informazioni sull'uso delle API, vedere il Riferimento: completamento chat.

Costi e quote

Considerazioni su costi e quote per i modelli Phi-3 distribuiti come API serverless

È possibile trovare le informazioni sui prezzi nella scheda Prezzi e condizioni della procedura guidata della distribuzione durante la distribuzione del modello.

La quota viene gestita per distribuzione. Ogni distribuzione ha un limite di frequenza di 200.000 token al minuto e 1.000 richieste API al minuto. Tuttavia, c’è attualmente un limite di una distribuzione per ogni modello per ogni area di lavoro. Contattare il supporto tecnico di Microsoft Azure se i limiti di frequenza correnti non sono sufficienti per gli scenari in uso.

Contenuto correlato