Tipi di distribuzione per i modelli Di Microsoft Foundry

Microsoft Foundry rende disponibili i modelli usando il concetto di distribuzione del modello in Foundry Services (in precedenza noto come Servizi di intelligenza artificiale di Azure). Le distribuzioni di modelli sono anche risorse di Azure e, al momento della creazione, consentono l'accesso a un determinato modello in determinate configurazioni. Tale configurazione include l'infrastruttura necessaria per elaborare le richieste.

I modelli foundry offrono ai clienti scelte di struttura di hosting che soddisfano i modelli aziendali e di utilizzo. Queste opzioni vengono convertite in diversi tipi di distribuzioni (o SKU) disponibili in fase di distribuzione del modello nella risorsa Foundry.

Il servizio offre due tipi principali di distribuzioni: standard e con provisioning. Per un determinato tipo di distribuzione, i clienti possono allineare i carichi di lavoro ai requisiti di elaborazione dei dati. Possono scegliere un'area geografica di Azure (Standard o Provisioned-Managed), una zona dati specificata da Microsoft (DataZone- Standard o DataZone Provisioned-Managed) o un'opzione di elaborazione globale (Global-Standard o Global Provisioned-Managed).

Per i modelli ottimizzati, un tipo di distribuzione aggiuntivo Developer offre un mezzo conveniente per la valutazione del modello personalizzato, ma senza residenza dei dati.

Tutte le distribuzioni possono eseguire esattamente le stesse operazioni di inferenza, ma la fatturazione, la scalabilità e le prestazioni sono sostanzialmente diverse. Nell'ambito della progettazione della soluzione, è necessario prendere decisioni chiave in due categorie:

• Posizione di elaborazione dati
• Volume di chiamata

Percorsi di elaborazione dei dati di distribuzione di Fonderia

Per le distribuzioni standard, sono disponibili tre opzioni di tipo distribuzione tra cui scegliere: globale, zona dati e area geografica di Azure. Per le distribuzioni di cui è stato effettuato il provisioning, sono disponibili due opzioni di tipo distribuzione tra cui scegliere: globale e area geografica di Azure. È consigliabile standard globale come punto di partenza.

Distribuzioni globali

Le distribuzioni globali usano l'infrastruttura globale di Azure per instradare dinamicamente il traffico dei clienti al data center con la migliore disponibilità per le richieste di inferenza del cliente. Ciò significa che Globale offre i limiti di velocità effettiva iniziali più elevati e la migliore disponibilità dei modelli, pur continuando a fornire il contratto di servizio per il tempo di attività e la bassa latenza. Per i carichi di lavoro con volumi elevati al di sopra dei livelli di utilizzo specificati in Standard e Standard globale, è possibile che si verifichi un aumento della latenza. Per i clienti che richiedono una minore variazione della latenza con un elevato utilizzo del carico di lavoro, consigliamo di usare i tipi di distribuzione già configurata.

Le implementazioni globali sono il primo punto per tutti i nuovi modelli e funzionalità. A seconda del volume delle chiamate, i clienti con volumi elevati e requisiti di varianza a bassa latenza dovrebbero prendere in considerazione i tipi di distribuzione di cui è stato effettuato il provisioning.

Implementazioni della Zona Dati

Per qualsiasi tipo di distribuzione con etichetta Globale, le richieste e le risposte potrebbero essere elaborate in qualsiasi area geografica in cui viene distribuito il modello foundry pertinente. Per altre informazioni, vedere la sezione "Disponibilità dell'area del modello per tipo di distribuzione" di Foundry Models venduta direttamente da Azure.

Per qualsiasi tipo di distribuzione etichettato come DataZone, le richieste e le risposte potrebbero essere elaborate in qualsiasi area geografica all'interno dell'area dati specificata, come definito da Microsoft. Se si crea una distribuzione di DataZone in una risorsa Foundry che si trova negli Stati Uniti, le richieste e le risposte potrebbero essere elaborate ovunque negli Stati Uniti. Se si crea una distribuzione di DataZone in una risorsa Foundry che si trova in una nazione membro dell'Unione europea, le richieste e le risposte potrebbero essere elaborate in tale o in qualsiasi altra nazione membro dell'Unione europea.

Per i tipi di distribuzione Global e DataZone , tutti i dati archiviati inattivi, ad esempio i dati caricati, vengono archiviati nell'area geografica designata dal cliente. Solo la posizione di elaborazione è interessata quando un cliente usa un tipo di distribuzione Global o DataZone in una risorsa Foundry; Gli impegni di elaborazione e conformità dei dati di Azure rimangono applicabili.

Annotazioni

Con i tipi di distribuzione Standard globale e Standard zona dati, se la regione primaria subisce un'interruzione del servizio, tutto il traffico inizialmente indirizzato verso questa regione è interessato. Per altre informazioni, vedere la guida alla continuità aziendale e al ripristino di emergenza.

Standard globale

• Nome SKU nel codice: GlobalStandard

Importante

I dati archiviati inattivi rimangono nell'area geografica di Azure designata. Tuttavia, i dati potrebbero essere elaborati per l'analisi in qualsiasi sede Foundry. Altre informazioni sulla residenza dei dati.

Le distribuzioni globali sono disponibili nelle stesse risorse Foundry dei tipi di distribuzione non globali. Tuttavia, consentono di usare l'infrastruttura globale di Azure per instradare dinamicamente il traffico al data center con la migliore disponibilità per ogni richiesta. Global Standard fornisce la quota predefinita più elevata ed elimina la necessità di bilanciare il carico tra più risorse.

I clienti con un volume coerente elevato potrebbero riscontrare una maggiore variabilità di latenza. La soglia viene impostata per modello. Per altre informazioni, vedere la pagina sulle quote. Per le applicazioni che richiedono una varianza di latenza inferiore durante l'uso di carichi di lavoro elevati, è consigliabile acquistare throughput predefinito.

La distribuzione standard globale supporta l'uso dell'elaborazione prioritaria per prestazioni affidabili e ad alta velocità con la flessibilità necessaria per il pagamento in base al consumo. Per altre informazioni, vedere Elaborazione prioritaria per i modelli Foundry (anteprima).

Fornito globalmente

• Nome SKU nel codice: GlobalProvisionedManaged

Importante

I dati archiviati inattivi rimangono nell'area geografica di Azure designata. Tuttavia, i dati potrebbero essere elaborati per l'analisi in qualsiasi sede Foundry. Altre informazioni sulla residenza dei dati.

Le distribuzioni globali sono disponibili nelle stesse risorse Foundry dei tipi di distribuzione non globali. Tuttavia, consentono di usare l'infrastruttura globale di Azure per instradare dinamicamente il traffico al data center con la migliore disponibilità per ogni richiesta. Le implementazioni con provisioning globale forniscono capacità riservata per l'elaborazione dei modelli per garantire una velocità effettiva elevata e prevedibile utilizzando l'infrastruttura globale di Azure.

Batch globale

• Nome SKU nel codice: GlobalBatch

Importante

I dati archiviati inattivi rimangono nell'area geografica di Azure designata. Tuttavia, i dati potrebbero essere elaborati per l'analisi in qualsiasi sede Foundry. Altre informazioni sulla residenza dei dati.

Global Batch è progettato per gestire in modo efficiente le attività di elaborazione su larga scala e con volumi elevati. È possibile elaborare gruppi asincroni di richieste con quota separata e un tempo di risposta di 24 ore, a un costo inferiore del 50% rispetto a Global Standard. Con l'elaborazione batch, anziché inviare una richiesta alla volta, si invia un numero elevato di richieste in un singolo file. Le richieste di Batch globali hanno una quota di token accodata separata, che consente di evitare interruzioni dei carichi di lavoro online.

I principali casi d'uso sono:

• Elaborazione dei dati su larga scala: analizzare rapidamente set di dati estesi in parallelo.
• Generazione di contenuto: creare volumi elevati di testo, ad esempio descrizioni di prodotti o articoli.
• Revisione e riepilogo dei documenti: automatizzare la revisione e il riepilogo dei documenti lunghi.
• Automazione del supporto tecnico: gestire contemporaneamente numerose query per risposte più veloci.
• Estrazione e analisi dei dati: estrarre e analizzare informazioni da grandi quantità di dati non strutturati.
• Attività di elaborazione del linguaggio naturale (NLP): eseguire attività come l'analisi del sentiment o la traduzione in set di dati di grandi dimensioni.
• Marketing e personalizzazione: generare contenuti e consigli personalizzati su larga scala.

Zona dati standard

• Nome SKU nel codice: DataZoneStandard

Importante

I dati archiviati inattivi rimangono nell'area geografica di Azure designata. Tuttavia, i dati potrebbero essere elaborati per l'inferenza in qualsiasi posizione Foundry all'interno dell'area dati specificata da Microsoft. Altre informazioni sulla residenza dei dati.

Le distribuzioni di Data Zone Standard sono disponibili nella stessa risorsa Foundry di tutti gli altri tipi di distribuzione Foundry. Tuttavia, consentono di usare l'infrastruttura globale di Azure per instradare dinamicamente il traffico al data center all'interno della zona dati definita da Microsoft con la migliore disponibilità per ogni richiesta. Data Zone Standard offre quote predefinite superiori rispetto ai tipi di distribuzione basati su geografia di Azure.

I clienti con un volume coerente elevato potrebbero riscontrare una maggiore variabilità di latenza. La soglia viene impostata per modello. Per altre informazioni, vedere la pagina quote e limiti. Per i carichi di lavoro che richiedono una bassa varianza della latenza in volumi elevati, è consigliabile usare le opzioni di distribuzione preconfigurate.

La distribuzione standard della zona dati supporta l'uso dell'elaborazione prioritaria per prestazioni affidabili e ad alta velocità con la flessibilità necessaria per il pagamento in base al consumo. Per altre informazioni, vedere Elaborazione prioritaria per i modelli Foundry (anteprima).

Area dati di cui è stato effettuato il provisioning

• Nome SKU nel codice: DataZoneProvisionedManaged

Importante

I dati archiviati inattivi rimangono nell'area geografica di Azure designata. Tuttavia, i dati potrebbero essere elaborati per l'inferenza in qualsiasi posizione Foundry all'interno dell'area dati specificata da Microsoft. Altre informazioni sulla residenza dei dati.

Le distribuzioni con provisioning della zona dati sono disponibili nella stessa risorsa di Fonderia di tutti gli altri tipi di distribuzione di Fonderia. Tuttavia, consentono di usare l'infrastruttura globale di Azure per instradare dinamicamente il traffico al data center all'interno della zona dati specificata da Microsoft con la migliore disponibilità per ogni richiesta. Le distribuzioni sottoposte a provisioning della zona dati offrono capacità di elaborazione del modello riservata per una velocità effettiva elevata e prevedibile usando l'infrastruttura di Azure all'interno della zona dati specificata da Microsoft.

Batch area dati

• Nome SKU nel codice: DataZoneBatch

Importante

I dati archiviati inattivi rimangono nell'area geografica di Azure designata. Tuttavia, i dati potrebbero essere elaborati per l'inferenza in qualsiasi posizione Foundry all'interno dell'area dati specificata da Microsoft. Altre informazioni sulla residenza dei dati.

Le distribuzioni batch di zona dati offrono tutte le stesse funzionalità delle distribuzioni di Batch globali. Tuttavia, consentono di usare l'infrastruttura globale di Azure per instradare dinamicamente il traffico solo ai data center all'interno della zona dati definita da Microsoft con la migliore disponibilità per ogni richiesta.

Normale

• Nome SKU nel codice: Standard

Le distribuzioni standard forniscono un modello di fatturazione con pagamento in base alla chiamata nel modello scelto. Questo modello può essere un modo rapido per iniziare, perché si paga solo per ciò che si utilizza. I modelli disponibili in ogni regione e capacità di trasmissione potrebbero essere limitati.

Le distribuzioni standard sono ottimizzate per carichi di lavoro con volumi da bassi a medi con un'elevata possibilità di burst. I clienti con un volume coerente elevato potrebbero riscontrare una maggiore variabilità di latenza.

Provvisto a livello regionale

• Nome SKU nel codice: ProvisionedManaged

Le distribuzioni con provisioning a livello di area consentono di specificare la quantità di velocità effettiva necessaria in una distribuzione. Il servizio alloca quindi la capacità di elaborazione del modello necessaria e garantisce che sia pronta per l'utente. La velocità effettiva è definita in termini di unità elaborate sottoposte a provisioning, ovvero un modo normalizzato per rappresentare la velocità effettiva per la distribuzione. Ogni coppia di versioni del modello richiede quantità diverse di unità di elaborate sottoposte a provisioning e fornisce quantità differenti di velocità effettiva per unità elaborata sottoposta a provisioning. Altre informazioni sono disponibili nell'articolo sui concetti relativi alla velocità effettiva sottoposta a provisioning.

Disabilitare l'accesso alle distribuzioni globali nella sottoscrizione

Azure Policy aiuta ad applicare gli standard dell'organizzazione e a valutare la conformità su larga scala. Tramite il dashboard di conformità, offre una visualizzazione aggregata per valutare lo stato complessivo dell'ambiente, con la possibilità di eseguire il drill-down in base alla granularità per risorsa e per criterio. Consente inoltre di ottenere la conformità delle risorse tramite la correzione in blocco per le risorse esistenti e la correzione automatica per le nuove risorse. Scopri di più su Azure Policy e sui controlli predefiniti specifici per gli strumenti Foundry.

È possibile usare i criteri seguenti per disabilitare l'accesso a qualsiasi tipo di distribuzione Foundry. Per disabilitare l'accesso a un tipo di distribuzione specifico, sostituire GlobalStandard con il nome dello SKU per il tipo di distribuzione a cui si vuole disabilitare l'accesso.

{
    "mode": "All",
    "policyRule": {
        "if": {
            "allOf": [
                {
                    "field": "type",
                    "equals": "Microsoft.CognitiveServices/accounts/deployments"
                },
                {
                    "field": "Microsoft.CognitiveServices/accounts/deployments/sku.name",
                    "equals": "GlobalStandard"
                }
            ]
        }
    }
}

Sviluppatore (per modelli ottimizzati)

• Nome SKU nel codice: DeveloperTier

Importante

I dati archiviati inattivi rimangono nell'area geografica di Azure designata. Tuttavia, i dati potrebbero essere elaborati per l'analisi in qualsiasi sede Foundry. Altre informazioni sulla residenza dei dati.

I modelli ottimizzati supportano una distribuzione Developer progettata per supportare la valutazione del modello personalizzata. Non offre garanzie di residenza dei dati o un contratto di servizio. Per altre informazioni sull'uso del Developer tipo di distribuzione, vedere la guida all'ottimizzazione.

Distribuire modelli

Per informazioni sulla creazione di risorse e sulla distribuzione di modelli, vedere la Guida alla creazione di risorse.

Contenuti correlati

• Quote e limiti dei modelli Di Microsoft Foundry
• Privacy dei dati e sicurezza per i modelli Foundry