Account di archiviazione BLOB in blocchi Premium
Account di archiviazione BLOB in blocchi Premium rendono disponibili i dati tramite hardware ad alte prestazioni. I dati vengono archiviati in unità SSD ottimizzate per la bassa latenza. Le unità SSD offrono una velocità effettiva superiore rispetto ai dischi rigidi tradizionali. Il trasferimento dei file è molto più veloce perché i dati vengono archiviati in chip di memoria immediatamente accessibili. Tutte le parti di un'unità sono accessibili contemporaneamente. Al contrario, le prestazioni di un'unità disco rigido (HDD) dipendono dalla prossimità dei dati alle testine di lettura/scrittura.
Carichi di lavoro con prestazioni elevate
Gli account di archiviazione BLOB in blocchi Premium sono ideali per carichi di lavoro che richiedono tempi di risposta rapidi e coerenti e/o che hanno un numero elevato di operazioni di input/output al secondo (IOP). Di seguito sono illustrati alcuni carichi di lavoro di esempio.
Carichi di lavoro interattivi. Le applicazioni altamente interattive e in tempo reale devono scrivere rapidamente i dati. Le applicazioni di e-commerce e mapping spesso richiedono aggiornamenti istantanei e feedback degli utenti. In un'applicazione di e-commerce, ad esempio, gli elementi visualizzati con minore frequenza probabilmente non vengono memorizzati nella cache. Su richiesta, però, devono essere immediatamente mostrati al cliente. La modifica interattiva o le applicazioni di gioco online multiplayer mantengono un'esperienza di qualità fornendo aggiornamenti in tempo reale.
IoT/analisi in tempo reale. In uno scenario IoT, ogni secondo potrebbero essere inviate al cloud numerose operazioni di scrittura di piccole dimensioni. Grandi volumi di dati potrebbero essere acquisiti, aggregati a scopo di analisi e poi eliminati quasi immediatamente. Le capacità di inserimento elevate dell'archiviazione BLOB in blocchi Premium rendono questo livello idoneo per i carichi di lavoro di questo tipo.
Intelligenza artificiale/apprendimento automatico. Gli scenari IA/ML implicano l'utilizzo e l'elaborazione di tipi di dati diversi, ad esempio oggetti visivi, parlato e testo. I carichi di lavoro HPC (High Performance Computing) di questo tipo gestiscono grandi volumi di dati che richiedono una risposta rapida e tempi di inserimento efficienti per l'analisi.
Convenienza
Gli account di archiviazione BLOB in blocchi Premium hanno un costo di archiviazione superiore, ma un costo di transazione inferiore rispetto agli account standard v2 per utilizzo generico. Se le applicazioni e i carichi di lavoro eseguono un numero elevato di transazioni, l'archiviazione BLOB in blocchi Premium può risultare conveniente, soprattutto se il carico di lavoro ha un'intensa attività di scrittura.
Nella maggior parte dei casi, i carichi di lavoro che eseguono più di 35-40 transazioni al secondo per terabyte (TPS/TB) sono idonei per questo tipo di account. Ad esempio, se il carico di lavoro esegue 500 milioni di operazioni di lettura e 100 milioni di operazioni di scrittura in un mese, è possibile calcolare il TPS/TB come indicato di seguito:
Transazioni di scrittura al secondo = 100.000.000 / (30 x 24 x 60 x 60) = 39 (arrotondato al numero intero più vicino)
Transazioni di lettura al secondo = 500.000.000 / (30 x 24 x 60 x 60) = 193 (arrotondato al numero intero più vicino)
Totale transazioni al secondo = 193 + 39 = 232
Supponendo che l'account abbia 5 TB di dati in media, TPS/TB sarebbe 230 / 5 = 46.
Nota
I prezzi variano in base all'operazione e all'area. Usare il calcolatore prezzi di Azure per confrontare i prezzi tra i livelli di prestazioni Standard e Premium.
La tabella seguente illustra la convenienza degli account di archiviazione BLOB in blocchi Premium. I numeri in questa tabella si basano su un account di archiviazione BLOB in blocchi Premium abilitato per Azure Data Lake Storage Gen2 (chiamato anche livello Premium per Azure Data Lake Storage). Ogni colonna rappresenta il numero di transazioni in un mese. Ogni riga rappresenta la percentuale di transazioni di lettura. Ogni cella della tabella mostra la percentuale di riduzione dei costi associata a una percentuale di transazione di lettura e il numero di transazioni eseguite.
Ad esempio, supponendo che l'account si trovi nell'area Stati Uniti orientali 2, il numero di transazioni con l'account supera i 90 milioni e il 70% di tali transazioni sono transazioni di lettura, gli account di archiviazione BLOB in blocchi Premium sono più convenienti.
Nota
Se si preferisce valutare la convenienza in base al numero di transazioni al secondo per ogni TB di dati, è possibile usare le intestazioni di colonna visualizzate nella parte inferiore della tabella.
Scenari Premium
Questa sezione contiene esempi reali di come alcuni partner di Archiviazione di Azure usano l'archiviazione BLOB in blocchi Premium. Alcuni di essi abilitano anche Azure Data Lake Storage Gen2, che introduce una struttura di file gerarchica che può migliorare ulteriormente le prestazioni delle transazioni in determinati scenari.
Suggerimento
In un caso d'uso di analisi, è consigliabile usare Azure Data Lake Storage Gen2 insieme a un account di archiviazione BLOB in blocchi Premium.
Questa sezione contiene gli esempi seguenti:
- Account di archiviazione BLOB in blocchi Premium
Idratazione rapida dei dati
L'archiviazione BLOB in blocchi Premium consente di idratare o di aggiornare rapidamente l'ambiente. Nei settori come quello bancario, determinati requisiti normativi potrebbero richiedere alle aziende di abbattere abitualmente i propri ambienti e poi di ricrearli da zero. I dati usati per idratare l'ambiente devono essere caricati rapidamente.
Alcuni partner di Microsoft archiviano una copia dell'istanza di MongoDB ogni settimana in un account di archiviazione BLOB in blocchi Premium. Il sistema viene quindi demolito. Per ripristinare rapidamente il sistema, viene letta e caricata la copia più recente dell'istanza di MongoDB. A scopo di controllo, le copie precedenti vengono mantenute nell'archiviazione cloud per un periodo di tempo.
Applicazioni di modifica interattiva
Nelle applicazioni in cui più utenti modificano lo stesso contenuto, la velocità degli aggiornamenti diventa fondamentale per un'esperienza utente fluida.
Alcuni partner di Microsoft sviluppano software di modifica dei video. Qualsiasi aggiornamento eseguito da un utente su un video è immediatamente visibile ad altri utenti. Gli utenti possono concentrarsi sulle proprie attività invece di attendere la visualizzazione degli aggiornamenti del contenuto. Le basse latenze associate all'archiviazione BLOB in blocchi Premium consentono di creare un'esperienza continua e collaborativa.
Software di visualizzazione dati
Gli utenti possono essere molto più produttivi con il software di visualizzazione dei dati se il tempo di rendering è rapido.
Le aziende del settore del mapping usano gli editor di mapping per rilevare i problemi relativi alle mappe. Questi editor usano i dati generati dai dati GPS (Global Positioning System) del cliente. Per creare sovrapposizioni della mappa, il software di modifica esegue il rendering di piccole sezioni di una mappa effettuando rapide ricerche delle chiavi.
In un caso, prima di usare l'archiviazione BLOB in blocchi Premium, un partner usava i cluster HBase supportati dall'archiviazione v2 standard per utilizzo generico. Tuttavia, mantenere cluster di grandi dimensioni in esecuzione continua era diventato costoso. Questo partner ha deciso di lasciare questa architettura e ha invece usato l'archiviazione BLOB in blocchi Premium per ricerche rapide delle chiavi. Per creare sovrapposizioni, sono state usate le API REST per eseguire il rendering dei riquadri corrispondenti alle coordinate GPS. L'account di archiviazione BLOB in blocchi Premium ha fornito una soluzione conveniente e le latenze sono diventante molto più prevedibili.
Business relativi all'e-commerce
Oltre a supportare gli archivi rivolti ai clienti, le aziende di e-commerce possono anche fornire soluzioni di data warehousing e analisi ai team interni. Alcuni partner usano gli account di archiviazione BLOB in blocchi Premium per supportare i requisiti di bassa latenza delle soluzioni di data warehousing e analisi. In un caso, un team di catalogo gestisce un'applicazione di data warehousing per i dati relativi a offerte, prezzi, metodi di spedizione, fornitori, inventario e logistica. Le informazioni vengono sottoposte a query, analizzate, estratte ed esaminate per più casi d'uso. Il team esegue analisi su questi dati per fornire dettagli e informazioni pertinenti a vari team di commercializzazione.
Analisi interattiva
In quasi tutti i settori le aziende devono eseguire query e analizzare i dati in modo interattivo.
Gli scienziati dei dati, gli analisti e gli sviluppatori possono ottenere più velocemente informazioni che variano nel tempo eseguendo query sui dati archiviati in un account di archiviazione BLOB in blocchi Premium. I dirigenti possono caricare i dashboard molto più rapidamente quando i dati visualizzati in tali dashboard provengono da un account di archiviazione BLOB in blocchi Premium anziché da un account v2 standard per utilizzo generico.
In uno scenario, gli analisti hanno bisogno di analizzare rapidamente i dati di telemetria di milioni di dispositivi per comprendere meglio il modo in cui vengono usati i prodotti e prendere decisioni relative al rilascio del prodotto. L'archiviazione dei dati nei database SQL è costosa. Per ridurre i costi e aumentare la superficie su cui è possibile eseguire query, è stato usato un account di archiviazione BLOB in blocchi Premium abilitato per Azure Data Lake Storage Gen2 ed è stato eseguito il calcolo in Presto e Spark per ricavare informazioni dettagliate dalle tabelle hive. In questo modo, anche i dati a cui si accede raramente hanno la stessa potenzialità di calcolo dei dati a cui si accede di frequente.
Per chiudere il divario tra le prestazioni dell'ordine di frazione di secondo di SQL e le operazioni di input/output al secondo (I/OP) di Presto verso l'archiviazione esterna, la coerenza e la velocità sono fondamentali, soprattutto quando si gestiscono file ORC (Row Columnar) di piccole dimensioni. Un account di archiviazione BLOB in blocchi Premium quando usato con Data Lake Storage Gen2 ha ripetutamente dimostrato un miglioramento delle prestazioni di tre volte rispetto a un account v2 standard per utilizzo generico in questo scenario. Le query sono state eseguite in modo sufficientemente rapido per essere percepite come locali nel computer di calcolo.
In un altro caso, un partner archivia ed esegue query sui log generati dalla soluzione di sicurezza. I log vengono generati usando Databricks e quindi archiviati in un account di archiviazione BLOB in blocchi Premium abilitato per Data Lake Storage Gen2. Gli utenti finali eseguono query e ricerche su questi dati usando Esplora dati di Azure. Hanno scelto questo tipo di account per aumentare la stabilità e le prestazioni delle query interattive. Hanno anche impostato il criterio Delete Action di gestione del ciclo di vita su alcuni giorni, cosa che consente di ridurre i costi. Questo criterio impedisce loro di mantenere i dati all'infinito. I dati vengono invece eliminati quando non sono più necessari.
Pipeline di elaborazione dati
In quasi tutti i settori è necessario che le aziende elaborino i dati. I dati non elaborati di più origini devono essere puliti ed elaborati in modo che diventino utili per l'utilizzo downstream in strumenti come i dashboard dei dati che aiutano gli utenti a prendere decisioni.
Anche se la velocità di elaborazione non è sempre la principale preoccupazione per l'elaborazione dei dati, in alcuni settori è richiesta. Ad esempio, le aziende del settore dei servizi finanziari spesso devono elaborare i dati in modo affidabile e più rapidamente possibile. Per rilevare le frodi, tali aziende devono elaborare input da varie fonti, identificare i rischi per i clienti e intervenire con azioni rapide.
In alcuni casi, i partner usano più account di archiviazione standard per archiviare i dati di varie origini. Alcuni di questi dati vengono quindi spostati in un account di archiviazione BLOB in blocchi Premium abilitato per Data Lake Storage, in cui un'applicazione di elaborazione dei dati legge frequentemente i dati appena arrivati. Le chiamate nell'elenco di directory in questo account sono state molto più veloci ed eseguite in modo molto più coerente rispetto a quelle che sarebbero stati altrimenti eseguite in un account v2 standard per utilizzo generico. La velocità e la coerenza offerte dall'account hanno garantito la costante disponibilità dei nuovi dati per i sistemi di elaborazione downstream il più rapidamente possibile. Ciò ha aiutato gli utenti a intercettare e ad agire tempestivamente sui potenziali rischi per la sicurezza.
internet delle cose (IoT)
La piattaforma IoT è diventata una parte significativa della quotidianità. L'IoT viene usato per tenere traccia dei movimenti delle auto, delle luci di controllo e per monitorare la salute. Ha anche applicazioni industriali. Ad esempio, le aziende usano IoT per avviare i propri progetti di smart factory, migliorare la produzione agricola e sulle piattaforme petrolifere per la manutenzione predittiva. Gli account di archiviazione BLOB in blocchi Premium aggiungono un valore significativo a questi scenari.
Alcuni partner di Microsoft lavorano nell'industria mineraria. Usano un account di archiviazione BLOB in blocchi Premium abilitato per Data Lake Storage Gen2 insieme a HDInsight (Hbase) per inserire i dati dei sensori delle serie temporali provenienti da più tipi di apparecchiature minerarie, con un profilo di carico molto gravoso. L'archiviazione BLOB in blocchi Premium ha contribuito a soddisfare la loro necessità di inserimento con frequenza di campionamento elevata. È anche conveniente, perché l'archiviazione BLOB in blocchi Premium è ottimizzata in termini di costo per i carichi di lavoro che eseguono un numero elevato di transazioni di scrittura e questo carico di lavoro genera un numero elevato di transazioni di scrittura di piccole dimensioni (nell'ordine di decine di migliaia al secondo).
Machine Learning
In molti casi, è necessario elaborare un numero elevato di dati per eseguire il training di un modello di Machine Learning. Per completare questa elaborazione, i computer di calcolo devono essere eseguiti per molto tempo. Rispetto ai costi di archiviazione, i costi di calcolo in genere rappresentano una percentuale molto maggiore della fattura, quindi la riduzione del tempo di esecuzione dei computer di calcolo può comportare risparmi significativi. La bassa latenza che si ottiene usando l'archiviazione BLOB in blocchi Premium può ridurre significativamente questo tempo e l'importo della fattura.
Alcuni partner distribuiscono pipeline di elaborazione dati in cluster Spark in cui eseguono training e inferenza di Machine Learning. Archiviano le tabelle (file Parquet) e i checkpoint di Spark in un account di archiviazione BLOB in blocchi Premium. I checkpoint di Spark possono creare un numero enorme di file e cartelle annidati. Le operazioni di elenco delle directory sono veloci perché combinano la bassa latenza di un account di archiviazione BLOB in blocchi Premium con la struttura dei dati gerarchica resa disponibile con Data Lake Storage Gen2.
Inoltre alcuni partner nel settore dei semiconduttori combinano IoT e Machine Learning. I dispositivi IoT collegati alle macchine nell'impianto di produzione prendono le immagini di wafer di semiconduttori e le inviano al proprio account. Usando l'inferenza di Deep Learning, il sistema può informare i computer locali in caso di problemi con l'ambiente di produzione e se è necessario intervenire. È necessario poter caricare ed elaborare le immagini in modo rapido e affidabile. L'uso dell'account di archiviazione BLOB in blocchi Premium abilitato per Data Lake Storage Gen2 consente di farlo.
Analisi di flusso in tempo reale
Per supportare l'analisi interattiva quasi in tempo reale, un sistema deve inserire ed elaborare grandi quantità di dati e quindi renderli disponibili per i sistemi downstream. L'uso di un account di archiviazione BLOB in blocchi Premium abilitato per Data Lake Storage Gen2 è ideale per questi tipi di scenari.
Le aziende del settore dei media e dell'intrattenimento possono generare un numero elevato di log e di dati di telemetria in un breve periodo di tempo durante la trasmissione di un evento. Alcuni partner di Microsoft si basano su più partner di rete per la distribuzione di contenuti (CDN) per lo streaming. Devono decidere quasi in tempo reale a quali partner della rete CDN allocare il traffico. Di conseguenza, i dati devono essere disponibili per l'esecuzione di query pochi secondi dopo l'inserimento. Per semplificare questo rapido processo decisionale, usano i dati archiviati nell'archivio BLOB in blocchi Premium e li elaborano in Esplora dati di Azure. Tutti i dati di telemetria caricati nell'archiviazione vengono trasformati in Esplora dati di Azure, dove possono essere archiviati in un formato familiare in cui gli operatori e i dirigenti possono eseguire query in modo rapido e affidabile.
I dati vengono caricati in più account di archiviazione BLOB con prestazioni Premium. Ogni account è connesso a una risorsa di Griglia di eventi e dell'hub eventi. Esplora dati di Azure recupera i dati dall'archiviazione BLOB, esegue tutte le trasformazioni necessarie per normalizzare i dati (ad esempio: decompressione di file ZIP o conversione da JSON a CSV). I dati vengono quindi resi disponibili per la query tramite Esplora dati di Azure e i dashboard vengono visualizzati in Grafana. I dashboard di Grafana vengono usati da operatori, dirigenti e altri utenti. Il cliente conserva i log originali nell'archiviazione con prestazioni Premium oppure li copia in un account di archiviazione v2 per utilizzo generico in cui possono essere archiviati nel livello di archiviazione ad accesso frequente o sporadico per la conservazione a lungo termine e l'analisi futura.
Introduzione a Premium
Prima di tutto, verificare che le funzionalità di archiviazione BLOB preferite siano compatibili con gli account di archiviazione BLOB in blocchi Premium, quindi creare l'account.
Nota
Non è possibile convertire un account di archiviazione v2 standard per utilizzo generico esistente in un account di archiviazione BLOB in blocchi Premium. Per eseguire la migrazione a un account di archiviazione BLOB in blocchi Premium, è necessario creare un account di archiviazione BLOB in blocchi Premium ed eseguire la migrazione dei dati al nuovo account.
Verificare la compatibilità delle funzionalità di archiviazione BLOB
Alcune funzionalità di archiviazione BLOB non sono ancora supportate o hanno un supporto parziale negli account di archiviazione BLOB in blocchi Premium. Prima di scegliere l'archiviazione Premium, esaminare l'articolo Supporto delle funzionalità di Archiviazione BLOB negli account di Archiviazione di Azure per determinare se le funzionalità che si intende usare sono completamente supportate nell'account. Il supporto delle funzionalità è sempre in espansione, quindi assicurarsi di esaminare periodicamente questo articolo per gli aggiornamenti.
Creare un nuovo account di archiviazione
Per creare un account di archiviazione BLOB in blocchi Premium, assicurarsi di scegliere l'opzione Premium per le prestazioni e il tipo di account BLOB in blocchi durante la creazione dell'account.
Nota
Alcune funzionalità di archiviazione BLOB non sono ancora supportate o hanno un supporto parziale negli account di archiviazione BLOB in blocchi Premium. Prima di scegliere l'archiviazione Premium, esaminare l'articolo Supporto delle funzionalità di Archiviazione BLOB negli account di Archiviazione di Azure per determinare se le funzionalità che si intende usare sono completamente supportate nell'account. Il supporto delle funzionalità è sempre in espansione, quindi assicurarsi di esaminare periodicamente questo articolo per gli aggiornamenti.
Se l'account di archiviazione verrà usato per l'analisi, è consigliabile usare Azure Data Lake Storage Gen2 insieme a un account di archiviazione BLOB in blocchi Premium. Per sbloccare le funzionalità di Azure Data Lake Storage Gen2, abilitare l'impostazione Spazio dei nomi gerarchico nella scheda Avanzate della pagina Crea account di archiviazione.
L'immagine seguente mostra questa impostazione nella pagina Crea account di archiviazione.
Per indicazioni complete, vedere l'articolo Creare un account di archiviazione.