Account di archiviazione BLOB in blocchi Premium
Account di archiviazione BLOB in blocchi Premium rendono disponibili i dati tramite hardware ad alte prestazioni. I dati vengono archiviati in unità SSD ottimizzate per la bassa latenza. Le unità SSD offrono una velocità effettiva superiore rispetto ai dischi rigidi tradizionali. Il trasferimento dei file è molto più veloce perché i dati vengono archiviati in chip di memoria accessibili immediatamente. Tutte le parti di un'unità accessibili contemporaneamente. Al contrario, le prestazioni di un disco rigido (HDD) dipendono dalla prossimità dei dati alle teste di lettura/scrittura.
Carichi di lavoro ad alte prestazioni
Gli account di archiviazione BLOB a blocchi Premium sono ideali per i carichi di lavoro che richiedono tempi di risposta rapidi e coerenti e/o hanno un numero elevato di operazioni di output di input al secondo (IOP). Di seguito sono illustrati alcuni carichi di lavoro di esempio.
Carichi di lavoro interattivi. Le applicazioni altamente interattive e in tempo reale devono scrivere rapidamente i dati. Le applicazioni di e-commerce e mapping richiedono spesso aggiornamenti istantanei e feedback degli utenti. In un'applicazione di e-commerce, ad esempio, gli elementi visualizzati con minore frequenza probabilmente non vengono memorizzati nella cache. Su richiesta, però, devono essere immediatamente mostrati al cliente. La modifica interattiva o le applicazioni di gioco online multi-player mantengono un'esperienza di qualità fornendo aggiornamenti in tempo reale.
Analisi di streaming IoT/. In uno scenario IoT, ogni secondo potrebbero essere inviate al cloud numerose operazioni di scrittura di piccole dimensioni. Grandi volumi di dati potrebbero essere acquisiti, aggregati a scopo di analisi e poi eliminati quasi immediatamente. Le capacità di inserimento elevate dell'archiviazione BLOB in blocchi Premium rendono questo livello idoneo per i carichi di lavoro di questo tipo.
Intelligenza artificiale/Machine Learning (AI/ML). Gli scenari IA/ML implicano l'utilizzo e l'elaborazione di tipi di dati diversi, ad esempio oggetti visivi, parlato e testo. I carichi di lavoro HPC (High Performance Computing) di questo tipo gestiscono grandi volumi di dati che richiedono una risposta rapida e tempi di inserimento efficienti per l'analisi.
Convenienza
Gli account di archiviazione BLOB a blocchi Premium hanno un costo di archiviazione più elevato, ma un costo di transazione inferiore rispetto agli account generici v2 standard. Se le applicazioni e i carichi di lavoro eseguono un numero elevato di transazioni, l'archiviazione BLOB a blocchi Premium può essere conveniente, soprattutto se il carico di lavoro è pesante da scrivere.
Nella maggior parte dei casi, i carichi di lavoro che eseguono più di 35 a 40 transazioni al secondo al secondo per terabyte (TPS/TB) sono buoni candidati per questo tipo di account. Ad esempio, se il carico di lavoro esegue 500 milioni di operazioni di lettura e 100 milioni di operazioni di scrittura in un mese, è possibile calcolare il TPS/TB come indicato di seguito:
Transazioni di scrittura al secondo = 100.000.000 / ( 30 x 24 x 60 x 60) = 39 (arrotondato al numero intero più vicino)
Transazioni di lettura al secondo = 500.000.000 / (30 x 24 x 60 x 60) = 193 (arrotondato al numero intero più vicino)
Transazioni totali al secondo = 193 + 39 = 232
Supponendo che l'account abbia 5 TB di dati in media, TPS/TB sarebbe 230/5 = 46.
Nota
I prezzi differiscono per operazione e per area. Usare il calcolatore dei prezzi di Azure per confrontare i prezzi tra livelli di prestazioni standard e Premium.
La tabella seguente illustra l'efficacia dei costi degli account di archiviazione BLOB a blocchi Premium. I numeri di questa tabella si basano su un account di archiviazione BLOB a blocchi premium abilitato per Azure Data Lake Storage Gen2 (noto anche come livello Premium per Azure Data Lake Storage). Ogni colonna rappresenta il numero di transazioni in un mese. Ogni riga rappresenta la percentuale di transazioni di lettura. Ogni cella nella tabella mostra la percentuale di riduzione dei costi associata a una percentuale di transazione di lettura e il numero di transazioni eseguite.
Ad esempio, presupponendo che l'account si trovi nell'area Stati Uniti orientali 2, il numero di transazioni con l'account supera il 90M e il 70% di queste transazioni sono transazioni di lettura, gli account di archiviazione BLOB a blocchi Premium sono più convenienti.
Nota
Se si preferisce valutare l'efficacia dei costi in base al numero di transazioni al secondo per ogni TB di dati, è possibile usare le intestazioni di colonna visualizzate nella parte inferiore della tabella.
Scenari Premium
Questa sezione contiene esempi reali di come alcuni partner di Archiviazione di Azure usano l'archiviazione BLOB a blocchi Premium. Alcuni di essi abilitano anche Azure Data Lake Storage Gen2 che introduce una struttura gerarchica di file che può migliorare ulteriormente le prestazioni delle transazioni in determinati scenari.
Suggerimento
Se si ha un caso d'uso di analisi, è consigliabile usare Azure Data Lake Storage Gen2 insieme a un account di archiviazione BLOB a blocchi Premium.
Questa sezione contiene gli esempi seguenti:
- Account di archiviazione BLOB in blocchi Premium
Idratazione rapida dei dati
L'archiviazione BLOB a blocchi Premium consente di idratare o di aumentare rapidamente l'ambiente. Nei settori come il settore bancario, alcuni requisiti normativi potrebbero richiedere alle aziende di abbattere regolarmente i propri ambienti e quindi portarli indietro da zero. I dati usati per idratare l'ambiente devono caricare rapidamente.
Alcuni dei nostri partner archiviano una copia dell'istanza di MongoDB ogni settimana in un account di archiviazione BLOB a blocchi Premium. Il sistema viene quindi eliminato. Per ripristinare rapidamente il sistema, la copia più recente dell'istanza di MongoDB viene caricata e caricata. A scopo di controllo, le copie precedenti vengono mantenute nell'archiviazione cloud per un periodo di tempo.
Applicazioni di modifica interattiva
Nelle applicazioni in cui più utenti modificano lo stesso contenuto, la velocità degli aggiornamenti diventa fondamentale per un'esperienza utente uniforme.
Alcuni dei nostri partner sviluppano software di modifica video. Qualsiasi aggiornamento eseguito da un utente a un video è immediatamente visibile agli altri utenti. Gli utenti possono concentrarsi sulle loro attività anziché attendere che vengano visualizzati gli aggiornamenti del contenuto. Le latenze basse associate all'archiviazione BLOB a blocchi Premium consentono di creare questa esperienza semplice e collaborativa.
Software di visualizzazione dei dati
Gli utenti possono essere molto più produttivi con il software di visualizzazione dei dati se il tempo di rendering è rapido.
Le aziende nel settore del mapping usano editor di mapping per rilevare i problemi relativi alle mappe. Questi editor usano i dati generati dai dati gps (Global Positioning System) del cliente. Per creare sovrapposizioni della mappa, il software di modifica esegue il rendering di piccole sezioni di una mappa eseguendo rapidamente ricerche chiave.
In un caso, prima di usare l'archiviazione BLOB a blocchi Premium, un partner ha usato cluster HBase supportati dall'archiviazione generica v2 standard. Tuttavia, è diventato costoso mantenere i cluster di grandi dimensioni in esecuzione tutto il tempo. Questo partner ha deciso di allontanarsi da questa architettura e ha invece usato l'archiviazione BLOB a blocchi Premium per ricerche rapide delle chiavi. Per creare sovrapposizioni, hanno usato LE API REST per eseguire il rendering dei riquadri corrispondenti alle coordinate GPS. L'account di archiviazione BLOB a blocchi Premium li ha forniti con una soluzione conveniente e le latenze erano molto più prevedibili.
Aziende di e-commerce
Oltre a supportare i propri negozi, le aziende di e-commerce possono anche fornire soluzioni di data warehousing e analisi ai team interni. I partner hanno visto che i partner usano account di archiviazione BLOB a blocchi Premium per supportare i requisiti di bassa latenza da queste soluzioni di data warehousing e analisi. In un caso, un team di catalogo gestisce un'applicazione di data warehousing per i dati relativi a offerte, prezzi, metodi di spedizione, fornitori, inventario e logistica. Le informazioni vengono eseguite query, analizzate, estratte e estratte per più casi d'uso. Il team esegue analisi su questi dati per fornire a vari team di merchandising informazioni e informazioni pertinenti.
Analisi interattiva
In quasi tutti i settori è necessario che le aziende eseseguono query e analizzino i dati in modo interattivo.
I data scientist, gli analisti e gli sviluppatori possono derivare più rapidamente informazioni sensibili al tempo eseguendo query sui dati archiviati in un account di archiviazione BLOB in blocchi Premium. I dirigenti possono caricare i dashboard molto più rapidamente quando i dati visualizzati in tali dashboard provengono da un account di archiviazione BLOB in blocchi Premium anziché da un account standard per utilizzo generico v2.
In uno scenario, gli analisti hanno bisogno di analizzare rapidamente i dati di telemetria da milioni di dispositivi per comprendere meglio il modo in cui vengono usati i propri prodotti e per prendere decisioni sul rilascio del prodotto. L'archiviazione dei dati nei database SQL è costosa. Per ridurre i costi e per aumentare l'area di attacco su cui è possibile eseguire query, è stato usato un account di archiviazione BLOB in blocchi Premium abilitato Azure Data Lake Storage Gen2 ed eseguito il calcolo in Presto e Spark per produrre informazioni dettagliate dalle tabelle hive. In questo modo, anche i dati a cui si accede raramente hanno tutte le stesse potenzialità di calcolo dei dati a cui si accede di frequente.
Per colmare il divario tra le prestazioni del sottosecondo di SQL e le operazioni di output di input di Presto al secondo (I/OPs) all'archiviazione esterna, la coerenza e la velocità sono fondamentali, soprattutto quando si gestiscono file ORC (Row Columnar) ottimizzati di piccole dimensioni. Un account di archiviazione BLOB in blocchi Premium quando usato con Data Lake Storage Gen2 ha dimostrato ripetutamente un miglioramento delle prestazioni 3X rispetto a un account standard per utilizzo generico v2 in questo scenario. Le query eseguite in modo sufficientemente rapido per sentirsi locali nel computer di calcolo.
In un altro caso, un partner archivia ed esegue query su log generati dalla soluzione di sicurezza. I log vengono generati usando Databricks e quindi archiviati in un account di archiviazione BLOB in blocchi premium abilitato Data Lake Storage Gen2. Gli utenti finali eseguono query e ricercano questi dati usando Azure Esplora dati. Hanno scelto questo tipo di account per aumentare la stabilità e aumentare le prestazioni delle query interattive. Impostano anche i criteri di gestione Delete Action del ciclo di vita su alcuni giorni, che consentono di ridurre i costi. Questo criterio impedisce loro di mantenere i dati per sempre. I dati vengono invece eliminati una volta che non sono più necessari.
Pipeline di elaborazione dati
In quasi tutti i settori è necessario che le aziende elaborino i dati. I dati non elaborati da più origini devono essere puliti ed elaborati in modo che diventino utili per l'utilizzo downstream in strumenti come i dashboard dati che consentono agli utenti di prendere decisioni.
Anche se la velocità di elaborazione non è sempre la principale preoccupazione per l'elaborazione dei dati, alcuni settori lo richiedono. Ad esempio, le aziende del settore dei servizi finanziari spesso devono elaborare i dati in modo affidabile e nel modo più rapido possibile. Per rilevare le frodi, tali aziende devono elaborare input da varie fonti, identificare i rischi per i clienti e intraprendere azioni rapide.
In alcuni casi, i partner usano più account di archiviazione standard per archiviare i dati da varie origini. Alcuni di questi dati vengono quindi spostati in un account di archiviazione BLOB in blocchi Premium abilitato Data Lake Storage in cui un'applicazione di elaborazione dati legge spesso i dati appena arrivati. Le chiamate nell'elenco di directory in questo account erano molto più veloci ed eseguite in modo molto più coerente rispetto a quelle che altrimenti venivano eseguite in un account per utilizzo generico v2 standard. La velocità e la coerenza offerte dall'account hanno garantito che i nuovi dati siano sempre stati resi disponibili ai sistemi di elaborazione downstream il più rapidamente possibile. Questo li ha aiutati a intercettare e agire tempestivamente sui potenziali rischi per la sicurezza.
Internet delle cose
L'IoT è diventata una parte significativa della nostra vita quotidiana. L'IoT viene usato per tenere traccia dei movimenti delle auto, delle luci di controllo e monitorare la nostra salute. Ha anche applicazioni industriali. Ad esempio, le aziende usano IoT per abilitare i progetti di smart factory, migliorare l'output agricolo e sulle piattaforme petrolifere per la manutenzione predittiva. Gli account di archiviazione BLOB in blocchi Premium aggiungono un valore significativo a questi scenari.
Abbiamo partner nell'industria mineraria. Usano un Data Lake Storage Gen2 abilitare l'account di archiviazione BLOB in blocchi Premium insieme a HDInsight (Hbase) per inserire i dati dei sensori delle serie temporali da più tipi di apparecchiature di data mining, con un profilo di carico molto fiscale. L'archiviazione BLOB in blocchi Premium ha contribuito a soddisfare la necessità di inserimento con frequenza di campionamento elevata. È anche conveniente, poiché l'archiviazione BLOB in blocchi Premium è ottimizzata per i carichi di lavoro che eseguono un numero elevato di transazioni di scrittura e questo carico di lavoro genera un numero elevato di transazioni di scrittura di piccole dimensioni (nelle decine di migliaia al secondo).
Machine Learning
In molti casi, è necessario elaborare molti dati per eseguire il training di un modello di Machine Learning. Per completare questa elaborazione, i computer di calcolo devono essere eseguiti per molto tempo. Rispetto ai costi di archiviazione, i costi di calcolo in genere rappresentano una percentuale molto maggiore della fattura, quindi la riduzione del tempo di esecuzione dei computer di calcolo può comportare risparmi significativi. La bassa latenza che si ottiene usando l'archiviazione BLOB in blocchi Premium può ridurre significativamente questo tempo e la fattura.
Sono disponibili partner che distribuiscono pipeline di elaborazione dati in cluster Spark in cui eseguono il training e l'inferenza di Machine Learning. Archiviano tabelle Spark (file Parquet) e checkpoint in un account di archiviazione BLOB in blocchi Premium. I checkpoint Spark possono creare un numero enorme di file e cartelle annidati. Le operazioni di elenco delle directory sono veloci perché combinano la bassa latenza di un account di archiviazione BLOB in blocchi Premium con la struttura di dati gerarchica resa disponibile con Data Lake Storage Gen2.
Abbiamo anche partner nel settore dei semiconduttori con casi d'uso che intersecano IoT e Machine Learning. I dispositivi IoT collegati alle macchine dell'impianto di produzione prendono immagini di wafer semiconduttori e inviano tali dispositivi al loro conto. Usando l'inferenza di Deep Learning, il sistema può informare i computer locali se si verifica un problema con l'ambiente di produzione e se è necessario eseguire un'azione. Sono in grado di caricare ed elaborare immagini in modo rapido e affidabile. L'uso di Data Lake Storage Gen2 account di archiviazione BLOB in blocchi Premium abilitato consente di rendere possibile questa operazione.
Analisi di flusso in tempo reale
Per supportare l'analisi interattiva quasi in tempo reale, un sistema deve inserire ed elaborare grandi quantità di dati e quindi renderli disponibili per i sistemi downstream. L'uso di un account di archiviazione BLOB in blocchi Premium abilitato Data Lake Storage Gen2 è perfetto per questi tipi di scenari.
Le aziende del settore multimediale e di intrattenimento possono generare un numero elevato di log e dati di telemetria in un breve periodo di tempo durante la trasmissione di un evento. Alcuni dei nostri partner si affidano a più partner di rete per la distribuzione di contenuti (CDN) per lo streaming. Devono prendere decisioni quasi in tempo reale su quali partner della rete CDN allocare il traffico. Pertanto, i dati devono essere disponibili per l'esecuzione di query alcuni secondi dopo l'inserimento. Per semplificare questo processo decisionale rapido, usano i dati archiviati nell'archivio BLOB in blocchi Premium ed elaborano tali dati in Azure Esplora dati (ADX). Tutti i dati di telemetria caricati nell'archiviazione vengono trasformati in ADX, in cui possono essere archiviati in un formato familiare che gli operatori e i dirigenti possono eseguire query in modo rapido e affidabile.
I dati vengono caricati in più account di archiviazione BLOB con prestazioni Premium. Ogni account è connesso a una risorsa di Griglia di eventi e hub eventi. ADX recupera i dati dall'archiviazione BLOB, esegue tutte le trasformazioni necessarie per normalizzare i dati ( ad esempio: decompressione di file ZIP o conversione da JSON a CSV). I dati vengono quindi resi disponibili per la query tramite ADX e dashboard visualizzati in Grafana. I dashboard di Grafana vengono usati da operatori, dirigenti e altri utenti. Il cliente conserva i log originali nell'archiviazione delle prestazioni Premium oppure li copia in un account di archiviazione per utilizzo generico v2 in cui possono essere archiviati nel livello di accesso ad accesso frequente o sporadico per la conservazione a lungo termine e l'analisi futura.
Introduzione a Premium
Prima di tutto, verificare che le funzionalità di archiviazione BLOB preferite siano compatibili con gli account di archiviazione BLOB in blocchi Premium, quindi creare l'account.
Nota
Non è possibile convertire un account di archiviazione standard per utilizzo generico v2 esistente in un account di archiviazione BLOB in blocchi Premium. Per eseguire la migrazione a un account di archiviazione BLOB in blocchi Premium, è necessario creare un account di archiviazione BLOB in blocchi Premium ed eseguire la migrazione dei dati al nuovo account.
Verificare la compatibilità delle funzionalità di archiviazione BLOB
Alcune funzionalità di archiviazione BLOB non sono ancora supportate o hanno supporto parziale negli account di archiviazione BLOB in blocchi Premium. Prima di scegliere Premium, vedere l'articolo Supporto delle funzionalità di archiviazione BLOB negli account di archiviazione di Azure per determinare se le funzionalità che si intende usare sono completamente supportate nell'account. Il supporto delle funzionalità è sempre in espansione, quindi assicurarsi di esaminare periodicamente questo articolo per gli aggiornamenti.
Creare un nuovo account di archiviazione
Per creare un account di archiviazione BLOB in blocchi Premium, assicurarsi di scegliere l'opzione Prestazioni Premium e il tipo di account BLOB in blocchi durante la creazione dell'account.
Nota
Alcune funzionalità di archiviazione BLOB non sono ancora supportate o hanno supporto parziale negli account di archiviazione BLOB in blocchi Premium. Prima di scegliere Premium, vedere l'articolo Supporto delle funzionalità di archiviazione BLOB negli account di archiviazione di Azure per determinare se le funzionalità che si intende usare sono completamente supportate nell'account. Il supporto delle funzionalità è sempre in espansione, quindi assicurarsi di esaminare periodicamente questo articolo per gli aggiornamenti.
Se l'account di archiviazione verrà usato per l'analisi, è consigliabile usare Azure Data Lake Storage Gen2 insieme a un account di archiviazione BLOB in blocchi Premium. Per sbloccare Azure Data Lake Storage Gen2 funzionalità, abilitare l'impostazione Spazio dei nomi gerarchico nella scheda Avanzate della pagina Crea account di archiviazione.
L'immagine seguente mostra questa impostazione nella pagina Crea account di archiviazione .
Per indicazioni complete, vedere Creare un account di archiviazione .