Confrontare le opzioni di archiviazione per l'uso con i cluster Azure HDInsight
È possibile scegliere tra diversi servizi di archiviazione di Azure durante la creazione di cluster HDInsight:
- Archiviazione BLOB di Azure con HDInsight
- Azure Data Lake Archiviazione Gen2 con HDInsight
- Azure Data Lake Archiviazione Gen1 con HDInsight
Questo articolo offre una panoramica di questi tipi di archiviazione e delle relative funzionalità univoche.
Archiviazione tipi e funzionalità
La tabella seguente riepiloga i servizi Archiviazione di Azure supportati con versioni diverse di HDInsight:
| Servizio di archiviazione | Tipo di conto | Tipo di spazio dei nomi | Servizi supportati | Livelli di prestazioni supportati | Livelli di accesso supportati | HDInsight Version | Tipo di cluster |
|---|---|---|---|---|---|---|---|
| Azure Data Lake Storage Gen2 | Utilizzo generico v2 | Gerarchico (file system) | BLOB | Standard | Frequente, sporadico, archivio | 3.6+ | Tutti tranne Spark 2.1 e 2.2 |
| Archiviazione di Azure | Utilizzo generico v2 | Object | BLOB | Standard | Frequente, sporadico, archivio | 3.6+ | Tutte le date |
| Archiviazione di Azure | Utilizzo generico v1 | Object | BLOB | Standard | N/D | Tutte le date | Tutte le date |
| Archiviazione di Azure | Archiviazione BLOB** | Object | BLOB in blocchi | Standard | Frequente, sporadico, archivio | Tutte le date | Tutte le date |
| Azure Data Lake Storage Gen1 | N/D | Gerarchico (file system) | N/D | N/D | N/D | 3.6 Solo | Tutti tranne HBase |
| Archiviazione di Azure | BLOB in blocchi | Object | BLOB in blocchi | Premium | N/D | 3.6+ | Solo HBase con scritture accelerate |
| Azure Data Lake Storage Gen2 | BLOB in blocchi | Gerarchico (file system) | BLOB in blocchi | Premium | N/D | 3.6+ | Solo HBase con scritture accelerate |
**Per i cluster HDInsight, solo gli account di archiviazione secondari possono essere di tipo BLOB Archiviazione e BLOB di pagine non è un'opzione di archiviazione supportata.
Per altre informazioni sui tipi di account Archiviazione di Azure, vedere Panoramica dell'account di archiviazione di Azure
Per altre informazioni sui livelli di accesso Archiviazione di Azure, vedere Archiviazione BLOB di Azure: Premium (anteprima), Livelli di archiviazione ad accesso frequente, sporadico e archivio
È possibile creare cluster usando combinazioni di servizi per l'archiviazione primaria e secondaria facoltativa. La tabella seguente riepiloga le configurazioni di archiviazione cluster attualmente supportate in HDInsight:
| HDInsight Version | Archiviazione primario | Archiviazione secondario | Supportata |
|---|---|---|---|
| 3.6 & 4.0 | Utilizzo generico V1, Utilizzo generico V2 | Utilizzo generico V1, Utilizzo generico V2, BLOB Archiviazione(BLOB in blocchi) | Sì |
| 3.6 & 4.0 | Utilizzo generico V1, Utilizzo generico V2 | Data Lake Storage Gen2 | No |
| 3.6 & 4.0 | Data Lake Archiviazione Gen2* | Data Lake Storage Gen2 | Sì |
| 3.6 & 4.0 | Data Lake Archiviazione Gen2* | Utilizzo generico V1, Utilizzo generico V2, BLOB Archiviazione(BLOB in blocchi) | Sì |
| 3.6 & 4.0 | Data Lake Storage Gen2 | Data Lake Storage Gen1 | No |
| 3.6 | Data Lake Storage Gen1 | Data Lake Storage Gen1 | Sì |
| 3.6 | Data Lake Storage Gen1 | Utilizzo generico V1, Utilizzo generico V2, BLOB Archiviazione(BLOB in blocchi) | Sì |
| 3.6 | Data Lake Storage Gen1 | Data Lake Storage Gen2 | No |
| 4.0 | Data Lake Storage Gen1 | Qualsiasi | No |
| 4.0 | Utilizzo generico V1, Utilizzo generico V2 | Data Lake Storage Gen1 | No |
*=Può trattarsi di uno o più data lake Archiviazione Gen2, purché siano tutti configurati per usare la stessa identità gestita per l'accesso al cluster.
Nota
L'archiviazione primaria di Data Lake Archiviazione Gen2 non è supportata per i cluster Spark 2.1 o 2.2.
Replica dei dati
Azure HDInsight non archivia i dati dei clienti. I mezzi principali di archiviazione per un cluster sono gli account di archiviazione associati. È possibile collegare il cluster a un account di archiviazione esistente o creare un nuovo account di archiviazione durante il processo di creazione del cluster. Se viene creato un nuovo account, verrà creato come account di archiviazione con ridondanza locale e soddisfa i requisiti di residenza dei dati nell'area , inclusi quelli specificati nel Centro protezione.
È possibile verificare che HDInsight sia configurato correttamente per archiviare i dati in una singola area assicurandosi che l'account di archiviazione associato a HDInsight sia LRS o un'altra opzione di archiviazione menzionata nel Centro protezione attendibili.
Nota
L'aggiornamento dell'account di archiviazione primario o secondario di un cluster in esecuzione con le funzionalità di Azure Data Lake Archiviazione Gen2 non è supportato. Per modificare il tipo di archiviazione di un cluster HDInsight esistente in Data Lake Archiviazione Gen2, è necessario ricreare il cluster e selezionare un account di archiviazione abilitato per lo spazio dei nomi gerarchico.