Opslagopties vergelijken voor gebruik met Azure HDInsight-clusters
U kunt kiezen tussen een aantal verschillende Azure Storage-services bij het maken van HDInsight-clusters:
- Azure Blob Storage met HDInsight
- Azure Data Lake Storage Gen2 met HDInsight
- Azure Data Lake Storage Gen1 met HDInsight
Dit artikel bevat een overzicht van deze opslagtypen en hun unieke functies.
Opslagtypen en -functies
De volgende tabel bevat een overzicht van de Azure Storage-services die worden ondersteund met verschillende versies van HDInsight:
| Opslagservice | Rekeningtype | Type naamruimte | Ondersteunde services | Ondersteunde prestatielagen | Ondersteunde toegangslagen | HDInsight-versie | Clustertype |
|---|---|---|---|---|---|---|---|
| Azure Data Lake Storage Gen2 | Algemeen v2 | Hiërarchisch (bestandssysteem) | Blob | Standaard | Dynamisch, statisch en archiefopslag | 3.6+ | Alle behalve Spark 2.1 en 2.2 |
| Azure Storage | Algemeen v2 | Object | Blob | Standaard | Dynamisch, statisch en archiefopslag | 3.6+ | Alle |
| Azure Storage | Algemeen v1 | Object | Blob | Standaard | N.v.t. | Alle | Alle |
| Azure Storage | Blob Storage** | Object | Blok-blob | Standaard | Dynamisch, statisch en archiefopslag | Alle | Alle |
| Azure Data Lake Storage Gen1 | N.v.t. | Hiërarchisch (bestandssysteem) | N.v.t. | N.v.t. | N.v.t. | Alleen 3.6 | Alle behalve HBase |
| Azure Storage | Blok-blob | Object | Blok-blob | Premium | N.v.t. | 3.6+ | Alleen HBase met versnelde schrijfbewerkingen |
| Azure Data Lake Storage Gen2 | Blok-blob | Hiërarchisch (bestandssysteem) | Blok-blob | Premium | N.v.t. | 3.6+ | Alleen HBase met versnelde schrijfbewerkingen |
**Voor HDInsight-clusters kunnen alleen secundaire opslagaccounts van het type BlobStorage zijn en pagina-blob is geen ondersteunde opslagoptie.
Zie overzicht van Azure Storage-accounts voor meer informatie over Azure Storage-accounttypen
Zie Azure Blob Storage: Premium (preview), dynamische, statische en archiefopslaglagen voor meer informatie over Azure Storage-toegangslagen
U kunt clusters maken met behulp van combinaties van services voor primaire en optionele secundaire opslag. De volgende tabel bevat een overzicht van de clusteropslagconfiguraties die momenteel worden ondersteund in HDInsight:
| HDInsight-versie | Primaire opslag | Secundaire opslag | Ondersteund |
|---|---|---|---|
| 3.6 & 4.0 | Algemeen gebruik V1, Algemeen gebruik V2 | Algemeen gebruik V1, Algemeen gebruik V2, BlobStorage(blok-blobs) | Ja |
| 3.6 & 4.0 | Algemeen gebruik V1, Algemeen gebruik V2 | Data Lake Storage Gen2 | Nee |
| 3.6 & 4.0 | Data Lake Storage Gen2* | Data Lake Storage Gen2 | Ja |
| 3.6 & 4.0 | Data Lake Storage Gen2* | Algemeen gebruik V1, Algemeen gebruik V2, BlobStorage(blok-blobs) | Ja |
| 3.6 & 4.0 | Data Lake Storage Gen2 | Data Lake Storage Gen1 | Nee |
| 3,6 | Data Lake Storage Gen1 | Data Lake Storage Gen1 | Ja |
| 3,6 | Data Lake Storage Gen1 | Algemeen gebruik V1, Algemeen gebruik V2, BlobStorage(blok-blobs) | Ja |
| 3,6 | Data Lake Storage Gen1 | Data Lake Storage Gen2 | Nee |
| 4.0 | Data Lake Storage Gen1 | Alle | Nee |
| 4.0 | Algemeen gebruik V1, Algemeen gebruik V2 | Data Lake Storage Gen1 | Nee |
*=Dit kan een of meerdere Data Lake Storage Gen2 zijn, zolang ze allemaal zijn ingesteld om dezelfde beheerde identiteit te gebruiken voor toegang tot clusters.
Notitie
Primaire opslag van Data Lake Storage Gen2 wordt niet ondersteund voor Spark 2.1- of 2.2-clusters.
Gegevensreplicatie
Azure HDInsight slaat geen klantgegevens op. De primaire opslagmiddelen voor een cluster zijn de bijbehorende opslagaccounts. U kunt uw cluster koppelen aan een bestaand opslagaccount of een nieuw opslagaccount maken tijdens het maken van het cluster. Als er een nieuw account wordt gemaakt, wordt dit gemaakt als een lokaal redundant opslagaccount (LRS) en voldoet aan de vereisten voor gegevenslocatie in de regio, inclusief de vereisten die zijn opgegeven in het Vertrouwenscentrum.
U kunt controleren of HDInsight correct is geconfigureerd voor het opslaan van gegevens in één regio door ervoor te zorgen dat het opslagaccount dat is gekoppeld aan uw HDInsight LRS is of een andere opslagoptie die wordt vermeld in het Vertrouwenscentrum.
Notitie
Het upgraden van het primaire of secundaire opslagaccount van een actief cluster met Azure Data Lake Storage Gen2-mogelijkheden wordt niet ondersteund. Als u het opslagtype van een bestaand HDInsight-cluster wilt wijzigen in Data Lake Storage Gen2, moet u het cluster opnieuw maken en een hiërarchisch opslagaccount met een naamruimte selecteren.