Vergleich der Speicheroptionen für die Verwendung mit Azure HDInsight-Clustern
Sie haben beim Erstellen von HDInsight-Clustern die Auswahl zwischen verschiedenen Azure Storage-Diensten:
- Azure Blob Storage mit HDInsight
- Azure Data Lake Storage Gen2 mit HDInsight
- Azure Data Lake Storage Gen1 mit HDInsight
Dieser Artikel bietet eine Übersicht über diese Speichertypen und ihre besonderen Merkmale.
Speichertypen und Features
Die folgende Tabelle enthält die Azure Storage-Dienste, die mit den unterschiedlichen Versionen von HDInsight unterstützt werden:
| Speicherdienst | Kontotyp | Namespacetyp | Unterstützte Dienste | Unterstützte Leistungsstufen | Unterstützte Zugriffsebenen | HDInsight-Version | Clustertyp |
|---|---|---|---|---|---|---|---|
| Azure Data Lake Storage Gen2 | Allgemein v2 | Hierarchisch (Dateisystem) | Blob | Standard | Heiß, Kalt, Archiv | 3.6 und höher | Alle außer Spark 2.1 und 2.2 |
| Azure Storage | Allgemein v2 | Object | Blob | Standard | Heiß, Kalt, Archiv | 3.6 und höher | All |
| Azure Storage | Allgemein v1 | Object | Blob | Standard | – | All | All |
| Azure Storage | Blob Storage** | Object | Blockblob | Standard | Heiß, Kalt, Archiv | All | All |
| Azure Data Lake Storage Gen1 | – | Hierarchisch (Dateisystem) | – | – | – | Nur 3.6 | Alle mit Ausnahme von HBase |
| Azure Storage | Blockblob | Object | Blockblob | Premium | – | 3.6 und höher | Nur HBase mit beschleunigten Schreibvorgängen |
| Azure Data Lake Storage Gen2 | Blockblob | Hierarchisch (Dateisystem) | Blockblob | Premium | – | 3.6 und höher | Nur HBase mit beschleunigten Schreibvorgängen |
**Für HDInsight-Cluster können nur sekundäre Speicherkonten den Typ „BlobStorage“ aufweisen, und der Seitenblob ist keine unterstützte Speicheroption.
Weitere Informationen zu Azure Storage-Kontotypen finden Sie unter Azure-Speicherkonten – Übersicht.
Weitere Informationen zu Azure Storage-Zugriffsebenen finden Sie unter Azure Blob Storage: Speicherebenen „Premium“ (Vorschauversion), „Heiß“, „Kalt“ und „Archiv“.
Sie können einen Cluster mit Kombinationen von Diensten für den primären und optional für den sekundären Speicher erstellen. Die folgende Tabelle enthält die Clusterspeicherkonfigurationen, die derzeit in HDInsight unterstützt werden:
| HDInsight-Version | Primärer Speicher | Sekundärer Speicher | Unterstützt |
|---|---|---|---|
| 3.6 und 4.0 | Universell V1, Universell V2 | Universell V1, Universell V2, BlobStorage (Blockblobs) | Ja |
| 3.6 und 4.0 | Universell V1, Universell V2 | Data Lake Storage Gen2 | Nein |
| 3.6 und 4.0 | Data Lake Storage Gen2* | Data Lake Storage Gen2 | Ja |
| 3.6 und 4.0 | Data Lake Storage Gen2* | Universell V1, Universell V2, BlobStorage (Blockblobs) | Ja |
| 3.6 und 4.0 | Data Lake Storage Gen2 | Data Lake Storage Gen1 | Nein |
| 3.6 | Data Lake Storage Gen1 | Data Lake Storage Gen1 | Ja |
| 3.6 | Data Lake Storage Gen1 | Universell V1, Universell V2, BlobStorage (Blockblobs) | Ja |
| 3.6 | Data Lake Storage Gen1 | Data Lake Storage Gen2 | Nein |
| 4,0 | Data Lake Storage Gen1 | Any | Nein |
| 4,0 | Universell V1, Universell V2 | Data Lake Storage Gen1 | Nein |
*Hierbei kann es sich um ein oder mehrere Data Lake Storage Gen2-Konten handeln, sofern alle für die Verwendung derselben verwalteten Identität für den Clusterzugriff eingerichtet wurden.
Hinweis
Primärer Data Lake Storage Gen2-Speicher wird für Spark 2.1- und 2.2-Cluster nicht unterstützt.
Datenreplikation
Azure HDInsight speichert keine Kundendaten. Das primäre Speichermedium für einen Cluster sind die zugeordneten Speicherkonten. Sie können Ihren Cluster an ein vorhandenes Speicherkonto anfügen oder bei der Clustererstellung ein neues Speicherkonto erstellen. Wenn Sie ein neues Konto erstellen, wird es als LRS-Konto (lokal redundanter Speicher) erstellt, das neben den Anforderungen an die Datenresidenz in der Region auch die im Trust Center definierten Anforderungen erfüllt.
Sie können überprüfen, ob HDInsight ordnungsgemäß für die Speicherung von Daten in einer einzelnen Region konfiguriert ist, indem Sie sicherstellen, dass das mit HDInsight verknüpfte Speicherkonto ein LRS-Konto ist oder einer anderen im Trust Center definierten Speicheroption entspricht.
Hinweis
Ein Upgrade des primären oder sekundären Speicherkontos eines ausgeführten Clusters mit Azure Data Lake Storage Gen2-Funktionen wird nicht unterstützt. Um den Speichertyp eines vorhandenen HDInsight-Clusters in Data Lake Storage Gen2 zu ändern, müssen Sie den Cluster neu erstellen und ein Speicherkonto mit aktiviertem hierarchischem Namespace auswählen.