Was sind die Standard- und die empfohlenen Knotenkonfigurationen für Azure HDInsight?
In diesem Artikel sind die Standard- und die empfohlenen Knotenkonfigurationen für Azure HDInsight erläutert.
Standard- und mindestens erforderliche empfohlene Knotenkonfigurationen sowie -VM-Größen für Cluster
In den folgenden Tabellen sind die Standard- und die empfohlenen VM-Größen für HDInsight-Cluster aufgeführt. Diese Informationen sind erforderlich, um die VM-Größen zu verstehen, die beim Erstellen von PowerShell- oder Azure CLI-Skripten verwendet werden sollten, mit denen HDInsight-Cluster bereitgestellt werden.
Wenn Sie mehr als 32 Workerknoten in einem Cluster benötigen, müssen Sie eine Hauptknotengröße mit mindestens 8 Kernen und 14 GB Arbeitsspeicher (RAM) auswählen.
Die einzigen Clustertypen, die Datenträger haben, sind Kafka- und HBase-Cluster, wenn für diese das Accelerated Writes-Feature aktiviert ist. HDInsight unterstützt die Datenträgergröße P30 und S30 in diesen Szenarien. Für alle anderen Clustertypen stellt HDInsight mit dem Cluster verwalteten Speicherplatz auf dem Datenträger zur Verfügung. Ab dem 11.07.2019 beträgt die Größe des verwalteten Datenträgers jedes Knotens in dem neu erstellten Cluster 128 GB. Dies kann nicht geändert werden.
In dieser Tabelle finden Sie die in diesem Dokument verwendeten Spezifikationen aller mindestens erforderlichen empfohlenen VM-Typen.
| Size | vCPU | Memory: GiB | Temporärer Speicher (SSD): GiB | Maximaler Durchsatz (temporärer Speicher): IOPS/MBit/s Lesen/MBps Schreiben | Max. Datenträger/Durchsatz: IOPS | Maximale Anzahl NICs/Erwartete Netzwerkbandbreite (MBps) |
|---|---|---|---|---|---|---|
| Standard_D3_v2 | 4 | 14 | 200 | 12000/187/93 | 16/16 x 500 | 4/3000 |
| Standard_D4_v2 | 8 | 28 | 400 | 24000/375/187 | 32/32 x 500 | 8/6000 |
| Standard_D5_v2 | 16 | 56 | 800 | 48000/750/375 | 64/64 x 500 | 8 / 12000 |
| Standard_D12_v2 | 4 | 28 | 200 | 12000/187/93 | 16/16 x 500 | 4/3000 |
| Standard_D13_v2 | 8 | 56 | 400 | 24000/375/187 | 32/32 x 500 | 8/6000 |
| Standard_D14_v2 | 16 | 112 | 800 | 48000/750/375 | 64/64 x 500 | 8 / 12000 |
| Standard_A1_v2 | 1 | 2 | 10 | 1000/20/10 | 2/2 x 500 | 2/250 |
| Standard_A2_v2 | 2 | 4 | 20 | 2000/40/20 | 4/4 x 500 | 2/500 |
| Standard_A4_v2 | 4 | 8 | 40 | 4000/80/40 | 8/8 x 500 | 4/1000 |
Weitere Informationen zu Spezifikationen jedes VM-Typs finden Sie in den folgenden Dokumenten:
- Universelle VM-Größen:
Dv2-Serien 1-5 - Arbeitsspeicheroptimierte VM-Größen:
Dv2-Serien 11-15 - Universelle VM-Größen:
Av2-Serien 1-8
Alle unterstützten Regionen
Hinweis
Um den SKU-Bezeichner für die Verwendung in PowerShell und anderen Skripts zu erhalten, fügen Sie Standard_ am Anfang aller VM-SKUs in den folgenden Tabellen hinzu. Beispielsweise wird D12_v2 zu Standard_D12_v2.
| Clustertyp | Hadoop | hbase | Interactive Query | Spark | Kafka |
|---|---|---|---|---|---|
| Head – Standard-VM-Größe | E4_v3 | E4_v3 | D13_v2 | E8_v3, D13_v2* |
E4_v3 |
| Head – mindestens erforderliche empfohlene VM-Größen | D5_v2 | D3_v2 | D13_v2 | D12_v2, D13_v2* |
D3_v2 |
| Worker – Standard-VM-Größe | E8_v3 | E4_v3 | D14_v2 | E8_v3 | 4 E4_v3 mit zwei S30-Datenträgern pro Broker |
| Worker – mindestens erforderliche empfohlene VM-Größen | D5_v2 | D3_v2 | D13_v2 | D12_v2 | D3_v2 |
| Zookeeper – Standard-VM-Größen | A4_v2 | A4_v2 | A4_v2 | ||
| ZooKeeper – mindestens erforderliche empfohlene VM-Größen | A4_v2 | A4_v2 | A4_v2 |
* = die VM-Größen für die Cluster des Spark-Enterprise-Sicherheitspakets (ESP)
Hinweis
- Worker wird für den HBase-Clustertyp als Region bezeichnet.