Wat zijn de standaard- en aanbevolen knooppuntconfiguraties voor Azure HDInsight?
In dit artikel worden de standaard- en aanbevolen knooppuntconfiguraties voor Azure HDInsight-clusters besproken.
Standaard- en minimaal aanbevolen knooppuntconfiguratie en grootten van virtuele machines voor clusters
De volgende tabellen bevatten standaard- en aanbevolen VM-grootten (virtuele machines) voor HDInsight-clusters. Deze informatie is nodig om inzicht te hebben in de VM-grootten die moeten worden gebruikt wanneer u PowerShell- of Azure CLI-scripts maakt om HDInsight-clusters te implementeren.
Als u meer dan 32 werkknooppunten in een cluster nodig hebt, selecteert u een hoofdknooppuntgrootte met ten minste 8 kernen en 14 GB RAM-geheugen.
De enige clustertypen met gegevensschijven zijn Kafka- en HBase-clusters waarvoor de functie Versnelde schrijfbewerkingen is ingeschakeld. HDInsight ondersteunt in deze scenario's P30- en S30-schijven. Voor alle andere clustertypen biedt HDInsight beheerde schijfruimte met het cluster. Vanaf 11-07-2019 is de grootte van de beheerde schijf van elk knooppunt in het zojuist gemaakte cluster 128 GB. Dit kan niet worden gewijzigd.
De specificaties van alle minimaal aanbevolen VM-typen die in dit document worden gebruikt, worden samengevat in de volgende tabel.
| Tekengrootte | vCPU | Geheugen: GiB | Tijdelijke opslag (SSD) GiB | Maximale tijdelijke opslagdoorvoer: IOPS / MBps lezen / MBps schrijven | Maximumaantal gegevensschijven / doorvoer: IOPS | Maximale NIC's/verwachte netwerkbandbreedte (Mbps) |
|---|---|---|---|---|---|---|
| Standard_D3_v2 | 4 | 14 | 200 | 12.000 / 187 / 93 | 16 / 16 x 500 | 4 / 3000 |
| Standard_D4_v2 | 8 | 28 | 400 | 24.000 / 375 / 187 | 32 / 32 x 500 | 8 / 6000 |
| Standard_D5_v2 | 16 | 56 | 800 | 48.000 / 750 / 375 | 64 / 64x500 | 8 / 12000 |
| Standard_D12_v2 | 4 | 28 | 200 | 12.000 / 187 / 93 | 16 / 16 x 500 | 4 / 3000 |
| Standard_D13_v2 | 8 | 56 | 400 | 24.000 / 375 / 187 | 32 / 32 x 500 | 8 / 6000 |
| Standard_D14_v2 | 16 | 112 | 800 | 48.000 / 750 / 375 | 64 / 64x500 | 8 / 12000 |
| Standard_A1_v2 | 1 | 2 | 10 | 1000 / 20 / 10 | 2 / 2x500 | 2 / 250 |
| Standard_A2_v2 | 2 | 4 | 20 | 2000 / 40 / 20 | 4 / 4 x 500 | 2 / 500 |
| Standard_A4_v2 | 4 | 8 | 40 | 4000 / 80 / 40 | 8 / 8 x 500 | 4 / 1000 |
Zie de volgende documenten voor meer informatie over de specificaties van elk VM-type:
- Grootten van virtuele machines voor algemeen gebruik:
Dv2serie 1-5 - Grootten van voor geheugen geoptimaliseerde virtuele machines:
Dv2serie 11-15 - Grootten van virtuele machines voor algemeen gebruik:
Av2serie 1-8
Alle ondersteunde regio's
Notitie
Als u de SKU-id wilt ophalen voor gebruik in PowerShell en andere scripts, voegt u toe Standard_ aan het begin van alle VM-SKU's in de onderstaande tabellen. Zou bijvoorbeeld D12_v2 worden Standard_D12_v2.
| Clustertype | Hadoop | HBase | Interactive Query | Spark | Kafka |
|---|---|---|---|---|---|
| Hoofd: standaard VM-grootte | E4_v3 | E4_v3 | D13_v2 | E8_v3, D13_v2* |
E4_v3 |
| Hoofd: minimale aanbevolen VM-grootten | D5_v2 | D3_v2 | D13_v2 | D12_v2, D13_v2* |
D3_v2 |
| Werkrol: standaard VM-grootte | E8_v3 | E4_v3 | D14_v2 | E8_v3 | 4 E4_v3 met 2 S30-schijven per broker |
| Werkrol: minimale aanbevolen VM-grootten | D5_v2 | D3_v2 | D13_v2 | D12_v2 | D3_v2 |
| ZooKeeper: standaard-VM-grootte | A4_v2 | A4_v2 | A4_v2 | ||
| ZooKeeper: minimale aanbevolen VM-grootten | A4_v2 | A4_v2 | A4_v2 |
* = VM-grootten voor CLUSTERS met Spark Enterprise Security Package (ESP)
Notitie
- Worker wordt regio genoemd voor het HBase-clustertype.