Jaké jsou výchozí a doporučené konfigurace uzlů pro Azure HDInsight?
Tento článek popisuje výchozí a doporučené konfigurace uzlů pro clustery Azure HDInsight.
Výchozí a minimální doporučená konfigurace uzlů a velikosti virtuálních počítačů pro clustery
Následující tabulky uvádějí výchozí a doporučené velikosti virtuálních počítačů pro clustery HDInsight. Tyto informace jsou nezbytné k pochopení velikostí virtuálních počítačů, které se mají použít při vytváření skriptů PowerShellu nebo Azure CLI pro nasazení clusterů HDInsight.
Pokud potřebujete v clusteru více než 32 pracovních uzlů, vyberte velikost hlavního uzlu s alespoň 8 jádry a 14 GB paměti RAM.
Jedinými typy clusterů, které mají datové disky, jsou clustery Kafka a HBase s povolenou funkcí Zrychlené zápisy. HDInsight v těchto scénářích podporuje velikosti disků P30 a S30. Pro všechny ostatní typy clusterů poskytuje HDInsight místo na spravovaném disku s clusterem. Od 7. 11. 2019 je velikost spravovaného disku každého uzlu v nově vytvořeném clusteru 128 GB. To nejde změnit.
Specifikace všech minimálních doporučených typů virtuálních počítačů použitých v tomto dokumentu jsou shrnuty v následující tabulce.
| Velikost | Virtuální procesory | Paměť: GiB | Dočasné úložiště (SSD): GiB | Maximální propustnost dočasného úložiště: IOPS / čtení v MB/s / zápis v MB/s | Maximální propustnost datových disků: IOPS | Maximální počet síťových adaptérů / očekávaná šířka pásma sítě (Mb/s) |
|---|---|---|---|---|---|---|
| Standard_D3_v2 | 4 | 14 | 200 | 12000 / 187 / 93 | 16 / 16×500 | 4 / 3 000 |
| Standard_D4_v2 | 8 | 28 | 400 | 24000 / 375 / 187 | 32 / 32×500 | 8 / 6 000 |
| Standard_D5_v2 | 16 | 56 | 800 | 48000 / 750 / 375 | 64 / 64x500 | 8 / 12000 |
| Standard_D12_v2 | 4 | 28 | 200 | 12000 / 187 / 93 | 16 / 16×500 | 4 / 3 000 |
| Standard_D13_v2 | 8 | 56 | 400 | 24000 / 375 / 187 | 32 / 32×500 | 8 / 6 000 |
| Standard_D14_v2 | 16 | 112 | 800 | 48000 / 750 / 375 | 64 / 64x500 | 8 / 12000 |
| Standard_A1_v2 | 1 | 2 | 10 | 1000 / 20 / 10 | 2 / 2×500 | 2 / 250 |
| Standard_A2_v2 | 2 | 4 | 20 | 2000 / 40 / 20 | 4 / 4×500 | 2 / 500 |
| Standard_A4_v2 | 4 | 8 | 40 | 4000 / 80 / 40 | 8 / 8×500 | 4 / 1 000 |
Další informace o specifikacích jednotlivých typů virtuálních počítačů najdete v následujících dokumentech:
- Velikosti virtuálních počítačů pro obecné účely: Řada Dv2 1–5
- Velikosti virtuálních počítačů optimalizovaných pro paměť: Dv2 series 11-15
- Velikosti virtuálních počítačů pro obecné účely: Av2 series 1–8
Všechny podporované oblasti
Poznámka
Pokud chcete získat identifikátor skladové položky pro použití v PowerShellu a dalších skriptech, přidejte Standard_ na začátek všech skladových položek virtuálních počítačů v následujících tabulkách. Například by se D12_v2 stal Standard_D12_v2.
| Typ clusteru | Hadoop | HBase | Interaktivní dotaz | Spark | Kafka |
|---|---|---|---|---|---|
| Head: výchozí velikost virtuálního počítače | E4_v3 | E4_v3 | D13_v2 | E8_v3, D13_v2* |
E4_v3 |
| Head: minimální doporučené velikosti virtuálních počítačů | D5_v2 | D3_v2 | D13_v2 | D12_v2, D13_v2* |
D3_v2 |
| Pracovní proces: výchozí velikost virtuálního počítače | E8_v3 | E4_v3 | D14_v2 | E8_v3 | 4 E4_v3 se 2 disky S30 na zprostředkovatele |
| Pracovní proces: minimální doporučené velikosti virtuálních počítačů | D5_v2 | D3_v2 | D13_v2 | D12_v2 | D3_v2 |
| ZooKeeper: výchozí velikost virtuálního počítače | A4_v2 | A4_v2 | A4_v2 | ||
| ZooKeeper: minimální doporučené velikosti virtuálních počítačů | A4_v2 | A4_v2 | A4_v2 |
* = Velikosti virtuálních počítačů pro clustery Spark Enterprise Security Package (ESP)
Poznámka
- Pracovní proces se pro typ clusteru HBase označuje jako Oblast .