Quelles sont les configurations de nœud par défaut et recommandées pour Azure HDInsight ?
Cet article décrit les configurations de nœud par défaut et recommandées pour les clusters Azure HDInsight.
Tailles de machine virtuelle et configuration de nœud minimum et par défaut et recommandées pour les clusters
Les tableaux suivants répertorient les tailles de machine virtuelle par défaut et recommandées des clusters HDInsight. Ces informations sont nécessaires pour comprendre les tailles de machine virtuelle à utiliser lorsque vous créez des scripts PowerShell ou Azure CLI pour déployer des clusters HDInsight.
Si vous avez besoin de plus de 32 nœuds Worker dans un cluster, sélectionnez une taille de nœud principal avec au moins 8 cœurs et 14 Go de RAM.
Les seuls types de clusters dotés de disques de données sont les clusters Kafka et HBase avec la fonctionnalité Écritures accélérées activée. HDInsight prend en charge les tailles de disque P30 et S30 dans ces scénarios. Pour tous les autres types de clusters, HDInsight fournit un espace disque managé avec le cluster. À compter du 07/11/2019, la taille de disque managé de chaque nœud du cluster nouvellement créé est de 128 Go. Cela ne peut pas être modifié.
Les spécifications de tous les types de machines virtuelles recommandés minimum utilisés dans ce document sont résumées dans le tableau suivant.
| Taille | Processeurs virtuels | Mémoire : Gio | Stockage temporaire (SSD) en Gio | Débit de stockage temporaire max. : IOPS / MBps en lecture / MBps en écriture | Disques de données max. / débit : E/S par seconde | Nombre max de cartes réseau / Bande passante réseau attendue (MBps) |
|---|---|---|---|---|---|---|
| Standard_D3_v2 | 4 | 14 | 200 | 12000 / 187 / 93 | 16 / 16 x 500 | 4 / 3 000 |
| Standard_D4_v2 | 8 | 28 | 400 | 24000 / 375 / 187 | 32 / 32 x 500 | 8 / 6 000 |
| Standard_D5_v2 | 16 | 56 | 800 | 48000 / 750 / 375 | 64 / 64 x 500 | 8 / 12000 |
| Standard_D12_v2 | 4 | 28 | 200 | 12000 / 187 / 93 | 16 / 16 x 500 | 4 / 3 000 |
| Standard_D13_v2 | 8 | 56 | 400 | 24000 / 375 / 187 | 32 / 32 x 500 | 8 / 6 000 |
| Standard_D14_v2 | 16 | 112 | 800 | 48000 / 750 / 375 | 64 / 64 x 500 | 8 / 12000 |
| Standard_A1_v2 | 1 | 2 | 10 | 1000 / 20 / 10 | 2 / 2 x 500 | 2 / 250 |
| Standard_A2_v2 | 2 | 4 | 20 | 2000 / 40 / 20 | 4 / 4 x 500 | 2 / 500 |
| Standard_A4_v2 | 4 | 8 | 40 | 4000 / 80 / 40 | 8 / 8 x 500 | 4 / 1 000 |
Pour plus d’informations sur les spécifications de chaque type de machine virtuelle, consultez les documents suivants :
- Tailles de machine virtuelle à usage général : Série Dv2 1-5
- Tailles de machine virtuelle à mémoire optimisée : Série Dv2 11-15
- Tailles de machine virtuelle à usage général : Série Av2 1-8
Régions prises en charge
Notes
Pour obtenir l’identificateur de référence (SKU) à utiliser dans PowerShell et d’autres scripts, ajoutez Standard_ au début de toutes les références (SKU) de machine virtuelle dans les tableaux ci-dessous. Par exemple, D12_v2 deviendrait Standard_D12_v2.
| Type de cluster | Hadoop | hbase | Interactive Query | Spark | Kafka |
|---|---|---|---|---|---|
| Head : taille de machine virtuelle par défaut | E4_v3 | E4_v3 | D13_v2 | E8_v3, D13_v2* |
E4_v3 |
| Head : tailles de machine virtuelle recommandées minimum | D5_v2 | D3_v2 | D13_v2 | D12_v2, D13_v2* |
D3_v2 |
| Worker : taille de machine virtuelle par défaut | E8_v3 | E4_v3 | D14_v2 | E8_v3 | 4 E4_v3 avec 2 disques S30 par répartiteur |
| Worker : tailles de machine virtuelle recommandées minimum | D5_v2 | D3_v2 | D13_v2 | D12_v2 | D3_v2 |
| Zookeeper : taille de machine virtuelle par défaut | A4_v2 | A4_v2 | A4_v2 | ||
| ZooKeeper : tailles de machine virtuelle recommandées minimum | A4_v2 | A4_v2 | A4_v2 |
* = Tailles de machine virtuelle pour les clusters du Pack Sécurité Entreprise (ESP) Spark
Notes
- L’élément Worker est appelé Region pour le type de cluster HBase.