Quais são as configurações de nó padrão e recomendadas do Azure HDInsight?
Este artigo discute as configurações de nó padrão e recomendadas para clusters do Azure HDInsight.
Configurações de nó e tamanhos de máquina virtual padrão e mínimos recomendados para clusters
As tabelas a seguir listam os tamanhos de VM (máquina virtual) padrão e recomendados para clusters do HDInsight. Essas informações são necessárias para entender quais tamanhos de VM usar durante a criação de scripts do PowerShell ou da CLI do Azure para implantar clusters do HDInsight.
Se você precisa de mais de 32 nós de trabalho em um cluster, selecione um tamanho de nó de cabeçalho com pelo menos 8 núcleos e 14 GB de RAM.
Os únicos tipos de cluster que têm discos de dados são os clusters Kafka e HBase com o recurso de Gravações Aceleradas habilitado. O HDInsight dá suporte aos tamanhos de disco P30 e S30 nesses cenários. Para todos os outros tipos de cluster, o HDInsight fornece o espaço em disco gerenciado com o cluster. Desde 07/11/2019, o tamanho do disco gerenciado de cada nó no cluster recém-criado é de 128 GB. Isso não pode ser alterado.
As especificações de todos os tipos de VM mínimos recomendados usados neste documento são resumidas na tabela a seguir.
| Tamanho | vCPU | Memória: GiB | Armazenamento temporário (SSD) GiB | Taxa de transferência máxima de armazenamento temporário: IOPS / MBps de leitura / MBps de gravação | Discos de dados máximos / taxa de transferência: IOPS | Máximo de NICs/Largura de banda de rede esperado (Mbps) |
|---|---|---|---|---|---|---|
| Standard_D3_v2 | 4 | 14 | 200 | 12000 / 187 / 93 | 16 / 16 x 500 | 4 / 3000 |
| Standard_D4_v2 | 8 | 28 | 400 | 24000 / 375 / 187 | 32 / 32 x 500 | 8 / 6000 |
| Standard_D5_v2 | 16 | 56 | 800 | 48000 / 750 / 375 | 64 / 64x500 | 8 / 12000 |
| Standard_D12_v2 | 4 | 28 | 200 | 12000 / 187 / 93 | 16 / 16 x 500 | 4 / 3000 |
| Standard_D13_v2 | 8 | 56 | 400 | 24000 / 375 / 187 | 32 / 32 x 500 | 8 / 6000 |
| Standard_D14_v2 | 16 | 112 | 800 | 48000 / 750 / 375 | 64 / 64x500 | 8 / 12000 |
| Standard_A1_v2 | 1 | 2 | 10 | 1000 / 20 / 10 | 2 / 2 x 500 | 2 / 250 |
| Standard_A2_v2 | 2 | 4 | 20 | 2000 / 40 / 20 | 4 / 4 x 500 | 2 / 500 |
| Standard_A4_v2 | 4 | 8 | 40 | 4000 / 80 / 40 | 8 / 8 x 500 | 4 / 1000 |
Para obter mais informações sobre as especificações de cada tipo de VM, confira os seguintes documentos:
- Tamanhos de máquina virtual de uso geral: série
Dv21-5 - Tamanhos de máquina virtual com otimização de memória: série
Dv211-15 - Tamanhos de máquina virtual de uso geral: série
Av21-8
Todas as regiões com suporte
Observação
Para obter o identificador de SKU para uso no PowerShell e outros scripts, adicione Standard_ ao início de todas as SKUs de VM nas tabelas abaixo. Por exemplo, D12_v2 se tornaria Standard_D12_v2.
| Tipo de cluster | O Hadoop | HBase | Consulta Interativa | Spark | Kafka |
|---|---|---|---|---|---|
| Cabeçalho: tamanho padrão da VM | E4_v3 | E4_v3 | D13_v2 | E8_v3, D13_v2* |
E4_v3 |
| Cabeçalho: tamanhos de VM mínimos recomendados | D5_v2 | D3_v2 | D13_v2 | D12_v2, D13_v2* |
D3_v2 |
| Trabalho: tamanho de VM padrão | E8_v3 | E4_v3 | D14_v2 | E8_v3 | 4 E4_v3 com 2 discos S30 por agente |
| Trabalho: tamanhos de VM mínimos recomendados | D5_v2 | D3_v2 | D13_v2 | D12_v2 | D3_v2 |
| Zookeeper: tamanho de VM padrão | A4_v2 | A4_v2 | A4_v2 | ||
| ZooKeeper: tamanhos de VM mínimos recomendados | A4_v2 | A4_v2 | A4_v2 |
* = Tamanhos de VM para clusters do ESP (Enterprise Security Package) do Spark
Observação
- A função de trabalho é conhecida como Região para o tipo de cluster HBase.