Каковы используемые по умолчанию и рекомендуемые конфигурации узлов для Azure HDInsight?
В этой статье рассматриваются используемые по умолчанию и рекомендуемые конфигурации узлов для кластеров Azure HDInsight.
Используемая по умолчанию и минимальная рекомендуемая конфигурация узлов и размеры виртуальных машин для кластеров
В следующих таблицах перечислены используемые по умолчанию и рекомендуемые размеры виртуальных машин для кластеров HDInsight. Эти сведения необходимы, чтобы понять, какие размеры виртуальных машин указывать при создании сценариев PowerShell или Azure CLI для развертывания кластеров HDInsight.
Если в кластере требуется более 32 рабочих узлов, для головного узла нужно выбрать размер по крайней мере с 8 ядрами и 14 ГБ ОЗУ.
Единственными типами кластеров с дисками данных являются кластеры Kafka и HBase с включенной функцией ускоренной записи. В этих сценариях HDInsight поддерживает размеры дисков P30 и S30. Для всех остальных типов кластеров HDInsight предоставляет управляемое дисковое пространство. Начиная с 11.07.2019, размер управляемого диска каждого узла в созданном кластере составляет 128 ГБ. Это невозможно изменить.
В следующей таблице приведены спецификации всех минимальных рекомендуемых типов виртуальных машин, используемых в этом документе.
| Размер | Виртуальные ЦП | Память, ГиБ | Временное хранилище (SSD): ГиБ | Максимальная пропускная способность временного хранилища: операций ввода-вывода в секунду / скорость чтения (МБит/с) / скорость записи (МБит/с) | Макс. число дисков данных / пропускная способность: операций ввода-вывода в секунду | Максимальное количество сетевых адаптеров / ожидаемая пропускная способность сети (Мбит/с) |
|---|---|---|---|---|---|---|
| Standard_D3_v2 | 4 | 14 | 200 | 12000 / 187 / 93 | 16 / 16x500 | 4 / 3000 |
| Standard_D4_v2 | 8 | 28 | 400 | 24000 / 375 / 187 | 32 / 32x500 | 8 / 6000 |
| Standard_D5_v2 | 16 | 56 | 800 | 48000 / 750 / 375 | 64 / 64x500 | 8 / 12 000 |
| Standard_D12_v2 | 4 | 28 | 200 | 12000 / 187 / 93 | 16 / 16x500 | 4 / 3000 |
| Standard_D13_v2 | 8 | 56 | 400 | 24000 / 375 / 187 | 32 / 32x500 | 8 / 6000 |
| Standard_D14_v2 | 16 | 112 | 800 | 48000 / 750 / 375 | 64 / 64x500 | 8 / 12 000 |
| Standard_A1_v2 | 1 | 2 — . | 10 | 1000 / 20 / 10 | 2/ 2x500 | 2 / 250 |
| Стандартный A2 v2 | 2 | 4 | 20 | 2000 / 40 / 20 | 4 / 4x500 | 2 / 500 |
| Standard_A4_v2 | 4 | 8 | 40 | 4000 / 80 / 40 | 8 / 8x500 | 4 / 1000 |
Дополнительные сведения о спецификациях каждого типа виртуальной машины см. в следующих документах:
- Размеры виртуальных машин общего назначения:
Dv2серия 1–5 - Размеры оптимизированных для памяти виртуальных машин:
Dv2серия 11-15 - Размеры виртуальных машин общего назначения:
Av2серия 1–8
Все поддерживаемые регионы
Примечание.
Чтобы получить идентификатор SKU для использования в PowerShell и других сценариях, добавьте Standard_ в начало всех номеров SKU виртуальных машин в приведенных ниже таблицах. Например, для D12_v2 это Standard_D12_v2.
| Тип кластера | Hadoop | HBase | Интерактивный запрос | Spark | Kafka |
|---|---|---|---|---|---|
| Головной узел: размер виртуальной машины по умолчанию | E4_v3 | E4_v3 | D13_v2 | E8_v3, D13_v2* |
E4_v3 |
| Головной узел: минимальные рекомендуемые размеры виртуальных машин | D5_v2 | D3_v2 | D13_v2 | D12_v2, D13_v2* |
D3_v2 |
| Рабочая роль: размер виртуальной машины по умолчанию | E8_v3 | E4_v3 | D14_v2 | E8_v3 | 4 E4_v3 с 2 дисками S30 на брокер |
| Рабочий узел: минимальные рекомендуемые размеры виртуальных машин | D5_v2 | D3_v2 | D13_v2 | D12_v2 | D3_v2 |
| ZooKeeper: размер виртуальной машины по умолчанию | A4_v2 | A4_v2 | A4_v2 | ||
| Узел ZooKeeper: минимальные рекомендуемые размеры виртуальных машин | A4_v2 | A4_v2 | A4_v2 |
* = размеры виртуальных машин для кластеров кластера Spark с Корпоративным пакетом безопасности (ESP)
Примечание.
- Рабочая роль в типах кластера Storm называется регионом.