Ручное масштабирование

Примечание.

Мы отставим Azure HDInsight в AKS 31 января 2025 г. До 31 января 2025 г. необходимо перенести рабочие нагрузки в Microsoft Fabric или эквивалентный продукт Azure, чтобы избежать резкого прекращения рабочих нагрузок. Оставшиеся кластеры в подписке будут остановлены и удалены из узла.

До даты выхода на пенсию будет доступна только базовая поддержка.

Внимание

Эта функция в настоящее время доступна для предварительного ознакомления. Дополнительные условия использования для предварительных версий Microsoft Azure включают более юридические термины, применимые к функциям Azure, которые находятся в бета-версии, в предварительной версии или в противном случае еще не выпущены в общую доступность. Сведения об этой конкретной предварительной версии см. в статье Azure HDInsight в предварительной версии AKS. Для вопросов или предложений функций отправьте запрос на AskHDInsight с подробными сведениями и следуйте за нами для получения дополнительных обновлений в сообществе Azure HDInsight.

HDInsight в AKS обеспечивает эластичность с параметрами масштабирования и уменьшения числа узлов кластера. Эта эластичность помогает повысить эффективность использования ресурсов и повысить эффективность затрат.

Служебная программа для масштабирования кластеров

HDInsight в AKS предоставляет следующие методы для ручного масштабирования кластеров:

Utility	Description
Портал Azure	Откройте панель кластера HDInsight в AKS, выберите размер кластера в меню слева, а затем в области размера кластера введите число рабочих узлов и нажмите кнопку "Сохранить".
REST API	Чтобы масштабировать запущенный hdInsight в кластере AKS с помощью REST API, выполните последующий запрос POST на том же ресурсе с обновленным числом в вычислительном профиле.

Вы можете использовать портал Azure для доступа к меню "Размер кластера" на странице навигации кластера. В колонке "Размер кластера" измените значение "Число рабочих узлов" и сохраните изменение, чтобы увеличить или уменьшить масштаб кластера.

Влияние операции масштабирования в кластере

Любая операция масштабирования активирует перезапуск службы, что может привести к ошибкам в уже запущенных заданиях.

При добавлении узлов в операционный кластер HDInsight в кластере AKS (увеличение масштаба):

• Успешная операция масштабирования с помощью ручного масштабирования добавит рабочие узлы в кластер.
• Новые задания можно безопасно отправлять при завершении процесса масштабирования.
• Если операция масштабирования завершается сбоем, сбой покидает кластер в состоянии "Сбой".
• Во время операции масштабирования можно ожидать, что при перезапуске служб возникают сбои заданий.

Если удалить узлы (уменьшить масштаб) из HDInsight в кластере AKS:

• Ожидание или выполнение заданий завершается сбоем при завершении операции масштабирования. Этот сбой вызван тем, что некоторые службы перезапускаются во время процесса уменьшения масштаба. Влияние изменения количества узлов кластера зависит от каждого типа кластера.

Внимание

• Чтобы избежать ошибок квот во время масштабирования, запланируйте квоту в подписке. Если у вас недостаточно квоты, вы можете увеличить квоту с помощью этой документации.
• В случае уменьшения масштаба выбирает головной узел, в котором размещается координатор или входящий трафик и другие службы, это приведет к простою.

Вопросы и ответы

Общие

Вопрос	Ответ
Какое минимальное количество узлов можно добавлять и удалять во время операций масштабирования?	Один узел.
Сколько узлов поддерживает HDInsight в кластере AKS?	500 узлов на кластер (в общедоступной предварительной версии).
Как вручную вертикально уменьшить масштаб кластера?	В запросе ARM обновите computeProfile.count или выполните указанные ниже действия, чтобы уменьшить масштаб с помощью портал Azure.
Можно ли добавить действия настраиваемого скрипта в кластер при ручном масштабировании?	Действия скрипта применимы для типа кластера Apache Spark.
Как получить журналы о сбоях при ручном масштабировании узлов кластера?	Журналы доступны в модуле Log Analytics, см. интеграцию Azure Monitor.
Поддерживается ли автомасштабирование на основе нагрузки или расписания?	Да. Дополнительные сведения см. в статье об автомасштабировании.

Трино

Вопрос	Ответ
Будет ли моя служба Trino перезапущена после операции масштабирования?	Да, служба перезапускается во время операции масштабирования.

Apache Flink

Вопрос	Ответ
Каковы последствия операций масштабирования в кластере Apache Flink?	Любая операция масштабирования, скорее всего, активирует перезапуск службы, что приводит к сбоям заданий. При завершении процесса масштабирования можно отправить новые задания. В Apache Flink выполняет перезапуск задания и не может запускать перезапуск заданий.

Apache Spark

Вопрос	Ответ
Каковы последствия операций масштабирования в кластере Spark?	Операция уменьшения масштаба вручную может активировать перезапуск служб головного узла.

Примечание.

Рекомендуется управлять квотами, заданными в подписке перед операциями масштабирования, чтобы избежать ошибок квот. Прежде чем уменьшить масштаб, обратите внимание, что для работы кластера AKS Trino в HDInsight требуется минимум пять активных узлов.