Поделиться через


Настройка кластеров больших данных после развертывания

Область применения: SQL Server 2019 (15.x)

Внимание

Поддержка надстройки "Кластеры больших данных" Microsoft SQL Server 2019 будет прекращена. Мы прекратим поддержку Кластеров больших данных SQL Server 2019 28 февраля 2025 г. Все существующие пользователи SQL Server 2019 с Software Assurance будут полностью поддерживаться на платформе, и программное обеспечение будет продолжать поддерживаться с помощью накопительных обновлений SQL Server до этого времени. Дополнительные сведения см. в записи блога объявлений и в статье о параметрах больших данных на платформе Microsoft SQL Server.

Параметры кластера, службы и ресурсов для SQL Server Кластеры больших данных можно настроить после развертывания с помощью интерфейса командной azdata строки. Эта функция позволяет администраторам SQL Server Кластеры больших данных настраивать конфигурации в соответствии с требованиями рабочей нагрузки. В этой статье рассматриваются примеры сценариев с настройкой часовых поясов и требования к рабочей нагрузке Spark. Для настройки после развертывания используется процесс "задание — определение различий — применение".

Примечание.

Конфигурация параметров после развертывания доступна только в SQL Server Кластеры больших данных CU9 и более поздних версий. Настройка параметров не распространяется на конфигурацию масштаба, хранилища или конечных точек. Параметры и инструкции по настройке SQL Server Кластеры больших данных до cu9 см. здесь.

Пошаговый сценарий. Настройка часового пояса в SQL Server Кластеры больших данных

Начиная с SQL Server Кластеры больших данных CU13 можно настроить конфигурацию часового пояса кластера, поэтому метки времени служб соответствуют выбранному часовой поясу. Этот параметр не применяется к уровню управления кластерами больших данных, а задает новую конфигурацию часового пояса для всех пулов SQL Server (главный, вычислительный и для данных), а также компонентов Hadoop и Spark.

Примечание.

По умолчанию SQL Server Кластеры больших данных задает utc в качестве часового пояса.

Следующая команда позволяет изменить конфигурацию часового пояса:

azdata bdc settings set --settings bdc.timezone=America/Los_Angeles

Применение ожидающих изменения параметров к кластеру

Следующая команда применит конфигурацию и перезапустит все службы. Процессы отслеживания изменений и управления настройкой см. в последних разделах этой статьи.

azdata bdc settings apply

Пошаговый сценарий: настройка кластера в соответствии с требованиями рабочей нагрузки Spark

Просмотр текущих конфигураций службы Spark кластера больших данных

В приведенном ниже примере показано, как можно просмотреть настроенные пользователем параметры службы Spark. С помощью дополнительных параметров можно просмотреть все возможные настраиваемые параметры, параметры, управляемые системой, и ожидающие параметры. Дополнительные сведения см. в справке по командам azdata bdc spark statement.

azdata bdc spark settings show

Пример полученных результатов

Служба Spark

Параметр Текущее значение
spark-defaults-conf.spark.driver.cores 1
spark-defaults-conf.spark.driver.memory 1664m

Изменение объема памяти и количества ядер, выделяемых по умолчанию для драйвера Spark

Укажите новые значения по умолчанию для службы Spark: 2 ядра и 7424 МБ памяти. Это изменение влияет на все ресурсы, используемые в Spark для службы Spark.

azdata bdc spark settings set --settings spark-defaults-conf.spark.driver.cores=2,spark-defaults-conf.spark.driver.memory=7424m

Изменение числа ядер и размера памяти по умолчанию для исполнителей Spark в пуле носителей

Измените число ядер исполнителей по умолчанию на 4 для пула носителей.

azdata bdc spark settings set --settings spark-defaults-conf.spark.executor.cores=4 --resource=storage-0

Настройка дополнительных путей для пути к классам приложений Spark по умолчанию

Путь /opt/hadoop/share/hadoop/tools/lib/ содержит несколько библиотек, используемых приложениями Spark, но ссылка на путь по умолчанию не включается в путь к классам для приложений Spark. Чтобы включить этот параметр, примените следующий шаблон конфигурации.

azdata bdc hdfs settings set --settings hadoop-env.HADOOP_CLASSPATH="/opt/hadoop/share/hadoop/tools/lib/*"

Просмотр ожидающих изменений параметров, подготовленных в кластере больших данных

Вы можете просмотреть ожидающие изменения параметров только для службы Spark и для всего кластера больших данных.

Ожидающие параметры службы Spark

azdata bdc spark settings show --filter-option=pending --include-details

Служба Spark

Параметр Текущее значение Настроенное значение Конфигурируемый Настроено Время последнего изменения
spark-defaults-conf.spark.driver.cores 1 2 true true
spark-defaults-conf.spark.driver.memory 1664m 7424m true true

Все ожидающие параметры

azdata bdc settings show --filter-option=pending --include-details --recursive

Ожидающие параметры службы Spark

Параметр Текущее значение Настроенное значение Конфигурируемый Настроено Время последнего изменения
spark-defaults-conf.spark.driver.cores 1 2 true true
spark-defaults-conf.spark.driver.memory 1664m 7424m true true

Ожидающие параметры ресурса Spark Storage-0

Параметр Текущее значение Настроенное значение Конфигурируемый Настроено Время последнего изменения
spark-defaults-conf.spark.executor.cores 1 4 true true

Применение ожидающих изменения параметров к кластеру больших данных

azdata bdc settings apply

Мониторинг состояния изменения конфигурации

azdata bdc status show

Другие необязательные шаги

Отмена ожидающих параметров конфигурации

Если вы решите, что больше не хотите применять ожидающие параметры конфигурации, их подготовку можно отменить. При этом ожидающие параметры отменяются на всех уровнях.

azdata bdc settings revert

Прерывание обновления конфигурации

Если обновление конфигурации для любого из компонентов завершилось сбоем, можно отменить процесс обновления и восстановить предыдущие конфигурации кластера. Параметры, которые были подготовлены к изменению во время обновления, снова перейдут в состояние ожидания.

azdata bdc settings cancel-apply

Следующие шаги

Настройка кластера больших данных SQL Server