Настройка кластера больших данных SQL Server до выпуска накопительного пакета обновления 9

Статья
03/18/2023

Область применения: SQL Server 2019 (15.x)

Внимание

Поддержка надстройки "Кластеры больших данных" Microsoft SQL Server 2019 будет прекращена. Мы прекратим поддержку Кластеров больших данных SQL Server 2019 28 февраля 2025 г. Все существующие пользователи SQL Server 2019 с Software Assurance будут полностью поддерживаться на платформе, и программное обеспечение будет продолжать поддерживаться с помощью накопительных обновлений SQL Server до этого времени. Дополнительные сведения см. в записи блога объявлений и в статье о параметрах больших данных на платформе Microsoft SQL Server.

В Кластерах больших данных SQL Server 2019 с накопительным пакетом обновления 8 и более ранних выпусков вы можете настраивать параметры кластера больших данных во время развертывания с помощью файла развертывания bdc.json. Главный экземпляр SQL Server можно настроить после развертывания только с помощью mssql-conf.

Примечание.

До выпуска накопительного пакета обновления 9 и появления кластеров с поддержкой конфигурации кластеры больших данных можно было настраивать только во время развертывания за исключением главного экземпляра SQL Server, который можно было настраивать после развертывания только с помощью mssql-conf. Инструкции по настройке для накопительного пакета обновлений 9 и более поздних выпусков см. в статье Настройка кластера больших данных SQL Server.

Области конфигурации

Конфигурация кластеров больших данных до накопительного пакета обновления 9 включает два уровня: service и resource. Иерархия параметров также следует этому порядку — от высшего к низшему. Компоненты Кластеров больших данных принимают значение параметра, определенное на самом низком уровне. Если параметр не определен в заданной области, он наследует значение из более высокой родительской области.

Например, вы можете определить число ядер по умолчанию для использования драйвером Spark в ресурсах пула носителей и Sparkhead. Это можно сделать двумя способами.

Задайте число ядер по умолчанию в области службы Spark.
Задайте число ядер по умолчанию в области ресурсов storage-0 и sparkhead.

В первом сценарии все ресурсы низшей области службы Spark (пул носителей и Sparkhead) наследуют число ядер по умолчанию из значения службы Spark по умолчанию.

Во втором сценарии каждый ресурс будет использовать значение, определенное в соответствующей области.

Если число ядер по умолчанию настроено как в области службы, так и в области ресурсов, значение из области ресурсов будет переопределять значение из области службы, так как это самая низкая настроенная пользователем область для заданного параметра.

Конкретные сведения о конфигурации см. в соответствующих статьях:

Настройка главного экземпляра SQL Server

Настройте главный экземпляр SQL Server Кластеры больших данных.

Нельзя настроить параметры конфигурации сервера для главного экземпляра SQL Server во время развертывания. В этой статье описывается временное решение для настройки таких параметров, как версия SQL Server, включение или отключение агента SQL Server, включение конкретных флагов трассировки или включение или отключение отзывов пользователей.

Чтобы изменить какие либо из этих параметров, выполните следующие действия.

Создайте пользовательский файл mssql-custom.conf, включающий нужные параметры. В следующем примере показано включение агента SQL, телеметрии, установка PID для выпуска Enterprise и включение флага трассировки 1204.
```
[sqlagent]
enabled=true

[telemetry]
customerfeedback=true
userRequestedLocalAuditDirectory = /tmp/audit

[DEFAULT]
pid = Enterprise

[traceflag]
traceflag0 = 1204
```
Скопируйте файл mssql-custom.conf в каталог /var/opt/mssql в контейнере в mssql-server pod master-0. Замените <namespaceName> именем кластера больших данных.
```
kubectl cp mssql-custom.conf master-0:/var/opt/mssql/mssql-custom.conf -c mssql-server -n <namespaceName>
```
Перезапустите экземпляр SQL Server. Замените <namespaceName> именем кластера больших данных.
```
kubectl exec -it master-0  -c mssql-server -n <namespaceName> -- /bin/bash
supervisorctl restart mssql-server
exit
```

Внимание

Если главный экземпляр SQL Server находится в конфигурации с группами доступности, скопируйте файл mssql-custom.conf во все pod master. Обратите внимание, что при каждом перезапуске будет происходить отработка отказа, поэтому необходимо убедиться, что это действие выполняется в период простоя.

Известные ограничения

Для выполнения приведенных выше действий требуются разрешения администратора кластера Kubernetes.
Невозможно изменить параметры сортировки сервера для главного экземпляра SQL Server кластера больших данных после развертывания.

Настройка Apache Spark и Apache Hadoop

Чтобы настроить Apache Spark и Apache Hadoop в Кластерах больших данных, необходимо изменить профиль кластера во время развертывания.

Кластер больших данных имеет четыре категории конфигураций:

sql
hdfs
spark
gateway

sql, hdfs, spark, sql являются службами. Каждая служба соответствует одноименной категории конфигураций. Все конфигурации шлюзов относятся к категории gateway.

Например, все конфигурации в службе hdfs относятся к категории hdfs. Обратите внимание, что все конфигурации Hadoop (core-site), HDFS и Zookeeper относятся к категории hdfs; все конфигурации Livy, Spark, Yarn и Hive Metastore относятся к категории spark.

В разделе Поддерживаемые конфигурации перечислены свойства Apache Spark и Hadoop, которые можно настроить при развертывании кластера больших данных SQL Server.

В следующих разделах перечислены свойства, которые невозможно изменить в кластере.

Следующие шаги

Настройка кластера больших данных SQL Server

Поделиться через