Ресурсы, развернутые с помощью sql Server Кластеры больших данных
Область применения: 
SQL Server 2019 (15.x)
Внимание
Поддержка надстройки "Кластеры больших данных" Microsoft SQL Server 2019 будет прекращена. Мы прекратим поддержку Кластеров больших данных SQL Server 2019 28 февраля 2025 г. Все существующие пользователи SQL Server 2019 с Software Assurance будут полностью поддерживаться на платформе, и программное обеспечение будет продолжать поддерживаться с помощью накопительных обновлений SQL Server до этого времени. Дополнительные сведения см. в записи блога объявлений и в статье о параметрах больших данных на платформе Microsoft SQL Server.
Эта статья описывает ресурсы, развертываемые кластером больших данных SQL Server.
Кластер больших данных развертывает объекты pod на основе профиля развертывания. Дополнительные сведения см. в разделе Конфигурации по умолчанию.
Эта статья описывает объекты pod, развертываемые с использованием профиля aks-dev-test-ha, и пул Spark. Для просмотра объектов pod, развернутых в кластере, отправьте запрос в Kubernetes. Следующий пример возвращает список объектов pod в определенном пространстве имен.
kubectl get pods -n <namespace>
Замените <namespace> именем кластера больших данных.
Дополнительные сведения см. в статье "Развертывание SQL Server Кластеры больших данных в Kubernetes".
На следующей схеме показаны компоненты, развернутые в кластере больших данных:
Дополнительные сведения об архитектуре см. в статье "Общие сведения о SQL Server Кластеры больших данных".
Развернутые модули
В следующей таблице приведен список объектов pod, развернутых в кластере больших данных.
| Имя. | Площадь |
|---|---|
control-<nnnn> |
Элемент управления |
controldb-<#> |
Элемент управления |
controlwd-<nnnn> |
Элемент управления |
logsdb-<#> |
Элемент управления |
logsui-<nnnn> |
Элемент управления |
metricsdb-<#> |
Элемент управления |
metricsdc-<nnnn> |
Элемент управления |
metricsui-<nnnn> |
Элемент управления |
mgmtproxy-<nnnn> |
Элемент управления |
zookeeper-<#> |
Элемент управления |
dns-<nnnn> |
Элемент управления |
master-<#n> |
Главный экземпляр |
operator-<nnnn> |
Главный экземпляр |
compute-<#n>-<#m> |
Вычислительный пул |
data-<#>-<#> |
Пул данных |
storage-<#>-<#> |
Пул носителей |
nmnode-<#>-<#> |
Пул носителей |
sparkhead-<#> |
Пул носителей |
appproxy-<#m> |
Пул приложений |
gateway-<#> |
Служба шлюза |
Не все объекты pod включены в каждый кластер больших данных. Развертывания с высоким уровнем доступности или интеграции с Active Directory включают специальные объекты pod.
Объекты pod, связанные с высокой доступностью:
operator-<nnnn>zookeeper-<#>
Объекты pod, связанные с Active Directory:
dns-<nnnn>
В следующих разделах описаны объекты pod и перечислены контейнеры в каждом из объектов.
Элемент управления
Объекты pod управления предоставляют службу управления.
| Имя объекта pod | Count | Тип контроллера Kubernetes | Контейнеры |
|---|---|---|---|
control-# |
1 | ReplicaSet | - controller- security-support- fluentbit |
controldb |
1 | StatefulSet | - mssql-server- fluentbit |
controlwd |
1 | ReplicaSet | - controlwatchdog |
logsdb-# |
1 | StatefulSet | - elasticsearch |
logsui |
1 | ReplicaSet | - kibana |
metricsdb-# |
1 | StatefulSet | - influxdb |
metricsdc |
1 на узел Kubernetes. | DaemonSet | - telegraf |
metricsui-nnnn |
1 | ReplicaSet | - grafana |
mgmtproxy-nnnn |
1 | ReplicaSet | - service-proxy- fluentbit |
dns-nnnn |
0 или 1 для интеграции с Active Directory | ReplicaSet | - dns- fluentbit |
Главный экземпляр
master-<#n> — это главный экземпляр SQL Server.
- Управляет пулом данных с помощью языка DDL.
- Управляет данными в пуле данных с помощью языка DML.
- Разгружает выполнение аналитического запроса в пул данных.
| Имя объекта pod | Count | Тип контроллера Kubernetes | Контейнеры |
|---|---|---|---|
master-<#n> |
1 или более для высокого уровня доступности. | StatefulSet | - mssql-server- fluentbit- collectd- mssql-ha-supervisor * |
operator* |
0 или 1 для высокого уровня доступности | ReplicaSet | - mssql-ha-operator |
* Только развертывания с высоким уровнем доступности. Оператор реализует и регистрирует определение пользовательского ресурса для SQL Server и ресурсы группы доступности. При развертывании оператор регистрирует себя в качестве прослушивателя для уведомлений о ресурсах SQL Server, развертываемых в кластере Kubernetes. mssql-ha-supervisor поддерживает группу доступности.
Каждый объект pod master содержит один экземпляр SQL Server. Развертывание с высоким уровнем доступности включает 3 объекта pod. Каждый объект pod содержит экземпляр SQL Server с базами данных в группе доступности AlwaysOn SQL Server.
Вы можете включать дополнительные объекты pod во время развертывания, в зависимости от рабочей нагрузки.
Вычислительный пул
Вычислительный пул предоставляет экземпляр SQL Server для вычислений.
| Имя объекта pod | Count | Тип контроллера Kubernetes | Контейнеры |
|---|---|---|---|
compute-<#n>-<#m> |
1 или более. | StatefulSet | - mssql-server- fluentbit- collectd |
#nидентифицирует вычислительный пул.#mидентифицирует идентификатор экземпляра в пуле.
Экземпляры SQL Server вычислительного пула не учитывают состояние. Им требуется хранилище только для tempdb.
Вы можете включать дополнительные объекты pod во время развертывания, в зависимости от рабочей нагрузки.
Пул данных
Пул данных предоставляет экземпляры SQL Server для хранения и вычислений.
| Имя объекта pod | Count | Тип контроллера Kubernetes | Контейнеры |
|---|---|---|---|
data-<#n>-<#m> |
0 и более | StatefulSet | - mssql-server - fluentbit- collectd |
#nидентифицирует пул данных.#mидентифицирует идентификатор экземпляра в пуле.
Вы можете включать дополнительные объекты pod во время развертывания, в зависимости от рабочей нагрузки.
Пул носителей
Пул носителей обеспечивает прием данных через Spark, хранилище в HDFS, доступ к данным через HDFS и конечные точки SQL Server.
| Имя объекта pod | Count | Тип контроллера Kubernetes | Контейнеры |
|---|---|---|---|
storage-0-# |
1 или более. Вы можете включать дополнительные объекты pod во время развертывания, в зависимости от рабочей нагрузки. | StatefulSet | - hadoop- mssql-server- fluentbit |
nmnode-0-# |
1 или более для высокого уровня доступности. | StatefulSet | - hadoop- fluentbit |
sparkehead-# |
1 или более для высокого уровня доступности. | StatefulSet | - hadoop-yarn-jobhistory- hadoop-livy-sparkhistory- hadoop-hivemetastore-- fluentbit |
zookeeper |
0 или 3 для высокого уровня доступности. | StatefulSet | - zookeeper- fluentbit |
Пул приложений
Пул приложений включен в некоторые профили конфигурации теста. В пуле приложений размещаются прокси-серверы службы приложений, которые вы определяете при развертывании приложений для кластеров больших данных.
appproxy — это веб-API, располагающийся перед приложениями пула приложений. Он выполняет проверку подлинности пользователей, а затем направляет запросы в приложения.
| Имя объекта pod | Тип контроллера Kubernetes | Контейнеры |
|---|---|---|
appproxy |
ReplicaSet | - app-service-proxy- fluentbit |
Дополнительные сведения см. в разделе Общие сведения о развертывании приложения в Кластере больших данных.
Вы можете включать дополнительные объекты pod во время развертывания, в зависимости от рабочей нагрузки.
Служба шлюза
Службы шлюза предоставляют шлюз Knox для Spark, HDFS, Yarn, пользовательский интерфейс Yarn и пользовательский интерфейс Spark.
| Имя объекта pod | Тип контроллера Kubernetes | Контейнеры |
|---|---|---|
gateway-<#> |
StatefulSet | - knox- fluentbit |
Поддерживается только один шлюз.
Ссылки на контейнеры с открытым исходным кодом
Список проектов с открытым кодом и версий см. в статье Справочник по ПО с открытым кодом.
Следующие шаги
Дополнительные сведения о Кластеры больших данных SQL Server см. в следующих ресурсах: