在 Kubernetes 上使用 DH2i DxEnterprise 部署可用性组

项目
04/15/2024

适用于：SQL Server - Linux

本教程介绍如何使用 DH2i DxEnterprise 为部署到 Azure Kubernetes 服务 (AKS) Kubernetes 群集的基于 Linux 的 SQL Server 容器配置 SQL Server Always On 可用性组 (AG)。可以在挎斗配置（首选）之间进行选择，也可以生成自己的自定义容器映像。

注意

Microsoft 支持数据移动、AG 和 SQL Server 组件。 DH2i 负责支持 DxEnterprise 产品，包括群集和仲裁管理。

挎斗配置
自定义映像

使用本文中提到的步骤，了解如何部署 StatefulSet，并使用 DH2i DxEnterprise 解决方案创建和配置 AG。本教程包含以下几个步骤：

创建无外设服务配置
在与挎斗容器相同的 Pod 中使用 SQL Server 和 DxEnterprise 创建 StatefulSet 配置
创建并配置 SQL Server 高可用性组，进而添加次要副本
在 AG 中创建一个数据库并测试故障转移

先决条件

本教程以具有三个副本的 AG 为例进行演示。需要：

Azure Kubernetes 服务 (AKS) 或 Kubernetes 群集。
启用了 AG 功能和隧道的有效 DxEnterprise 许可证。有关详细信息，请参阅适用于非生产用途的开发人员版或适用于生产工作负载的 DxEnterprise 软件。

创建无外设服务

在 Kubernetes 群集中，无外设服务允许 Pod 使用主机名相互连接。

若要创建无外设服务，请使用以下示例内容创建名为 headless_services.yaml 的 YAML 文件：

#Headless services for local connections/resolution
apiVersion: v1
kind: Service
metadata:
name: dxemssql-0
spec:
clusterIP: None
selector:
    statefulset.kubernetes.io/pod-name: dxemssql-0
ports:
- name: dxl
    protocol: TCP
    port: 7979
- name: dxc-tcp
    protocol: TCP
    port: 7980
- name: dxc-udp
    protocol: UDP
    port: 7981
- name: sql
    protocol: TCP
    port: 1433
- name: listener
    protocol: TCP
    port: 14033
---
apiVersion: v1
kind: Service
metadata:
name: dxemssql-1
spec:
clusterIP: None
selector:
    statefulset.kubernetes.io/pod-name: dxemssql-1
ports:
- name: dxl
    protocol: TCP
    port: 7979
- name: dxc-tcp
    protocol: TCP
    port: 7980
- name: dxc-udp
    protocol: UDP
    port: 7981
- name: sql
    protocol: TCP
    port: 1433
- name: listener
    protocol: TCP
    port: 14033
---
apiVersion: v1
kind: Service
metadata:
name: dxemssql-2
spec:
clusterIP: None
selector:
    statefulset.kubernetes.io/pod-name: dxemssql-2
ports:
- name: dxl
    protocol: TCP
    port: 7979
- name: dxc-tcp
    protocol: TCP
    port: 7980
- name: dxc-udp
    protocol: UDP
    port: 7981
- name: sql
    protocol: TCP
    port: 1433
- name: listener
    protocol: TCP
    port: 14033

运行以下命令以应用配置：

kubectl apply -f headless_services.yaml

创建 StatefulSet

使用以下示例内容创建 StatefulSet YAML 文件，并将其命名为 dxemssql.yaml。

此 StatefulSet 配置创建三个 DxEMSSQL 副本，这些副本利用永久性卷声明来存储其数据。此 StatefulSet 中的每个 Pod 都包含两个容器：SQL Server 容器和 DxEnterprise 容器。这些容器在“挎斗”配置中彼此独立启动，但 DxEnterprise 管理 SQL Server 容器中的 AG 副本。

#DxEnterprise + MSSQL StatefulSet
apiVersion: apps/v1
kind: StatefulSet
metadata:
name: dxemssql
spec:
serviceName: "dxemssql"
replicas: 3
selector:
    matchLabels:
    app: dxemssql
template:
    metadata:
    labels:
        app: dxemssql
    spec:
    securityContext:
        fsGroup: 10001
    containers:
    - name: sql
        image: mcr.microsoft.com/mssql/server:2022-latest
        env:
        - name: ACCEPT_EULA
        value: "Y"
        - name: MSSQL_ENABLE_HADR
        value: "1"
        - name: MSSQL_SA_PASSWORD
        valueFrom:
            secretKeyRef:
            name: mssql
            key: MSSQL_SA_PASSWORD
        volumeMounts:
        - name: mssql
        mountPath: "/var/opt/mssql"
    - name: dxe
        image: dh2i/dxe
        env:
        - name: MSSQL_SA_PASSWORD
        valueFrom:
            secretKeyRef:
            name: mssql
            key: MSSQL_SA_PASSWORD
        volumeMounts:
        - name: dxe
        mountPath: "/etc/dh2i"
volumeClaimTemplates:
- metadata:
    name: dxe
    spec:
    accessModes:
    - ReadWriteOnce
    resources:
        requests:
        storage: 1Gi
- metadata:
    name: mssql
    spec:
    accessModes:
    - ReadWriteOnce
    resources:
        requests:
        storage: 1Gi

为 SQL Server 实例创建凭据。

kubectl create secret generic mssql --from-literal=MSSQL_SA_PASSWORD="<password>"

应用 StatefulSet 配置。
```
kubectl apply -f dxemssql.yaml
```
验证 Pod 的状态，并在 Pod 的状态变为 running 时继续执行下一步。
```
kubectl get pods
kubectl describe pods
```

创建可用性组并测试故障转移

有关创建和配置高可用性组、添加副本和测试故障转移的详细信息，请参阅 Kubernetes 中的 SQL Server 可用性组。

在本教程中，Azure Kubernetes 服务 (AKS) 用作 Kubernetes 群集，并且教程包含以下任务：

部署 Azure Kubernetes 服务
准备 SQL Server 和 DH2i 自定义容器映像
在 Azure Kubernetes 服务上部署容器
配置 DxEnterprise 群集
为侦听器功能配置 Read_Write_Routing_URL（可选）

有关 DxEnterprise 的详细信息，请参阅 DH2i DxEnterprise。

先决条件

若要部署 Azure Kubernetes 服务，必须拥有 Azure 帐户。双节点群集是本教程的极佳起点。
通过 Azure 门户创建 Azure 容器注册表。此注册表将在部署脚本中用于检索自定义映像并将容器部署到 Azure Kubernetes。可以使用首选的容器注册表来推送自定义容器映像，而不是使用 Azure 容器注册表 (ACR)。

部署 Azure Kubernetes 服务

按照此快速入门教程使用 Azure Kubernetes 服务设置双节点 Kubernetes 群集。创建群集后，可以按照连接到群集一节中所述的步骤连接到该群集。

现在，你就拥有了双节点 Kubernetes 群集。从客户机运行以下命令。

kubectl get nodes

应看到结果类似于以下输出：

NAME                                STATUS   ROLES   AGE   VERSION
aks-nodepool1-75119571-vmss000000   Ready    agent   61d   v1.19.9
aks-nodepool1-75119571-vmss000001   Ready    agent   61d   v1.19.9

准备 SQL Server 和 DH2i DxEnterprise 自定义容器映像

创建将在部署清单中使用的自定义容器映像。自定义容器映像在容器中部署 SQL Server、.NET 和 DxEnterprise。本节提供了部署示例 Dockerfile。你可以根据需要对其进行修改，例如更改 SQL Server 版本。

有关 Docker 以及如何使用 Dockerfile 的详细信息，请参阅 Docker 文档。

FROM mcr.microsoft.com/mssql/server:2019-latest
USER root

#Install dotnet
RUN apt-get update \
   && ACCEPT_EULA=Y apt-get upgrade -y \
   && apt-get install -y wget \
   && wget --no-dns-cache https://packages.microsoft.com/config/ubuntu/20.04/packages-microsoft-prod.deb -O packages-microsoft-prod.deb \
   && dpkg -i packages-microsoft-prod.deb \
   && apt-get update \
   && apt-get install -y dotnet-runtime-6.0 zip \
   && dpkg --purge packages-microsoft-prod \
   && apt-get purge -y wget \
   && apt-get clean \
   && rm packages-microsoft-prod.deb \
   && rm -rf /var/lib/apt/lists/*

#Download and unpack DxE, setup permissions
ADD https://repos.dh2i.com/container/ ./dxe.tgz
RUN tar zxvf dxe.tgz && rm dxe.tgz \
   && chown -R mssql /var/opt/mssql \
   && chmod -R 777 /opt/dh2i /etc/dh2i

#Finish setup
EXPOSE 7979 7985
ENV DX_HAS_MSSQLSERVER=1
USER mssql
ENTRYPOINT ["/opt/dh2i/sbin/dxstart.sh"]

在 Linux 计算机上，运行以下命令以生成映像：
```
mkdir dockerfiles
cd dockerfiles
nano Dockerfile
```
将之前共享的示例 Dockerfile 内容粘贴到此新文件中，然后保存。
使用命令生成映像，并将 <tagname> 替换为 sqldh2i/latest。
```
docker build -t <tagname> .
```
现在，运行 docker 映像命令时，应能够看到新的映像 sqldh2i。

使用以下命令标记映像，并将其推送到 Azure 容器注册表 (ACR)。确保已使用 docker login 命令登录到 Azure 容器注册表 (ACR)。有关详细信息，请参阅登录到 ACR。

使用以下命令标记映像：

docker tag sqldh2i/latest <registry-name>.azurecr.io/sqldh2i:latest

将映像推送到 ACR 存储库。
```
docker push <registry-name>.azurecr.io/sqldh2i:latest
```
可以通过门户浏览 ACR，应能看到 ACR 中列出的存储库和标记。

这可确保自定义映像已推送到 Azure 容器注册表 (ACR)，并且现在可以通过运行以下命令将 Azure Kubernetes 服务 (AKS) 与 ACR 集成。有关更多信息，请参阅使用 Azure 容器注册表 (ACR) 从 Azure Kubernetes 服务 (AKS) 进行身份验证。

使用 <registry-name> 的短名称。以下命令中不接受注册表的完全限定名称。

az aks update -n myAKSCluster -g <myResourceGroup> --attach-acr <registry-name>

在 Azure Kubernetes 服务上部署容器

此过程会将 SQL Server 容器部署为 StatefulSet 部署；本文后面提供了一个在 Azure Kubernetes 服务上部署容器的示例部署文件以供参考。

设置三个 SQL Server 实例：一个作为主要副本，两个作为次要副本。你可以选择向节点添加标签，以确保主要副本始终在一个节点上运行，次要副本在另一个节点上运行。下面是用于为节点添加标签的步骤：
1. 使用命令获取群集的节点名称。
```
kubectl get nodes
```
2. 使用以下命令为节点添加标签：
```
kubectl label node aks-nodepool1-75119571-vmss000000 <role=ags-primary>
```
```
kubectl label node aks-nodepool1-75119571-vmss000001 <role=ags-secondary>
```
在部署 SQL Server 容器之前，使用以下命令在 Kubernetes 上创建 sa 密码机密：
```
kubectl create secret generic mssql --from-literal=MSSQL_SA_PASSWORD="MyC0m9l&xP@ssw0rd"
```
请将 MyC0m9l&xP@ssw0rd 替换为自己的复杂密码。

创建用于描述部署的清单（YAML 文件）。下面的示例显示了当前部署，该部署使用了在前面步骤中创建的自定义容器映像。

注意

此示例需要进行修改以适应你的环境，例如替换端口、映像和存储详细信息。

kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
     name: azure-disk
provisioner: kubernetes.io/azure-disk
parameters:
  storageaccounttype: Standard_LRS
  kind: Managed
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: mssql-pri
  labels:
    app: mssql
spec:
  serviceName: "mssql-pri"
  replicas: 1
  selector:
    matchLabels:
      app: mssql
  template:
    metadata:
      labels:
        app: mssql
    spec:
      securityContext:
        fsGroup: 10001
      containers:
      - name: mssql
        image: <registry-name>.azurecr.io/sqldh2i:latest
        env:
        - name: ACCEPT_EULA
          value: "Y"
        - name: MSSQL_AGENT_ENABLED
          value: "Y"
        - name: MSSQL_ENABLE_HADR
          value: "1"
        - name: MSSQL_SA_PASSWORD
          valueFrom:
            secretKeyRef:
              name: mssql
              key: MSSQL_SA_PASSWORD
        volumeMounts:
        - name: dxe
          mountPath: "/etc/dh2i"
        - name: mssql
          mountPath: "/var/opt/mssql"
      nodeSelector:
       role: ags-primary
  volumeClaimTemplates:
  - metadata:
      name: dxe
    spec:
      accessModes:
        - ReadWriteOnce
      resources:
        requests:
          storage: 1Gi
  - metadata:
      name: mssql
    spec:
      accessModes:
        - ReadWriteOnce
      resources:
        requests:
          storage: 8Gi
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: mssql-sec
  labels:
    app: mssql
spec:
  serviceName: "mssql-sec"
  replicas: 2
  selector:
    matchLabels:
      app: mssql
  template:
    metadata:
      labels:
        app: mssql
    spec:
      securityContext:
        fsGroup: 10001
      containers:
      - name: mssql
        image: <registry-name>.azurecr.io/sqldh2i:latest
        env:
        - name: ACCEPT_EULA
          value: "Y"
        - name: MSSQL_AGENT_ENABLED
          value: "Y"
        - name: MSSQL_ENABLE_HADR
          value: "1"
        - name: MSSQL_SA_PASSWORD
          valueFrom:
            secretKeyRef:
              name: mssql
              key: MSSQL_SA_PASSWORD
        volumeMounts:
        - name: dxe
          mountPath: "/etc/dh2i"
        - name: mssql
          mountPath: "/var/opt/mssql"
      nodeSelector:
       role: ags-secondary
  volumeClaimTemplates:
  - metadata:
      name: dxe
    spec:
      accessModes:
        - ReadWriteOnce
      resources:
        requests:
          storage: 1Gi
  - metadata:
      name: mssql
    spec:
      accessModes:
        - ReadWriteOnce
      resources:
        requests:
          storage: 8Gi
---
apiVersion: v1
kind: Service
metadata:
  name: mssql-pri-0
spec:
  type: LoadBalancer
  selector:
    statefulset.kubernetes.io/pod-name: mssql-pri-0
  ports:
  - name: sql
    protocol: TCP
    port: 1433
    targetPort: 1433
  - name: dxe
    protocol: TCP
    port: 7979
    targetPort: 7979
---
apiVersion: v1
kind: Service
metadata:
  name: mssql-sec-0
spec:
  type: LoadBalancer
  selector:
    statefulset.kubernetes.io/pod-name: mssql-sec-0
  ports:
  - name: sql
    protocol: TCP
    port: 1433
    targetPort: 1433
  - name: dxe
    protocol: TCP
    port: 7979
    targetPort: 7979
---
apiVersion: v1
kind: Service
metadata:
  name: mssql-sec-1
spec:
  type: LoadBalancer
  selector:
    statefulset.kubernetes.io/pod-name: mssql-sec-1
  ports:
  - name: sql
    protocol: TCP
    port: 1433
    targetPort: 1433
  - name: dxe
    protocol: TCP
    port: 7979
    targetPort: 7979

请将上述代码复制到名为 sqldeployment.yaml 的新文件中。

然后，使用以下命令创建部署：

kubectl apply -f <Path to sqldeployment.yaml file>

部署完成后，运行 kubectl get all 命令。应会显示以下结果。

C:\>kubectl get all
NAME              READY   STATUS    RESTARTS   AGE
pod/mssql-pri-0   1/1     Running   0          33h
pod/mssql-sec-0   1/1     Running   0          33h
pod/mssql-sec-1   1/1     Running   0          33h

NAME                  TYPE           CLUSTER-IP     EXTERNAL-IP     PORT(S)                         AGE
service/kubernetes    ClusterIP      10.0.0.1       <none>          443/TCP                         33h
service/mssql-pri-0   LoadBalancer   10.0.134.183   20.204.22.235   1433:30678/TCP,7979:31136/TCP   33h
service/mssql-sec-0   LoadBalancer   10.0.74.50     20.204.23.32    1433:31009/TCP,7979:30114/TCP   33h
service/mssql-sec-1   LoadBalancer   10.0.63.62     20.204.74.9     1433:31616/TCP,7979:32190/TCP   33h

NAME                         READY   AGE
statefulset.apps/mssql-pri   1/1     33h
statefulset.apps/mssql-sec   2/2     33h

你现在应有三个 SQL Server 实例，每个实例都有自己的存储和服务公开端口 1433 (SQL Server) 和 7979（DxEnterprise 群集）。可以使用外部 IP 地址连接到每个 SQL Server 实例。 SA 密码是在前面步骤中创建 mssql 机密时所提供的密码。

在部署的容器上配置 DxEnterprise 群集

DxEnterprise 是 DH2i 中的高可用性群集软件，支持 AG，包括容器中的 AG。功能齐全的开发人员版本可用于非生产环境。若要在容器中配置 DxEnterprise 群集，请按照此 DH2i 指南中的步骤进行操作。

借助这些步骤，你应已创建 AG，并将数据库添加到支持高可用性的组。

注意

可使用 SQL Server Standard 版本部署基本 Always On 可用性组，但你可能会注意到，基本 AG 的其中一项限制是只能有两个副本和一个额外的仅配置副本（这是成功自动故障转移所必需的）。有关仅配置副本 (replica) 故障转移的详细信息，请参阅仅配置副本 (replica)和仲裁。也可为容器添加仅限配置的副本。为此，请参阅 DH2i 文档，确保在“dxcli add-ags-node”命令中将可用性模式传递为“configuration_only”。

可用性组侦听程序的配置步骤（可选）

还可以通过以下步骤配置 AG 侦听器：

确保已使用 DxEnterprise 创建 AG 侦听程序，如 DH2i 文档接近末尾处的额外步骤中所述。
在 Kubernetes 中，可选择性地创建静态 IP 地址。创建静态 IP 地址时，应确保如果侦听程序服务被删除再重新创建，分配给你的侦听程序的外部 IP 地址不会更改。按照这些步骤，在 Azure Kubernetes 服务 (AKS) 中创建静态 IP 地址。

创建 IP 地址后，需要分配该 IP 地址并创建负载均衡器服务，如下面 YAML 示例所示：

apiVersion: v1
kind: Service
metadata:
  name: agslistener
spec:
  type: LoadBalancer
  loadBalancerIP: 52.140.117.62
  selector:
    app: mssql
  ports:
  - protocol: TCP
    port: 44444
    targetPort: 44444

配置读/写连接重定向的步骤（可选）

创建 AG 后，可以按照以下步骤启用从次要副本到主要副本的读/写连接重定向。有关详细信息，请参阅次要副本到主要副本读/写连接重定向（AlwaysOn 可用性组）。

USE [master];
GO

ALTER AVAILABILITY
GROUP [ag_name] MODIFY REPLICA
    ON N'<name of the primary replica>'
WITH (SECONDARY_ROLE(ALLOW_CONNECTIONS = ALL));
GO

USE [master];
GO

ALTER AVAILABILITY
GROUP [AGS1] MODIFY REPLICA
    ON N'<name of the secondary-0 replica>'
WITH (SECONDARY_ROLE(ALLOW_CONNECTIONS = ALL));
GO

USE [master];
GO

ALTER AVAILABILITY
GROUP [AGS1] MODIFY REPLICA
    ON N'<name of the secondary-1 replica>'
WITH (SECONDARY_ROLE(ALLOW_CONNECTIONS = ALL));
GO

USE [master];
GO

ALTER AVAILABILITY
GROUP AGS1 MODIFY REPLICA
    ON N'<name of the primary replica>'
WITH (PRIMARY_ROLE(READ_WRITE_ROUTING_URL = 'TCP://<External IP address of primary -0>:1433'));
GO

USE [master];
GO

ALTER AVAILABILITY
GROUP AGS1 MODIFY REPLICA
    ON N'<name of the secondary-0 replica>'
WITH (PRIMARY_ROLE(READ_WRITE_ROUTING_URL = 'TCP://<External IP address of secondary -0>:1433'));
GO

USE [master];
GO

ALTER AVAILABILITY
GROUP AGS1 MODIFY REPLICA
    ON N'<name of the secondary-1 replica>'
WITH (PRIMARY_ROLE(READ_WRITE_ROUTING_URL = 'TCP://<External IP address of secondary -1>:1433'));
GO

通过

在 Kubernetes 上使用 DH2i DxEnterprise 部署可用性组

先决条件

创建无外设服务

创建 StatefulSet

创建可用性组并测试故障转移

先决条件

部署 Azure Kubernetes 服务

准备 SQL Server 和 DH2i DxEnterprise 自定义容器映像

在 Azure Kubernetes 服务上部署容器

在部署的容器上配置 DxEnterprise 群集

可用性组侦听程序的配置步骤（可选）

配置读/写连接重定向的步骤（可选）

反馈

其他资源

通过

在 Kubernetes 上使用 DH2i DxEnterprise 部署可用性组

先决条件

创建无外设服务

创建 StatefulSet

创建可用性组并测试故障转移

可用性组侦听程序的配置步骤（可选）

配置读/写连接重定向的步骤（可选）

相关内容

反馈

其他资源