在 Kubernetes 上使用 DH2i DxEnterprise 部署可用性群組

發行項
04/15/2024

適用於：SQL Server - Linux

此教學課程說明如何針對部署到 Azure Kubernetes Service (AKS) Kubernetes 叢集中的 SQL Server Linux 型容器，使用 DH2i DxEnterprise 設定 SQL Server Always On 可用性群組 (AG)。您可以選擇邊車設定 (慣用)，或建置您自己的自定義容器映像。

注意

Microsoft 支援資料移動、可用性群組與 SQL Server 元件。 DH2i 負責支援 DxEnterprise 產品，其中包括叢集與仲裁管理。

邊車設定
自訂映像

使用本文所述的步驟，了解如何部署 StatefulSet，並使用 DH2i DxEnterprise 解決方案來建立和設定可用性群組 (AG)。本教學課程包含下列步驟。

建立無周邊服務設定
在與邊車容器相同的 Pod 中使用 SQL Server 和 DxEnterprise 建立 StatefulSet 設定
建立及設定 SQL Server AG，並新增次要複本
在 AG 中建立資料庫，並測試容錯移轉

必要條件

本教學課程示範具有三個複本的 AG 範例。您需要：

Azure Kubernetes Service (AKS) 或 Kubernetes 叢集。
已啟用 AG 功能和通道的有效 DxEnterprise 授權。如需詳細資訊，請參閱非生產環境的開發人員版本，或生產工作負載的 DxEnterprise 軟體。

建立無周邊服務

在 Kubernetes 叢集中，無周邊服務可讓您的 Pod 使用主機名彼此連線。

若要建立無周邊服務，請使用下列範例內容建立名為 headless_services.yaml 的 YAML 檔案。

#Headless services for local connections/resolution
apiVersion: v1
kind: Service
metadata:
name: dxemssql-0
spec:
clusterIP: None
selector:
    statefulset.kubernetes.io/pod-name: dxemssql-0
ports:
- name: dxl
    protocol: TCP
    port: 7979
- name: dxc-tcp
    protocol: TCP
    port: 7980
- name: dxc-udp
    protocol: UDP
    port: 7981
- name: sql
    protocol: TCP
    port: 1433
- name: listener
    protocol: TCP
    port: 14033
---
apiVersion: v1
kind: Service
metadata:
name: dxemssql-1
spec:
clusterIP: None
selector:
    statefulset.kubernetes.io/pod-name: dxemssql-1
ports:
- name: dxl
    protocol: TCP
    port: 7979
- name: dxc-tcp
    protocol: TCP
    port: 7980
- name: dxc-udp
    protocol: UDP
    port: 7981
- name: sql
    protocol: TCP
    port: 1433
- name: listener
    protocol: TCP
    port: 14033
---
apiVersion: v1
kind: Service
metadata:
name: dxemssql-2
spec:
clusterIP: None
selector:
    statefulset.kubernetes.io/pod-name: dxemssql-2
ports:
- name: dxl
    protocol: TCP
    port: 7979
- name: dxc-tcp
    protocol: TCP
    port: 7980
- name: dxc-udp
    protocol: UDP
    port: 7981
- name: sql
    protocol: TCP
    port: 1433
- name: listener
    protocol: TCP
    port: 14033

執行下列命令以套用組態。

kubectl apply -f headless_services.yaml

建立 StatefulSet

使用下列範例內容建立 StatefulSet YAML 檔案，並將它命名為 dxemssql.yaml。

此 StatefulSet 設定會建立三個 DxEMSSQL 複本，利用永續性磁碟區宣告來儲存其資料。此 StatefulSet 中的每個 Pod 都包含兩個容器：SQL Server 容器和 DxEnterprise 容器。這些容器會在「邊車」設定中彼此分開啟動，但 DxEnterprise 會管理 SQL Server 容器中的 AG 複本。

#DxEnterprise + MSSQL StatefulSet
apiVersion: apps/v1
kind: StatefulSet
metadata:
name: dxemssql
spec:
serviceName: "dxemssql"
replicas: 3
selector:
    matchLabels:
    app: dxemssql
template:
    metadata:
    labels:
        app: dxemssql
    spec:
    securityContext:
        fsGroup: 10001
    containers:
    - name: sql
        image: mcr.microsoft.com/mssql/server:2022-latest
        env:
        - name: ACCEPT_EULA
        value: "Y"
        - name: MSSQL_ENABLE_HADR
        value: "1"
        - name: MSSQL_SA_PASSWORD
        valueFrom:
            secretKeyRef:
            name: mssql
            key: MSSQL_SA_PASSWORD
        volumeMounts:
        - name: mssql
        mountPath: "/var/opt/mssql"
    - name: dxe
        image: dh2i/dxe
        env:
        - name: MSSQL_SA_PASSWORD
        valueFrom:
            secretKeyRef:
            name: mssql
            key: MSSQL_SA_PASSWORD
        volumeMounts:
        - name: dxe
        mountPath: "/etc/dh2i"
volumeClaimTemplates:
- metadata:
    name: dxe
    spec:
    accessModes:
    - ReadWriteOnce
    resources:
        requests:
        storage: 1Gi
- metadata:
    name: mssql
    spec:
    accessModes:
    - ReadWriteOnce
    resources:
        requests:
        storage: 1Gi

建立 SQL Server 執行個體的認證。

kubectl create secret generic mssql --from-literal=MSSQL_SA_PASSWORD="<password>"

套用 StatefulSet 設定。
```
kubectl apply -f dxemssql.yaml
```
確認 Pod 的狀態，並在 Pod 的狀態變成 running 時繼續進行下一個步驟。
```
kubectl get pods
kubectl describe pods
```

建立可用性群組並測試容錯移轉

如需建立和設定 AG、新增複本和測試容錯移轉的詳細資訊，請參閱 Kubernetes 中的 SQL Server 可用性群組。

在此教學課程中，Azure Kubernetes Service (AKS) 會當作 Kubernetes 叢集使用，而教學課程是由下列工作所組成。

部署 Azure Kubernetes Service
準備 SQL Server 和 DH2i 自訂容器映像
在 Azure Kubernetes Service 上部署容器
設定 DxEnterprise 叢集
針對接聽程式功能設定 Read_Write_Routing_URL (選用)

如需 DxEnterprise 的詳細資訊，請參閱 DH2i DxEnterprise \(英文\)。

必要條件

若要部署 Azure Kubernetes Service，您必須擁有 Azure 帳戶。雙節點叢集是此教學課程的良好起點。
使用 Azure 入口網站建立 Azure Container Registry。此登錄用於我們的部署指令碼，以擷取自訂映像，並將容器部署至 Azure Kubernetes。您可以使用慣用的容器登錄來推送自訂容器映像，而不是使用 Azure Container Registry (ACR)。

部署 Azure Kubernetes Service

遵循此快速入門教學課程 (部分機器翻譯)，以使用 Azure Kubernetes Service 來設定雙節點 Kubernetes 叢集。建立叢集之後，可以遵循連線至叢集一節中所述的步驟來連線至該叢集。

您現在應該會有一個雙節點 Kubernetes 叢集。在用戶端機器中執行下列命令。

kubectl get nodes

您應該會看到類似下面輸出的結果。

NAME                                STATUS   ROLES   AGE   VERSION
aks-nodepool1-75119571-vmss000000   Ready    agent   61d   v1.19.9
aks-nodepool1-75119571-vmss000001   Ready    agent   61d   v1.19.9

準備 SQL Server 和 DH2i DxEnterprise 自訂容器映像

建立將用於部署資訊清單的自訂容器映像。自訂容器映像在容器中部署 SQL Server、.NET 與 DxEnterprise。本節提供部署範例 Dockerfile。您可以加以修改以符合您的需求，例如變更 SQL Server 版本。

如需使用 Docker 和使用 Dockerfile 的詳細資訊，請參閱 Docker 文件。

FROM mcr.microsoft.com/mssql/server:2019-latest
USER root

#Install dotnet
RUN apt-get update \
   && ACCEPT_EULA=Y apt-get upgrade -y \
   && apt-get install -y wget \
   && wget --no-dns-cache https://packages.microsoft.com/config/ubuntu/20.04/packages-microsoft-prod.deb -O packages-microsoft-prod.deb \
   && dpkg -i packages-microsoft-prod.deb \
   && apt-get update \
   && apt-get install -y dotnet-runtime-6.0 zip \
   && dpkg --purge packages-microsoft-prod \
   && apt-get purge -y wget \
   && apt-get clean \
   && rm packages-microsoft-prod.deb \
   && rm -rf /var/lib/apt/lists/*

#Download and unpack DxE, setup permissions
ADD https://repos.dh2i.com/container/ ./dxe.tgz
RUN tar zxvf dxe.tgz && rm dxe.tgz \
   && chown -R mssql /var/opt/mssql \
   && chmod -R 777 /opt/dh2i /etc/dh2i

#Finish setup
EXPOSE 7979 7985
ENV DX_HAS_MSSQLSERVER=1
USER mssql
ENTRYPOINT ["/opt/dh2i/sbin/dxstart.sh"]

在 Linux 電腦上，執行下列命令來建置映像。
```
mkdir dockerfiles
cd dockerfiles
nano Dockerfile
```
將先前共用的範例 Dockerfile 內容貼到此新檔案中，然後儲存它。
使用命令建置映像，並將 <tagname> 取代為 sqldh2i/latest。
```
docker build -t <tagname> .
```
您現在應該可以在執行 docker 映像命令時看到新的映像 sqldh2i。

標記映像，並使用下列命令將其推送至 Azure Container Registry (ACR)。確定您已使用 docker login 命令登入 Azure Container Registry (ACR)。如需詳細資訊，請參閱登入 ACR。

使用下列命令來標記映像。

docker tag sqldh2i/latest <registry-name>.azurecr.io/sqldh2i:latest

將映像推送至 ACR 存放庫。
```
docker push <registry-name>.azurecr.io/sqldh2i:latest
```
可以透過入口網站瀏覽 ACR，並應該會看到 ACR 中列出的存放庫和標記。

這可確保自訂映像推送至 Azure Container Registry (ACR)，而且您現在可以執行下列命令將 Azure Kubernetes Service (AKS) 與 ACR 整合。如需詳細資訊，請參閱從 Azure Kubernetes Service (AKS) 對 Azure Container Registry (ACR) 進行驗證。

請為 <registry-name> 使用簡短名稱。下列命令不接受登錄的完整名稱。

az aks update -n myAKSCluster -g <myResourceGroup> --attach-acr <registry-name>

在 Azure Kubernetes Service 上部署容器

此流程將 SQL Server 容器部署為 StatefulSet 部署；後文提供會在 Azure Kubernetes Service 上部署容器的範例部署檔案以供參考。

設定三個 SQL Server 執行個體：一個作為主要複本，兩個作為次要複本。您可以選擇性地將標籤新增至節點，以確保主要複本一律會在一個節點上執行，而次要複本則會在另一個節點上執行。以下是為節點加上標籤的步驟。
1. 使用下列命令來取得叢集的節點名稱。
```
kubectl get nodes
```
2. 使用下列命令來標記節點。
```
kubectl label node aks-nodepool1-75119571-vmss000000 <role=ags-primary>
```
```
kubectl label node aks-nodepool1-75119571-vmss000001 <role=ags-secondary>
```
在部署 SQL Server 容器之前，請使用下列命令在 Kubernetes 上建立 sa 密碼祕密。
```
kubectl create secret generic mssql --from-literal=MSSQL_SA_PASSWORD="MyC0m9l&xP@ssw0rd"
```
將 MyC0m9l&xP@ssw0rd 取代為您自己的複雜密碼。

建立資訊清單 (YAML 檔案) 來描述部署。下列範例顯示我們目前的部署，其會使用上述步驟中建立的自訂容器映像。

注意

此範例必須修改以符合您的環境，例如取代連接埠、映像與儲存體詳細資料。

kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
     name: azure-disk
provisioner: kubernetes.io/azure-disk
parameters:
  storageaccounttype: Standard_LRS
  kind: Managed
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: mssql-pri
  labels:
    app: mssql
spec:
  serviceName: "mssql-pri"
  replicas: 1
  selector:
    matchLabels:
      app: mssql
  template:
    metadata:
      labels:
        app: mssql
    spec:
      securityContext:
        fsGroup: 10001
      containers:
      - name: mssql
        image: <registry-name>.azurecr.io/sqldh2i:latest
        env:
        - name: ACCEPT_EULA
          value: "Y"
        - name: MSSQL_AGENT_ENABLED
          value: "Y"
        - name: MSSQL_ENABLE_HADR
          value: "1"
        - name: MSSQL_SA_PASSWORD
          valueFrom:
            secretKeyRef:
              name: mssql
              key: MSSQL_SA_PASSWORD
        volumeMounts:
        - name: dxe
          mountPath: "/etc/dh2i"
        - name: mssql
          mountPath: "/var/opt/mssql"
      nodeSelector:
       role: ags-primary
  volumeClaimTemplates:
  - metadata:
      name: dxe
    spec:
      accessModes:
        - ReadWriteOnce
      resources:
        requests:
          storage: 1Gi
  - metadata:
      name: mssql
    spec:
      accessModes:
        - ReadWriteOnce
      resources:
        requests:
          storage: 8Gi
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: mssql-sec
  labels:
    app: mssql
spec:
  serviceName: "mssql-sec"
  replicas: 2
  selector:
    matchLabels:
      app: mssql
  template:
    metadata:
      labels:
        app: mssql
    spec:
      securityContext:
        fsGroup: 10001
      containers:
      - name: mssql
        image: <registry-name>.azurecr.io/sqldh2i:latest
        env:
        - name: ACCEPT_EULA
          value: "Y"
        - name: MSSQL_AGENT_ENABLED
          value: "Y"
        - name: MSSQL_ENABLE_HADR
          value: "1"
        - name: MSSQL_SA_PASSWORD
          valueFrom:
            secretKeyRef:
              name: mssql
              key: MSSQL_SA_PASSWORD
        volumeMounts:
        - name: dxe
          mountPath: "/etc/dh2i"
        - name: mssql
          mountPath: "/var/opt/mssql"
      nodeSelector:
       role: ags-secondary
  volumeClaimTemplates:
  - metadata:
      name: dxe
    spec:
      accessModes:
        - ReadWriteOnce
      resources:
        requests:
          storage: 1Gi
  - metadata:
      name: mssql
    spec:
      accessModes:
        - ReadWriteOnce
      resources:
        requests:
          storage: 8Gi
---
apiVersion: v1
kind: Service
metadata:
  name: mssql-pri-0
spec:
  type: LoadBalancer
  selector:
    statefulset.kubernetes.io/pod-name: mssql-pri-0
  ports:
  - name: sql
    protocol: TCP
    port: 1433
    targetPort: 1433
  - name: dxe
    protocol: TCP
    port: 7979
    targetPort: 7979
---
apiVersion: v1
kind: Service
metadata:
  name: mssql-sec-0
spec:
  type: LoadBalancer
  selector:
    statefulset.kubernetes.io/pod-name: mssql-sec-0
  ports:
  - name: sql
    protocol: TCP
    port: 1433
    targetPort: 1433
  - name: dxe
    protocol: TCP
    port: 7979
    targetPort: 7979
---
apiVersion: v1
kind: Service
metadata:
  name: mssql-sec-1
spec:
  type: LoadBalancer
  selector:
    statefulset.kubernetes.io/pod-name: mssql-sec-1
  ports:
  - name: sql
    protocol: TCP
    port: 1433
    targetPort: 1433
  - name: dxe
    protocol: TCP
    port: 7979
    targetPort: 7979

將上述程式碼複製到名為 sqldeployment.yaml 的新檔案中。

使用下列命令建立部署。

kubectl apply -f <Path to sqldeployment.yaml file>

部署完成後，請執行 kubectl get all 命令。您應該會看見下列結果。

C:\>kubectl get all
NAME              READY   STATUS    RESTARTS   AGE
pod/mssql-pri-0   1/1     Running   0          33h
pod/mssql-sec-0   1/1     Running   0          33h
pod/mssql-sec-1   1/1     Running   0          33h

NAME                  TYPE           CLUSTER-IP     EXTERNAL-IP     PORT(S)                         AGE
service/kubernetes    ClusterIP      10.0.0.1       <none>          443/TCP                         33h
service/mssql-pri-0   LoadBalancer   10.0.134.183   20.204.22.235   1433:30678/TCP,7979:31136/TCP   33h
service/mssql-sec-0   LoadBalancer   10.0.74.50     20.204.23.32    1433:31009/TCP,7979:30114/TCP   33h
service/mssql-sec-1   LoadBalancer   10.0.63.62     20.204.74.9     1433:31616/TCP,7979:32190/TCP   33h

NAME                         READY   AGE
statefulset.apps/mssql-pri   1/1     33h
statefulset.apps/mssql-sec   2/2     33h

您現在應該有三個 SQL Server 執行個體，每個執行個體都有自己的儲存體與服務，公開連接埠 1433 (SQL Server) 與 7979 (DxEnterprise 叢集)。您可以使用外部 IP 位址連線到每個 SQL Server 執行個體。 SA 密碼與您在上述步驟中建立 mssql 祕密時所提供的密碼相同。

在部署的容器上設定 DxEnterprise 叢集

DxEnterprise 是來自 DH2i 的高可用性叢集軟體，可支援可用性群組，包括在容器中。提供完整功能的開發人員版本供非生產用途使用。若要在容器中設定 DxEnterprise 叢集，請遵循此 DH2i 指南 (英文) 中的步驟。

透過這些步驟，您應該已建立可用性群組，並將資料庫新增至支援高可用性的群組。

注意

您可以使用 SQL Server 標準版來部署基本 Always On 可用性群組，但您可能已經注意到，基本可用性群組的其中一個限制在於您只能有兩個複本和一個額外的僅限設定複本才能進行成功自動容錯移轉。如需使用僅限設定的複本進行容錯移轉的詳細資訊，請參閱僅限設定的複本和仲裁。您也可以為容器新增僅限設定複本，若要這樣做，請參閱 DH2i 文件 (英文)，請務必在 'dxcli add-ags-node' 命令中將可用性模式傳遞為 'configuration_only'。

設定可用性群組接聽程式的步驟 (選擇性)

也可以遵循下列步驟，設定可用性群組接聽程式。

確定您已使用 DxEnterprise 建立 AG 接聽程式，如 DH2i 文件結尾的選擇性步驟中所述。
在 Kubernetes 中，您可以選擇性地建立靜態 IP 位址。建立靜態 IP 位址時，確保如果刪除並重新建立接聽程式服務，指派給接聽程式服務的外部 IP 位址不會變更。按照步驟在 Azure Kubernetes Service (AKS) 中建立靜態 IP 位址。

建立 IP 位址之後，請指派該 IP 位址並建立負載平衡器服務，如下列 YAML 範例所示。

apiVersion: v1
kind: Service
metadata:
  name: agslistener
spec:
  type: LoadBalancer
  loadBalancerIP: 52.140.117.62
  selector:
    app: mssql
  ports:
  - protocol: TCP
    port: 44444
    targetPort: 44444

設定讀取/寫入連線重新導向的步驟 (選擇性)

建立可用性群組之後，您可以遵循下列步驟，啟用從次要複本到主要複本的讀取/寫入連線重新導向。如需詳細資訊，請參閱次要到主要複本讀取/寫入連線重新導向 (Always On 可用性群組)。

USE [master];
GO

ALTER AVAILABILITY
GROUP [ag_name] MODIFY REPLICA
    ON N'<name of the primary replica>'
WITH (SECONDARY_ROLE(ALLOW_CONNECTIONS = ALL));
GO

USE [master];
GO

ALTER AVAILABILITY
GROUP [AGS1] MODIFY REPLICA
    ON N'<name of the secondary-0 replica>'
WITH (SECONDARY_ROLE(ALLOW_CONNECTIONS = ALL));
GO

USE [master];
GO

ALTER AVAILABILITY
GROUP [AGS1] MODIFY REPLICA
    ON N'<name of the secondary-1 replica>'
WITH (SECONDARY_ROLE(ALLOW_CONNECTIONS = ALL));
GO

USE [master];
GO

ALTER AVAILABILITY
GROUP AGS1 MODIFY REPLICA
    ON N'<name of the primary replica>'
WITH (PRIMARY_ROLE(READ_WRITE_ROUTING_URL = 'TCP://<External IP address of primary -0>:1433'));
GO

USE [master];
GO

ALTER AVAILABILITY
GROUP AGS1 MODIFY REPLICA
    ON N'<name of the secondary-0 replica>'
WITH (PRIMARY_ROLE(READ_WRITE_ROUTING_URL = 'TCP://<External IP address of secondary -0>:1433'));
GO

USE [master];
GO

ALTER AVAILABILITY
GROUP AGS1 MODIFY REPLICA
    ON N'<name of the secondary-1 replica>'
WITH (PRIMARY_ROLE(READ_WRITE_ROUTING_URL = 'TCP://<External IP address of secondary -1>:1433'));
GO

共用方式為

在 Kubernetes 上使用 DH2i DxEnterprise 部署可用性群組

必要條件

建立無周邊服務

建立 StatefulSet

建立可用性群組並測試容錯移轉

必要條件

部署 Azure Kubernetes Service

準備 SQL Server 和 DH2i DxEnterprise 自訂容器映像

在 Azure Kubernetes Service 上部署容器

在部署的容器上設定 DxEnterprise 叢集

設定可用性群組接聽程式的步驟 (選擇性)

設定讀取/寫入連線重新導向的步驟 (選擇性)

意見反應

其他資源

共用方式為

在 Kubernetes 上使用 DH2i DxEnterprise 部署可用性群組

必要條件

建立無周邊服務

建立 StatefulSet

建立可用性群組並測試容錯移轉

設定可用性群組接聽程式的步驟 (選擇性)

設定讀取/寫入連線重新導向的步驟 (選擇性)

相關內容

意見反應

其他資源