你当前正在访问 Microsoft Azure Global Edition 技术文档网站。如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

Azure 虚拟机在 Red Hat Enterprise Linux 上为 SAP NetWeaver 提供的高可用性

项目
08/24/2023

本文介绍如何部署虚拟机、配置虚拟机、安装群集框架，以及安装高可用性 SAP NetWeaver 7.50 系统。在示例配置和安装命令等内容中，使用了 ASCS 实例编号 00、ERS 实例编号 02 和 SAP 系统 ID NW1。示例中的资源名称（例如虚拟机、虚拟网络）假定已使用资源前缀为 NW1 的 ASCS/SCS 模板来创建资源。

请先阅读以下 SAP 说明和文档

SAP 说明 1928533，其中包含：
- SAP 软件部署支持的 Azure VM 大小的列表
- Azure VM 大小的重要容量信息
- 支持的 SAP 软件、操作系统 (OS) 和数据库组合
- Microsoft Azure 上 Windows 和 Linux 所需的 SAP 内核版本
SAP 说明 2015553 列出了在 Azure 中 SAP 支持的 SAP 软件部署的先决条件。
SAP 说明 2002167 包含适用于 Red Hat Enterprise Linux 的建议 OS 设置
SAP 说明 2009879 包含适用于 Red Hat Enterprise Linux 的 SAP HANA 准则
SAP 说明 2178632 包含为 Azure 中的 SAP 报告的所有监控指标的详细信息。
SAP 说明 2191498 包含 Azure 中的 Linux 所需的 SAP 主机代理版本。
SAP 说明 2243692 包含 Azure 中的 Linux 上的 SAP 许可的相关信息。
SAP 说明 1999351 包含适用于 SAP 的 Azure 增强型监视扩展的其他故障排除信息。
SAP Community WIKI 包含适用于 Linux 的所有必需 SAP 说明。
适用于 Linux 上的 SAP 的 Azure 虚拟机规划和实施
适用于 Linux 上的 SAP 的 Azure 虚拟机部署
适用于 Linux 上的 SAP 的 Azure 虚拟机 DBMS 部署
Product Documentation for Red Hat Gluster Storage（Red Hat Gluster Storage 产品文档）
SAP Netweaver in pacemaker cluster（Pacemaker 群集中的 SAP NetWeaver）
通用 RHEL 文档
- High Availability Add-On Overview（高可用性附加产品概述）
- High Availability Add-On Administration（高可用性附加产品管理）
- High Availability Add-On 参考
- Configuring ASCS/ERS for SAP Netweaver with standalone resources in RHEL 7.5（使用 RHEL 7.5 中的独立资源为 SAP NetWeaver 配置 ASCS/ERS）
- 在 RHEL 上的 Pacemaker 中使用 Standalone Enqueue Server 2 (ENSA2) 配置 SAP S/4HANA ASCS/ERS
Azure 特定的 RHEL 文档：
- Support Policies for RHEL High Availability Clusters - Microsoft Azure Virtual Machines as Cluster Members（RHEL 高可用性群集的支持策略 - Microsoft Azure 虚拟机作为群集成员）
- Installing and Configuring a Red Hat Enterprise Linux 7.4 (and later) High-Availability Cluster on Microsoft Azure（在 Microsoft Azure 上安装和配置 Red Hat Enterprise Linux 7.4 [及更高版本] 高可用性群集）

概述

若要实现高可用性，SAP NetWeaver 需要共享存储。 GlusterFS 配置在一个单独的群集中，可由多个 SAP 系统使用。

SAP NetWeaver 高可用性概述

SAP NetWeaver ASCS、SAP NetWeaver SCS、SAP NetWeaver ERS 和 SAP HANA 数据库使用虚拟主机名和虚拟 IP 地址。在 Azure 上，需要负载均衡器才能使用虚拟 IP 地址。建议使用标准负载均衡器。显示的配置展示了一个负载均衡器，其中：

ASCS 的前端 IP 地址 10.0.0.7
ERS 的前端 IP 地址 10.0.0.8
ASCS 的探测端口 62000
ERS 的探测端口 62101

设置 GlusterFS

SAP NetWeaver 要求对传输和配置文件目录使用共享存储。阅读Red Hat Enterprise Linux 上适用于 SAP NetWeaver 的 Azure VM 上的 GlusterFS，了解如何为 SAP NetWeaver 设置 GlusterFS。

设置 (A)SCS

在此示例中，资源是通过 Azure 门户手动部署的。

通过 Azure 门户手动部署 Linux

本文档假定你已部署 Azure 虚拟网络资源组和子网。

为 SAP ASCS、ERS 和应用程序服务器实例部署虚拟机。选择 SAP 系统支持的合适 RHEL 映像。可以在任何一个可用性选项（规模集、可用性区域或可用性集）中部署 VM。

通过 Azure 门户部署 Azure 负载均衡器

为 SAP 系统部署 VM 后，创建一个负载均衡器。使用为后端池中的 SAP ASCS/ERS 实例创建的 VM。

创建负载均衡器（内部，标准）：
1. 创建前端 IP 地址
  1. ASCS 的 IP 地址 10.0.0.7
    1. 打开负载均衡器，选择前端 IP 池，并单击“添加”
    2. 输入新前端 IP 池的名称（例如 nw1-ascs-frontend）
    3. 将“分配”设置为“静态”并输入 IP 地址（例如 10.0.0.7）
    4. 单击“确定”
  2. ASCS ERS 的 IP 地址 10.0.0.8
    - 重复上述步骤，为 ERS 创建 IP 地址（例如 10.0.0.8 和 nw1-aers-frontend）
2. 创建单个后端池：
  1. 打开负载均衡器，选择“后端池”，然后选择“添加”。
  2. 输入新后端池的名称（例如 nw1-backend）。
  3. 对于“后端池配置”，选择“NIC”。
  4. 选择“添加虚拟机”。
  5. 选择 ASCS 群集的虚拟机。
  6. 选择“添加” 。
  7. 选择“保存” 。
3. 创建运行状况探测
  1. ASCS 的端口 62000
    1. 打开负载均衡器，选择运行状况探测，并单击“添加”
    2. 输入新运行状况探测的名称（例如 nw1-ascs-hp）
    3. 选择 TCP 作为协议，选择端口 62000，将“间隔”保留为 5
    4. 单击“确定”
  2. ASCS ERS 的端口 62102
    - 重复上述步骤，为 ERS 创建运行状况探测（例如 62102 和 nw1-aers-hp）
4. 负载均衡规则
  1. ASCS 的负载均衡规则
    1. 打开负载均衡器、选择负载均衡规则，然后单击“添加”
    2. 输入新的负载均衡器规则的名称（例如“nw1-lb-ascs”）
    3. 选择前面创建的前端 IP 地址、后端池和运行状况探测（例如 nw1-ascs-frontend、nw1-backend 和 nw1-ascs-hp）
    4. 将空闲超时增大到 30 分钟
    5. 选择“HA 端口”
    6. 确保启用浮动 IP
    7. 单击“确定”
    - 重复上述步骤，为 ERS 创建负载均衡规则（例如，“nw1-lb-ers”）

重要

负载均衡方案中的 NIC 辅助 IP 配置不支持浮动 IP。有关详细信息，请参阅 Azure 负载均衡器限制。如果你需要为 VM 提供其他 IP 地址，请部署第二个 NIC。

注意

如果没有公共 IP 地址的 VM 被放在内部（无公共 IP 地址）标准 Azure 负载均衡器的后端池中，就不会有出站 Internet 连接，除非执行额外的配置来允许路由到公共终结点。有关如何实现出站连接的详细信息，请参阅 SAP 高可用性方案中使用 Azure 标准负载均衡器的虚拟机的公共终结点连接。

重要

请勿在放置于 Azure 负载均衡器之后的 Azure VM 上启用 TCP 时间戳。启用 TCP 时间戳将导致运行状况探测失败。将参数“net.ipv4.tcp_timestamps”设置为“0”。有关详细信息，请参阅负载均衡器运行状况探测。

创建 Pacemaker 群集

按照在 Azure 中的 Red Hat Enterprise Linux 上设置 Pacemaker 的步骤，创建适用于此 (A)SCS 服务器的基本 Pacemaker。

准备 SAP Netweaver 安装

以下各项带有前缀 [A] - 适用于所有节点、[1] - 仅适用于节点 1，或 [2] - 仅适用于节点 2 。

[A] 设置主机名称解析

可以使用 DNS 服务器，或修改所有节点上的 /etc/hosts。此示例演示如何使用 /etc/hosts 文件。请替换以下命令中的 IP 地址和主机名

sudo vi /etc/hosts

将以下行插入 /etc/hosts。根据环境更改 IP 地址和主机名

# IP addresses of the GlusterFS nodes
10.0.0.40 glust-0
10.0.0.41 glust-1
10.0.0.42 glust-2
# IP address of the load balancer frontend configuration for SAP NetWeaver ASCS
10.0.0.7 nw1-ascs
# IP address of the load balancer frontend configuration for SAP NetWeaver ASCS ERS
10.0.0.8 nw1-aers

[A] 创建共享目录

sudo mkdir -p /sapmnt/NW1
sudo mkdir -p /usr/sap/trans
sudo mkdir -p /usr/sap/NW1/SYS
sudo mkdir -p /usr/sap/NW1/ASCS00
sudo mkdir -p /usr/sap/NW1/ERS02

sudo chattr +i /sapmnt/NW1
sudo chattr +i /usr/sap/trans
sudo chattr +i /usr/sap/NW1/SYS
sudo chattr +i /usr/sap/NW1/ASCS00
sudo chattr +i /usr/sap/NW1/ERS02

[A] 安装 GlusterFS 客户端和其他要求

sudo yum -y install glusterfs-fuse resource-agents resource-agents-sap

[A] 检查 resource-agents-sap 的版本

请确保已安装的 resource-agents-sap 包的版本至少为 3.9.5-124.el7

sudo yum info resource-agents-sap

# Loaded plugins: langpacks, product-id, search-disabled-repos
# Repodata is over 2 weeks old. Install yum-cron? Or run: yum makecache fast
# Installed Packages
# Name        : resource-agents-sap
# Arch        : x86_64
# Version     : 3.9.5
# Release     : 124.el7
# Size        : 100 k
# Repo        : installed
# From repo   : rhel-sap-for-rhel-7-server-rpms
# Summary     : SAP cluster resource agents and connector script
# URL         : https://github.com/ClusterLabs/resource-agents
# License     : GPLv2+
# Description : The SAP resource agents and connector script interface with
#          : Pacemaker to allow SAP instances to be managed in a cluster
#          : environment.

[A] 添加装载条目

sudo vi /etc/fstab

# Add the following lines to fstab, save and exit
glust-0:/NW1-sapmnt /sapmnt/NW1 glusterfs backup-volfile-servers=glust-1:glust-2 0 0
glust-0:/NW1-trans /usr/sap/trans glusterfs backup-volfile-servers=glust-1:glust-2 0 0
glust-0:/NW1-sys /usr/sap/NW1/SYS glusterfs backup-volfile-servers=glust-1:glust-2 0 0

装载新共享

sudo mount -a

[A] 配置交换文件

sudo vi /etc/waagent.conf

# Set the property ResourceDisk.EnableSwap to y
# Create and use swapfile on resource disk.
ResourceDisk.EnableSwap=y

# Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
# The free space of resource disk varies by virtual machine size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
# Size of the swapfile.
ResourceDisk.SwapSizeMB=2000

重新启动代理以激活更改

sudo service waagent restart

[A] RHEL 配置

根据 RHEL 版本，执行 SAP 说明 2002167、 2772999或 3108316中所述的配置。

安装 SAP NetWeaver ASCS/ERS

[1] 配置群集默认属性

pcs resource defaults resource-stickiness=1
pcs resource defaults migration-threshold=3

[1] 为 ASCS 实例创建虚拟 IP 资源和运行状况探测

sudo pcs node standby nw1-cl-1

sudo pcs resource create fs_NW1_ASCS Filesystem device='glust-0:/NW1-ascs' \
  directory='/usr/sap/NW1/ASCS00' fstype='glusterfs' \
  options='backup-volfile-servers=glust-1:glust-2' \
  --group g-NW1_ASCS

sudo pcs resource create vip_NW1_ASCS IPaddr2 \
  ip=10.0.0.7 \
  --group g-NW1_ASCS

sudo pcs resource create nc_NW1_ASCS azure-lb port=62000 \
  --group g-NW1_ASCS

请确保群集状态正常，并且所有资源都已启动。资源在哪个节点上运行并不重要。

sudo pcs status

# Node nw1-cl-1: standby
# Online: [ nw1-cl-0 ]
#
# Full list of resources:
#
# rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
#  Resource Group: g-NW1_ASCS
#      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
#      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
#      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0

[1] 安装 SAP NetWeaver ASCS

使用映射到适用于 ASCS 的负载均衡器前端配置的 IP 地址（例如 nw1-ascs、10.0.0.7）以及用于负载均衡器探测的实例编号（例如 00）的虚拟主机名，在第一个节点上以 root 身份安装 SAP NetWeaver ASCS。

可以使用 sapinst 参数 SAPINST_REMOTE_ACCESS_USER 允许非根用户连接到 sapinst。
```
# Allow access to SWPM. This rule is not permanent. If you reboot the machine, you have to run the command again.
sudo firewall-cmd --zone=public  --add-port=4237/tcp

sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin
```
如果安装过程无法在 /usr/sap/NW1/ASCS00 中创建子文件夹，请尝试设置 ASCS00 文件夹的所有者和组，然后重试。
```
sudo chown nw1adm /usr/sap/NW1/ASCS00
sudo chgrp sapsys /usr/sap/NW1/ASCS00
```

[1] 为 ERS 实例创建虚拟 IP 资源和运行状况探测

sudo pcs node unstandby nw1-cl-1
sudo pcs node standby nw1-cl-0

sudo pcs resource create fs_NW1_AERS Filesystem device='glust-0:/NW1-aers' \
  directory='/usr/sap/NW1/ERS02' fstype='glusterfs' \
  options='backup-volfile-servers=glust-1:glust-2' \
 --group g-NW1_AERS

sudo pcs resource create vip_NW1_AERS IPaddr2 \
  ip=10.0.0.8 \
 --group g-NW1_AERS

sudo pcs resource create nc_NW1_AERS azure-lb port=62102 \
 --group g-NW1_AERS

请确保群集状态正常，并且所有资源都已启动。资源在哪个节点上运行并不重要。

sudo pcs status

# Node nw1-cl-0: standby
# Online: [ nw1-cl-1 ]
#
# Full list of resources:
#
# rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-1
#  Resource Group: g-NW1_ASCS
#      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
#      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
#      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
#  Resource Group: g-NW1_AERS
#      fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
#      nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
#      vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1

[2] 安装 SAP Netweaver ERS

使用映射到适用于 ERS 的负载均衡器前端配置的 IP 地址（例如 nw1-ers、10.0.0.8）以及用于负载均衡器探测的实例编号（例如 02）的虚拟主机名，在第二个节点上以 root 身份安装 SAP NetWeaver ERS。

可以使用 sapinst 参数 SAPINST_REMOTE_ACCESS_USER 允许非根用户连接到 sapinst。
```
# Allow access to SWPM. This rule is not permanent. If you reboot the machine, you have to run the command again.
sudo firewall-cmd --zone=public  --add-port=4237/tcp

sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin
```
如果安装过程无法在 /usr/sap/NW1/ERS02 中创建子文件夹，请尝试设置 ERS02 文件夹的所有者和组，然后重试。
```
sudo chown nw1adm /usr/sap/NW1/ERS02
sudo chgrp sapsys /usr/sap/NW1/ERS02
```

[1] 调整 ASCS/SCS 和 ERS 实例配置文件

ASCS/SCS 配置文件

sudo vi /sapmnt/NW1/profile/NW1_ASCS00_nw1-ascs

# Change the restart command to a start command
#Restart_Program_01 = local $(_EN) pf=$(_PF)
Start_Program_01 = local $(_EN) pf=$(_PF)

# Add the keep alive parameter, if using ENSA1
enque/encni/set_so_keepalive = true

对于 ENSA1 和 ENSA2，请确保按 SAP 说明 1410736 中所述设置 keepalive OS 参数。

ERS 配置文件

sudo vi /sapmnt/NW1/profile/NW1_ERS02_nw1-aers

# Change the restart command to a start command
#Restart_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)

# remove Autostart from ERS profile
# Autostart = 1

[A] 配置 Keep Alive

SAP NetWeaver 应用程序服务器和 ASCS/SCS 之间的通信是通过软件负载均衡器进行路由的。负载均衡器在可配置的超时之后将断开非活动连接。要防止出现这种情况，需要在 SAP NetWeaver ASCS/SCS 配置文件中设置参数（如果使用 ENSA1），并在所有 SAP 服务器上为 ENSA1/ENSA2 更改 Linux 系统 keepalive 设置。有关详细信息，请参阅 SAP 说明 1410736。
```
# Change the Linux system configuration
sudo sysctl net.ipv4.tcp_keepalive_time=300
```

[A] 更新 /usr/sap/sapservices 文件

要防止 sapinit 启动脚本启动实例，必须从 /usr/sap/sapservices 文件中注释掉由 Pacemaker 管理的所有实例。

sudo vi /usr/sap/sapservices

# On the node where you installed the ASCS, comment out the following line
# LD_LIBRARY_PATH=/usr/sap/NW1/ASCS00/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/NW1/ASCS00/exe/sapstartsrv pf=/usr/sap/NW1/SYS/profile/NW1_ASCS00_nw1-ascs -D -u nw1adm

# On the node where you installed the ERS, comment out the following line
# LD_LIBRARY_PATH=/usr/sap/NW1/ERS02/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/NW1/ERS02/exe/sapstartsrv pf=/usr/sap/NW1/ERS02/profile/NW1_ERS02_nw1-aers -D -u nw1adm

[1] 创建 SAP 群集资源。

如果使用排队服务器 1 体系结构 (ENSA1)，请按如下所示定义资源：

sudo pcs property set maintenance-mode=true

sudo pcs resource create rsc_sap_NW1_ASCS00 SAPInstance \
 InstanceName=NW1_ASCS00_nw1-ascs START_PROFILE="/sapmnt/NW1/profile/NW1_ASCS00_nw1-ascs" \
 AUTOMATIC_RECOVER=false \
 meta resource-stickiness=5000 migration-threshold=1 failure-timeout=60 \
 op monitor interval=20 on-fail=restart timeout=60 \
 op start interval=0 timeout=600 op stop interval=0 timeout=600 \
 --group g-NW1_ASCS

sudo pcs resource meta g-NW1_ASCS resource-stickiness=3000

sudo pcs resource create rsc_sap_NW1_ERS02 SAPInstance \
 InstanceName=NW1_ERS02_nw1-aers START_PROFILE="/sapmnt/NW1/profile/NW1_ERS02_nw1-aers" \
 AUTOMATIC_RECOVER=false IS_ERS=true \
 op monitor interval=20 on-fail=restart timeout=60 op start interval=0 timeout=600 op stop interval=0 timeout=600 \
 --group g-NW1_AERS

sudo pcs constraint colocation add g-NW1_AERS with g-NW1_ASCS -5000
sudo pcs constraint location rsc_sap_NW1_ASCS00 rule score=2000 runs_ers_NW1 eq 1
sudo pcs constraint order start g-NW1_ASCS then stop g-NW1_AERS kind=Optional symmetrical=false

sudo pcs node unstandby nw1-cl-0
sudo pcs property set maintenance-mode=false

从 SAP NW 7.52 开始，SAP 引入了对排队服务器 2 的支持，包括复制。从 ABAP 平台 1809 开始，系统将默认安装排队服务器 2。有关排队服务器 2 的支持，请参阅 SAP 说明 2630416。如果使用排队服务器 2 体系结构 (ENSA2)，则安装资源代理 resource-agents-sap-4.1.1-12.el7.x86_64 或更新版本，并按如下所示定义资源：

sudo pcs property set maintenance-mode=true

sudo pcs resource create rsc_sap_NW1_ASCS00 SAPInstance \
 InstanceName=NW1_ASCS00_nw1-ascs START_PROFILE="/sapmnt/NW1/profile/NW1_ASCS00_nw1-ascs" \
 AUTOMATIC_RECOVER=false \
 meta resource-stickiness=5000 \
 op monitor interval=20 on-fail=restart timeout=60 \
 op start interval=0 timeout=600 op stop interval=0 timeout=600 \
 --group g-NW1_ASCS

sudo pcs resource meta g-NW1_ASCS resource-stickiness=3000

sudo pcs resource create rsc_sap_NW1_ERS02 SAPInstance \
 InstanceName=NW1_ERS02_nw1-aers START_PROFILE="/sapmnt/NW1/profile/NW1_ERS02_nw1-aers" \
 AUTOMATIC_RECOVER=false IS_ERS=true \
 op monitor interval=20 on-fail=restart timeout=60 op start interval=0 timeout=600 op stop interval=0 timeout=600 \
 --group g-NW1_AERS

sudo pcs resource meta rsc_sap_NW1_ERS02 resource-stickiness=3000

sudo pcs constraint colocation add g-NW1_AERS with g-NW1_ASCS -5000
sudo pcs constraint order start g-NW1_ASCS then start g-NW1_AERS kind=Optional symmetrical=false
sudo pcs constraint order start g-NW1_ASCS then stop g-NW1_AERS kind=Optional symmetrical=false

sudo pcs node unstandby nw1-cl-0
sudo pcs property set maintenance-mode=false

如果要从旧版本升级并切换到排队服务器 2，请参阅 SAP 说明 2641322。

[!注意] 上述配置中的超时只是示例，可能需要根据特定的 SAP 设置进行调整。

请确保群集状态正常，并且所有资源都已启动。资源在哪个节点上运行并不重要。

sudo pcs status

# Online: [ nw1-cl-0 nw1-cl-1 ]
#
# Full list of resources:
#
# rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
#  Resource Group: g-NW1_ASCS
#      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
#      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
#      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
#      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
#  Resource Group: g-NW1_AERS
#      fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
#      nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
#      vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
#      rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

[A] 在两个节点上为 ASCS 和 ERS 添加防火墙规则

# Probe Port of ASCS
sudo firewall-cmd --zone=public --add-port=62000/tcp --permanent
sudo firewall-cmd --zone=public --add-port=62000/tcp
sudo firewall-cmd --zone=public --add-port=3200/tcp --permanent
sudo firewall-cmd --zone=public --add-port=3200/tcp
sudo firewall-cmd --zone=public --add-port=3600/tcp --permanent
sudo firewall-cmd --zone=public --add-port=3600/tcp
sudo firewall-cmd --zone=public --add-port=3900/tcp --permanent
sudo firewall-cmd --zone=public --add-port=3900/tcp
sudo firewall-cmd --zone=public --add-port=8100/tcp --permanent
sudo firewall-cmd --zone=public --add-port=8100/tcp
sudo firewall-cmd --zone=public --add-port=50013/tcp --permanent
sudo firewall-cmd --zone=public --add-port=50013/tcp
sudo firewall-cmd --zone=public --add-port=50014/tcp --permanent
sudo firewall-cmd --zone=public --add-port=50014/tcp
sudo firewall-cmd --zone=public --add-port=50016/tcp --permanent
sudo firewall-cmd --zone=public --add-port=50016/tcp

# Probe Port of ERS
sudo firewall-cmd --zone=public --add-port=62102/tcp --permanent
sudo firewall-cmd --zone=public --add-port=62102/tcp
sudo firewall-cmd --zone=public --add-port=3202/tcp --permanent
sudo firewall-cmd --zone=public --add-port=3202/tcp
sudo firewall-cmd --zone=public --add-port=3302/tcp --permanent
sudo firewall-cmd --zone=public --add-port=3302/tcp
sudo firewall-cmd --zone=public --add-port=50213/tcp --permanent
sudo firewall-cmd --zone=public --add-port=50213/tcp
sudo firewall-cmd --zone=public --add-port=50214/tcp --permanent
sudo firewall-cmd --zone=public --add-port=50214/tcp
sudo firewall-cmd --zone=public --add-port=50216/tcp --permanent
sudo firewall-cmd --zone=public --add-port=50216/tcp

SAP NetWeaver 应用程序服务器准备

某些数据库要求在应用程序服务器上执行数据库实例安装。请准备好应用程序服务器虚拟机，使之能够在这些场合下使用。

以下步骤假定在与 ASCS/SCS 和 HANA 服务器不同的服务器上安装应用程序服务器。否则，则无需进行以下某些步骤（如配置主机名解析）。

设置主机名称解析

可以使用 DNS 服务器，或修改所有节点上的 /etc/hosts。此示例演示如何使用 /etc/hosts 文件。请替换以下命令中的 IP 地址和主机名

sudo vi /etc/hosts

将以下行插入 /etc/hosts。根据环境更改 IP 地址和主机名

# IP addresses of the GlusterFS nodes
10.0.0.40 glust-0
10.0.0.41 glust-1
10.0.0.42 glust-2
# IP address of the load balancer frontend configuration for SAP NetWeaver ASCS
10.0.0.7 nw1-ascs
# IP address of the load balancer frontend configuration for SAP NetWeaver ASCS ERS
10.0.0.8 nw1-aers
# IP address of the load balancer frontend configuration for database
10.0.0.13 nw1-db

创建 sapmnt 目录

sudo mkdir -p /sapmnt/NW1
sudo mkdir -p /usr/sap/trans

sudo chattr +i /sapmnt/NW1
sudo chattr +i /usr/sap/trans

安装 GlusterFS 客户端和其他要求

sudo yum -y install glusterfs-fuse uuidd

添加装载条目

sudo vi /etc/fstab

# Add the following lines to fstab, save and exit
glust-0:/NW1-sapmnt /sapmnt/NW1 glusterfs backup-volfile-servers=glust-1:glust-2 0 0
glust-0:/NW1-trans /usr/sap/trans glusterfs backup-volfile-servers=glust-1:glust-2 0 0

装载新共享

sudo mount -a

配置交换文件

sudo vi /etc/waagent.conf

# Set the property ResourceDisk.EnableSwap to y
# Create and use swapfile on resource disk.
ResourceDisk.EnableSwap=y

# Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
# The free space of resource disk varies by virtual machine size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
# Size of the swapfile.
ResourceDisk.SwapSizeMB=2000

重新启动代理以激活更改

sudo service waagent restart

安装数据库

在此示例中，SAP NetWeaver 安装在 SAP HANA 上。可以使用每个受支持的数据库完成此安装。有关如何在 Azure 中安装 SAP HANA 的详细信息，请参阅 Red Hat Enterprise Linux 上 Azure VM 的 SAP HANA 的高可用性。有关支持的数据库列表，请参阅 SAP 说明 1928533。

运行 SAP 数据库实例安装

使用映射到适用于数据库的负载均衡器前端配置的 IP 地址（例如 nw1-db 和 10.0.0.13）的虚拟主机名以 root 身份安装 SAP NetWeaver 数据库实例。

可以使用 sapinst 参数 SAPINST_REMOTE_ACCESS_USER 允许非根用户连接到 sapinst。
```
sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin
```

SAP NetWeaver 应用程序服务器安装

请按照这些步骤安装 SAP 应用程序服务器。

准备应用程序服务器

遵循前面 SAP NetWeaver 应用程序服务器准备一章中的步骤准备应用程序服务器。
安装 SAP NetWeaver 应用程序服务器

安装主服务器或其他的 SAP NetWeaver 应用程序服务器。

可以使用 sapinst 参数 SAPINST_REMOTE_ACCESS_USER 允许非根用户连接到 sapinst。
```
sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin
```
更新 SAP HANA 安全存储

更新 SAP HANA 安全存储以指向 SAP HANA 系统复制设置的虚拟名称。

运行以下命令将条目列为 <sapsid>adm
```
hdbuserstore List
```
此命令应会列出如下所示的所有条目
```
DATA FILE       : /home/nw1adm/.hdb/nw1-di-0/SSFS_HDB.DAT
KEY FILE        : /home/nw1adm/.hdb/nw1-di-0/SSFS_HDB.KEY

KEY DEFAULT
  ENV : 10.0.0.14:30313
  USER: SAPABAP1
  DATABASE: NW1
```
输出显示，默认条目的 IP 地址正在指向虚拟机而不是负载均衡器的 IP 地址。需将此条目更改为指向负载均衡器的虚拟主机名。请确保使用相同端口（上述输出中为“30313”）和数据库名称（上述输出中为“HN1”）！
```
su - nw1adm
hdbuserstore SET DEFAULT nw1-db:30313@NW1 SAPABAP1 <password of ABAP schema>
```

测试群集设

手动迁移 ASCS 实例

开始测试之前的资源状态：

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

运行以下命令作为根，迁移 ASCS 实例。

[root@nw1-cl-0 ~]# pcs resource move rsc_sap_NW1_ASCS00

[root@nw1-cl-0 ~]# pcs resource clear rsc_sap_NW1_ASCS00

# Remove failed actions for the ERS that occurred as part of the migration
[root@nw1-cl-0 ~]# pcs resource cleanup rsc_sap_NW1_ERS02

测试之后的资源状态：

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

模拟节点故障

开始测试之前的资源状态：

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

在其中运行 ASCS 实例的节点上运行以下命令作为根

[root@nw1-cl-1 ~]# echo b > /proc/sysrq-trigger

节点再次启动后的状态应类似如下所示。

Online: [ nw1-cl-0 nw1-cl-1 ]

Full list of resources:

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

Failed Actions:
* rsc_sap_NW1_ERS02_monitor_11000 on nw1-cl-0 'not running' (7): call=45, status=complete, exitreason='',
    last-rc-change='Tue Aug 21 13:52:39 2018', queued=0ms, exec=0ms

使用以下命令清除失败的资源。

[root@nw1-cl-0 ~]# pcs resource cleanup rsc_sap_NW1_ERS02

测试之后的资源状态：

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

阻止网络通信

开始测试之前的资源状态：

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

执行防火墙规则以阻止其中一个节点上的通信。

 # Execute iptable rule on nw1-cl-0 (10.0.0.7) to block the incoming and outgoing traffic to nw1-cl-1 (10.0.0.8)
 iptables -A INPUT -s 10.0.0.8 -j DROP; iptables -A OUTPUT -d 10.0.0.8 -j DROP

当群集节点无法相互通信时，存在裂脑方案的风险。在这种情况下，群集节点将尝试同时相互隔离，从而导致围栏争用。为了避免这种情况，建议在群集配置中设置优先级- 围栏-延迟属性， (仅适用于 pacemaker-2.0.4-6.el8 或更高版本) 。

通过启用 priority-fencing-delay 属性，群集会在隔离操作中引入额外的延迟，特别是在托管 ASCS 资源的节点上，使节点能够赢得围栏竞赛。

执行以下命令以删除防火墙规则。

 # If the iptables rule set on the server gets reset after a reboot, the rules will be cleared out. In case they have not been reset, please proceed to remove the iptables rule using the following command.
 iptables -D INPUT -s 10.0.0.8 -j DROP; iptables -D OUTPUT -d 10.0.0.8 -j DROP

终止消息服务器进程

开始测试之前的资源状态：

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

运行以下命令作为根，确定消息服务器的进程并将其终止。

[root@nw1-cl-0 ~]# pgrep -f ms.sapNW1 | xargs kill -9

如果仅终止消息服务器一次，则 sapstart 会重启它。如果经常终止消息服务器，Pacemaker 会最终将 ASCS 实例移动到另一个节点。运行以下命令作为根，清除测试后的 ASCS 和 ERS 实例的资源状态。

[root@nw1-cl-0 ~]# pcs resource cleanup rsc_sap_NW1_ASCS00
[root@nw1-cl-0 ~]# pcs resource cleanup rsc_sap_NW1_ERS02

测试之后的资源状态：

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

终止排队服务器进程

开始测试之前的资源状态：

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

在运行 ASCS 实例的节点上，运行以下命令作为根，以终止排队服务器。

#If using ENSA1 
[root@nw1-cl-1 ~]# pgrep -f en.sapNW1 | xargs kill -9

#If using ENSA2
[root@nw1-cl-1 ~]# pgrep -f enq.sapNW1 | xargs kill -9

在使用 ENSA1 的情况下，ASCS 实例应会立即故障转移到另一个节点。 ASCS 实例启动后，ERS 实例也会进行故障转移。运行以下命令作为根，清除测试后的 ASCS 和 ERS 实例的资源状态。

[root@nw1-cl-0 ~]# pcs resource cleanup rsc_sap_NW1_ASCS00
[root@nw1-cl-0 ~]# pcs resource cleanup rsc_sap_NW1_ERS02

测试之后的资源状态：

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

终止排队复制服务器进程

开始测试之前的资源状态：

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

在运行 ERS 实例的节点上，运行以下命令作为根，以终止排队复制服务器。

#If using ENSA1
[root@nw1-cl-1 ~]# pgrep -f er.sapNW1 | xargs kill -9

#If using ENSA2
[root@nw1-cl-1 ~]# pgrep -f enqr.sapNW1 | xargs kill -9

如果仅运行该命令一次，则 sapstart 会重启该进程。如果经常运行此命令，则 sapstart 不会重启该进程，并且资源会处于停止状态。运行以下命令作为根，清除测试后的 ERS 实例的资源状态。

[root@nw1-cl-0 ~]# pcs resource cleanup rsc_sap_NW1_ERS02

测试之后的资源状态：

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

终止排队 sapstartsrv 进程

开始测试之前的资源状态：

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

在运行 ASCS 的节点上运行以下命令作为根。

[root@nw1-cl-0 ~]# pgrep -fl ASCS00.*sapstartsrv
# 59545 sapstartsrv

[root@nw1-cl-0 ~]# kill -9 59545

作为监视的一部分，应始终由 Pacemaker 资源代理重新启动 sapstartsrv 进程。测试之后的资源状态：

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

后续步骤

若要部署 PAS 和 AAS 实例与 RHEL 上的 SAP NetWeaver HA 群集一起部署的成本优化方案，请参阅在 RHEL 上使用 SAP ASCS/SCS 高可用性 VM 安装 SAP 对话实例
适用于 SAP 应用程序多 SID 的 RHEL 上 Azure VM 中的 SAP NW 的高可用性指南
适用于 SAP 的 Azure 虚拟机规划和实施
适用于 SAP 的 Azure 虚拟机部署
适用于 SAP 的 Azure 虚拟机 DBMS 部署
若要了解如何建立高可用性以及针对 Azure 上的 SAP HANA（大型实例）规划灾难恢复，请参阅 Azure 上的 SAP HANA（大型实例）的高可用性和灾难恢复。
若要了解如何在 Azure VM 上建立 SAP HANA 高可用性以及规划灾难恢复，请参阅 Azure 虚拟机 (VM) 上的 SAP HANA 高可用性

Azure 虚拟机在 Red Hat Enterprise Linux 上为 SAP NetWeaver 提供的高可用性

概述

设置 GlusterFS

设置 (A)SCS

通过 Azure 门户手动部署 Linux

通过 Azure 门户部署 Azure 负载均衡器

创建 Pacemaker 群集

准备 SAP Netweaver 安装

安装 SAP NetWeaver ASCS/ERS

SAP NetWeaver 应用程序服务器准备

安装数据库

SAP NetWeaver 应用程序服务器安装

测试群集设

后续步骤

其他资源

其他资源