Alta disponibilidad de Azure Virtual Machines para SAP NetWeaver en Red Hat Enterprise Linux

Artículo
06/18/2024

Este artículo describe cómo implementar máquinas virtuales (VM), configurarlas, instalar el marco de clústeres e instalar un sistema de alta disponibilidad de SAP NetWeaver 7.50.

En las configuraciones de ejemplo y los comandos de instalación, se usan el número de instancia 00 de ASCS, el número de instancia 02 de ERS y el identificador de sistema de SAP NW1. Los nombres de los recursos (por ejemplo, máquinas virtuales y redes virtuales) del ejemplo dan por sentado que usó la plantilla ASCS/SCS con el prefijo de recursos NW1 para crear los recursos.

Requisitos previos

Lea primero las notas y los documentos de SAP siguientes:

Nota de SAP 1928533, que incluye:
- Una lista de los tamaños de máquina virtual de Azure que se admiten para la implementación de software de SAP.
- Información importante sobre capacidad para los tamaños de máquina virtual de Azure.
- Software de SAP admitido y combinaciones de sistema operativo y base de datos.
- Versión del kernel de SAP requerida para Windows y Linux en Microsoft Azure.
La nota de SAP 2015553 enumera los requisitos previos para las implementaciones de software de SAP admitidas por SAP en Azure.
La nota de SAP 2002167 recomienda la configuración del sistema operativo para Red Hat Enterprise Linux (RHEL).
La nota de SAP 2009879 contiene las instrucciones de SAP HANA para Red Hat Enterprise Linux.
La nota de SAP 2178632 contiene información detallada sobre todas las métricas de supervisión notificadas para SAP en Azure.
La nota de SAP 2191498 incluye la versión de SAP Host Agent necesaria para Linux en Azure.
La nota de SAP 2243692 incluye información acerca de las licencias de SAP en Linux en Azure.
La nota de SAP 1999351 contiene más información de solución de problemas sobre la extensión de supervisión mejorada de Azure para SAP.
La WIKI de la comunidad SAP contiene todas las notas de SAP que se necesitan para Linux.
Planeación e implementación de Azure Virtual Machines para SAP en Linux
Implementación de Azure Virtual Machines para SAP en Linux
Implementación de DBMS de Azure Virtual Machines para SAP en Linux
Documentación de producto para Red Hat Gluster Storage
SAP Netweaver en el clúster de Pacemaker
Documentación general de RHEL:
Documentación de RHEL específica para Azure:
- Directivas de compatibilidad para clústeres de alta disponibilidad RHEL: instancias de Microsoft Azure Virtual Machines como miembros del clúster
- Instalación y configuración de un clúster de alta disponibilidad de Red Hat Enterprise Linux 7.4 (y versiones posteriores) en Microsoft Azure

Información general

Para lograr alta disponibilidad, SAP NetWeaver requiere almacenamiento compartido. GlusterFS está configurado en un clúster independiente y lo pueden usar varios sistemas SAP.

Diagrama en el que se muestra información general sobre la alta disponibilidad de SAP NetWeaver.

SAP NetWeaver ASCS, SAP NetWeaver SCS, SAP NetWeaver ERS y la base de datos SAP HANA usan direcciones IP virtuales y el nombre de host virtual. En Azure, se requiere un equilibrador de carga para usar una dirección IP virtual. Se recomienda usar Azure Load Balancer estándar. La configuración aquí muestra un equilibrador de carga con:

Dirección IP de front-end: 10.0.0.7 para ASCS
Dirección IP de front-end: 10.0.0.8 para ERS
Puerto de sondeo 62000 para ASCS
Puerto de sondeo 62101 para ERS

Configuración de GlusterFS

SAP NetWeaver requiere un almacenamiento compartido para el directorio de transporte y perfil. Para ver cómo configurar GlusterFS para SAP NetWeaver, consulte GlusterFS en máquinas virtuales de Azure en Red Hat Enterprise Linux para SAP NetWeaver.

Preparación de la infraestructura

Azure Marketplace contiene imágenes calificadas para SAP con el complemento de alta disponibilidad, que puede usar para implementar nuevas máquinas virtuales mediante varias versiones de Red Hat.

Implementación manual de VM de Linux mediante Azure Portal

En este documento, se presupone que ya ha implementado una instancia de red virtual de Azure, una subred y un grupo de recursos.

Implemente máquinas virtuales para servidores de aplicaciones, ERS y ASCS de SAP. Elija una imagen de RHEL adecuada que sea compatible con el sistema SAP. Puede implementar una máquina virtual en cualquiera de las opciones de disponibilidad: conjunto de escalado de máquinas virtuales, zona de disponibilidad o conjunto de disponibilidad.

Configurar Azure Load Balancer

Durante la configuración de la máquina virtual, tiene una opción para crear o seleccionar salir del equilibrador de carga en la sección de redes. Siga los pasos siguientes para configurar un equilibrador de carga estándar para la configuración de alta disponibilidad de ASCS de SAP y ERS de SAP.

Siga la guía de creación del equilibrador de carga para configurar un equilibrador de carga estándar para un sistema SAP de alta disponibilidad mediante Azure Portal. Durante la configuración del equilibrador de carga, tenga en cuenta los siguientes puntos.

Configuración de IP de front-end: cree dos direcciones IP de front-end, una para ASCS y otra para ERS. Seleccione la misma red virtual y subred que las máquinas virtuales ASCS/ERS.
Grupo de back-end: cree un grupo de back-end y agregue máquinas virtuales ASCS y ERS.
Reglas de entrada: cree dos reglas de equilibrio de carga, una para ASCS y otra para ERS. Siga los mismos pasos para ambas reglas de equilibrio de carga.
- Dirección IP de front-end: selección de IP de front-end
- Grupo de back-end: selección del grupo de back-end
- Comprobación de "Puertos de alta disponibilidad"
- Protocolo: TCP
- Sondeo de estado: cree un sondeo de estado con los detalles siguientes (se aplica tanto para ASCS como para ERS)
  - Protocolo: TCP
  - Puerto: [por ejemplo: 620<Instance-no.> para ASCS, 621<Instance-no.> para ERS]
  - Intervalo: 5
  - Umbral de sondeo: 2
- Tiempo de espera de inactividad (minutos): 30
- Active "Habilitar IP flotante"

Nota:

No se respeta la propiedad de configuración del sondeo de estado numberOfProbes, también conocida como "umbral incorrecto" en el Portal. Por lo tanto, para controlar el número de sondeos consecutivos correctos o erróneos, establezca la propiedad "probeThreshold" en 2. Actualmente no es posible establecer esta propiedad mediante Azure Portal, por lo que puede usar la CLI de Azure o el comando de PowerShell.

Para crear un equilibrador de carga estándar de Azure para la configuración de alta disponibilidad del sistema SAP mediante la CLI de Azure, siga estos pasos.

# Create the load balancer resource and another frontend IP resource for ERS. Allocation of private IP address is dynamic using below command. If you want to pass static IP address, include parameter --private-ip-address.
az network lb create -g MyResourceGroup -n MyLB --sku Standard --vnet-name MyVMsVirtualNetwork --subnet MyVMsSubnet --backend-pool-name MyBackendPool --frontend-ip-name MyASCSFrontendIpName
az network lb frontend-ip create -g MyResourceGroup --lb-name MyLB -n MyERSFrontendIpName --vnet-name MyVMsVirtualNetwork --subnet MyVMsSubnet

# Create the health probe for ASCS and ERS
az network lb probe create -g MyResourceGroup --lb-name MyLB -n MyASCSHealthProbe --protocol tcp --port MyASCSHealthProbePort --interval 5 --probe-threshold 2
az network lb probe create -g MyResourceGroup --lb-name MyLB -n MyERSHealthProbe --protocol tcp --port MyERSHealthProbePort --interval 5 --probe-threshold 2
 
# Create load balancing rule for ASCS and ERS
az network lb rule create -g MyResourceGroup --lb-name MyLB -n MyASCSRuleName --protocol All --frontend-ip-name MyASCSFrontendIpName --frontend-port 0 --backend-pool-name MyBackendPool --backend-port 0 --probe-name MyASCSHealthProbe --idle-timeout-in-minutes 30 --enable-floating-ip 
az network lb rule create -g MyResourceGroup --lb-name MyLB -n MyERSRuleName --protocol All --frontend-ip-name MyERSFrontendIpName --frontend-port 0 --backend-pool-name MyBackendPool --backend-port 0 --probe-name MyERSHealthProbe --idle-timeout-in-minutes 30 --enable-floating-ip  

# Add ASCS and ERS VMs in backend pool
az network nic ip-config address-pool add --address-pool MyBackendPool --ip-config-name ASCSVmIpConfigName --nic-name ASCSVmNicName -g MyResourceGroup --lb-name MyLB
az network nic ip-config address-pool add --address-pool MyBackendPool --ip-config-name ERSVmIpConfigName --nic-name ERSVmNicName -g MyResourceGroup --lb-name MyLB

Expanda para ver el código completo de la CLI

# Define variables for Resource Group, ASCS/ERS VMs.

rg_name="resourcegroup-name"
vm1_name="ascs-vm-name"
vm2_name="ers-vm-name"

# Define variables for the load balancer that will be use in the creation of the load balancer resource.

lb_name="sap-ci-sid-ilb"
bkp_name="ascs-ers-backendpool"
ascs_fip_name="ascs-frontendip"
ers_fip_name="ers-frontendip"

ascs_hp_name="ascs-healthprobe"
ascs_hp_port="62000"
ers_hp_name="ers-healthprobe"
ers_hp_port="62101"

ascs_rule_name="ascs-lb-rule"
ers_rule_name="ers-lb-rule"
 
# Command to get VMs network information like primary NIC name, primary IP configuration name, virtual network name, and subnet name.
 
vm1_primary_nic=$(az vm nic list -g $rg_name --vm-name $vm1_name --query "[?primary == \`true\`].{id:id} || [?primary == \`null\`].{id:id}" -o tsv)
vm1_nic_name=$(basename $vm1_primary_nic)
vm1_ipconfig=$(az network nic ip-config list -g $rg_name --nic-name $vm1_nic_name --query "[?primary == \`true\`].name" -o tsv)
 
vm2_primary_nic=$(az vm nic list -g $rg_name --vm-name $vm2_name --query "[?primary == \`true\`].{id:id} || [?primary == \`null\`].{id:id}" -o tsv)
vm2_nic_name=$(basename $vm2_primary_nic)
vm2_ipconfig=$(az network nic ip-config list -g $rg_name --nic-name $vm2_nic_name --query "[?primary == \`true\`].name" -o tsv)
 
vnet_subnet_id=$(az network nic show -g $rg_name -n $vm1_nic_name --query ipConfigurations[0].subnet.id -o tsv)
vnet_name=$(basename $(dirname $(dirname $vnet_subnet_id)))
subnet_name=$(basename $vnet_subnet_id)
 
# Create the load balancer resource and another frontend IP resource for ERS.
# Allocation of private IP address is dynamic using below command. If you want to pass static IP address, include parameter --private-ip-address. 
  
az network lb create -g $rg_name -n $lb_name --sku Standard --vnet-name $vnet_name --subnet $subnet_name --backend-pool-name $bkp_name --frontend-ip-name $ascs_fip_name
az network lb frontend-ip create -g $rg_name --lb-name $lb_name -n $ers_fip_name --vnet-name $vnet_name --subnet $subnet_name
 
# Create the health probe for ASCS and ERS
 
az network lb probe create -g $rg_name --lb-name $lb_name -n $ascs_hp_name --protocol tcp --port $ascs_hp_port --interval 5 --probe-threshold 2
az network lb probe create -g $rg_name --lb-name $lb_name -n $ers_hp_name --protocol tcp --port $ers_hp_port --interval 5 --probe-threshold 2
 
# Create load balancing rule for ASCS and ERS
  
az network lb rule create -g $rg_name --lb-name $lb_name -n  $ascs_rule_name --protocol All --frontend-ip-name $ascs_fip_name --frontend-port 0 --backend-pool-name $bkp_name --backend-port 0 --probe-name $ascs_hp_name --idle-timeout-in-minutes 30 --enable-floating-ip 
az network lb rule create -g $rg_name --lb-name $lb_name -n  $ers_rule_name --protocol All --frontend-ip-name $ers_fip_name --frontend-port 0 --backend-pool-name $bkp_name --backend-port 0 --probe-name $ers_hp_name --idle-timeout-in-minutes 30 --enable-floating-ip 
 
# Add ASCS and ERS VMs in backend pool
 
az network nic ip-config address-pool add --address-pool $bkp_name --ip-config-name $vm1_ipconfig --nic-name $vm1_nic_name -g $rg_name --lb-name $lb_name
az network nic ip-config address-pool add --address-pool $bkp_name --ip-config-name $vm2_ipconfig --nic-name $vm2_nic_name -g $rg_name --lb-name $lb_name

# [OPTIONAL] Change the assignment of frontend IP address from dynamic to static
afip=$(az network lb frontend-ip show --lb-name $lb_name -g $rg_name -n $ascs_fip_name --query "{privateIPAddress:privateIPAddress}" -o tsv)
az network lb frontend-ip update --lb-name $lb_name -g $rg_name -n $ascs_fip_name --private-ip-address $afip

efip=$(az network lb frontend-ip show --lb-name $lb_name -g $rg_name -n $ers_fip_name --query "{privateIPAddress:privateIPAddress}" -o tsv)
az network lb frontend-ip update --lb-name $lb_name -g $rg_name -n $ers_fip_name --private-ip-address $efip

Para crear un equilibrador de carga estándar de Azure para la configuración de alta disponibilidad del sistema SAP mediante Azure PowerShell, siga estos pasos.

# Create frontend IP configurations
$ascs_fip = New-AzLoadBalancerFrontendIpConfig -Name MyASCSFrontendIpName -SubnetId MyASCSSubnetName
$ers_fip = New-AzLoadBalancerFrontendIpConfig -Name MyERSFrontendIpName -SubnetId MyERSSubnetName

# Create backend pool
$bePool = New-AzLoadBalancerBackendAddressPoolConfig -Name MyBackendPool

# Create health probes for ASCS and ERS
$ascs_healthprobe = New-AzLoadBalancerProbeConfig -Name MyASCSHealthProbe -Protocol 'tcp' -Port MyASCSHealthProbePort -IntervalInSeconds 5 -ProbeThreshold 2 -ProbeCount 1
$ers_healthprobe = New-AzLoadBalancerProbeConfig -Name $ers_hp_name -Protocol 'tcp' -Port MyASCSHealthProbePort -IntervalInSeconds 5 -ProbeThreshold 2 -ProbeCount 1

# Create load balancing rules for ASCS and ERS
$ascs_rule = New-AzLoadBalancerRuleConfig -Name MyASCSRuleName -Probe $ascs_healthprobe -Protocol 'All' -IdleTimeoutInMinutes 30 -FrontendIpConfiguration $ascs_fip -BackendAddressPool $bePool -EnableFloatingIP
$ers_rule = New-AzLoadBalancerRuleConfig -Name MyERSRuleName -Probe $ers_healthprobe -Protocol 'All' -IdleTimeoutInMinutes 30 -FrontendIpConfiguration $ers_fip -BackendAddressPool $bePool -EnableFloatingIP

# Create the load balancer resource
$lb = New-AzLoadBalancer -ResourceGroupName MyResourceGroup -Name MyLB -Location MyRegion -Sku 'Standard' -FrontendIpConfiguration $ascs_fip, $ers_fip -BackendAddressPool $bePool -LoadBalancingRule $ascs_rule, $ers_rule -Probe $ascs_healthprobe, $ers_healthprobe

Expanda para ver el código completo de PowerShell

# Define variables for Resource Group, and Database VMs.

$rg_name = 'resourcegroup-name'
$vm1_name = 'ascs-vm-name'
$vm2_name = 'ers-vm-name'

# Define variables for the load balancer that will be utilized in the creation of the load balancer resource.

$lb_name = 'sap-ci-sid-ilb'
$bkp_name = 'ascs-ers-backendpool'
$ascs_fip_name = 'ascs-frontendip'
$ers_fip_name = 'ers-frontendip'
 
$ascs_hp_name = 'ascs-healthprobe'
$ascs_hp_port = '62000'
$ers_hp_name = 'ers-healthprobe'
$ers_hp_port = '62101'
 
$ascs_rule_name = 'ascs-lb-rule'
$ers_rule_name = 'ers-lb-rule'
 
# Command to get VMs network information like NIC name, IP configuration name, Virtual Network name, and Subnet 
 
$vm1 = Get-AzVM -ResourceGroupName $rg_name -Name $vm1_name
$vm1_primarynic = $vm1.NetworkProfile.NetworkInterfaces | Where-Object {($_.Primary -eq "True") -or ($_.Primary -eq $null)}
$vm1_nic_name = $vm1_primarynic.Id.Split('/')[-1]
 
$vm1_nic_info = Get-AzNetworkInterface -Name $vm1_nic_name -ResourceGroupName $rg_name
$vm1_primaryip = $vm1_nic_info.IpConfigurations | Where-Object -Property Primary -EQ -Value "True"
$vm1_ipconfig_name = ($vm1_primaryip).Name
 
$vm2 = Get-AzVM -ResourceGroupName $rg_name -Name $vm2_name
$vm2_primarynic = $vm2.NetworkProfile.NetworkInterfaces | Where-Object {($_.Primary -eq "True") -or ($_.Primary -eq $null)}
$vm2_nic_name = $vm2_primarynic.Id.Split('/')[-1]
 
$vm2_nic_info = Get-AzNetworkInterface -Name $vm2_nic_name -ResourceGroupName $rg_name
$vm2_primaryip = $vm2_nic_info.IpConfigurations | Where-Object -Property Primary -EQ -Value "True"
$vm2_ipconfig_name = ($vm2_primaryip).Name
 
$vnet_name = $vm1_primaryip.Subnet.Id.Split('/')[-3]
$subnet_name = $vm1_primaryip.Subnet.Id.Split('/')[-1]
$location = $vm1.Location
 
# Create frontend IP resource for ASCS and ERS.
# Allocation of private IP address is dynamic using below command. If you want to pass static IP address, include parameter -PrivateIpAddress
 
$ascs_lb_fip = @{
    Name = $ascs_fip_name
    SubnetId = $vm1_primaryip.Subnet.Id
}
$ascs_fip = New-AzLoadBalancerFrontendIpConfig @ascs_lb_fip
 
$ers_lb_fip = @{
    Name = $ers_fip_name
    SubnetId = $vm2_primaryip.Subnet.Id
}
$ers_fip = New-AzLoadBalancerFrontendIpConfig @ers_lb_fip

# Create backend pool
 
$bepool = New-AzLoadBalancerBackendAddressPoolConfig -Name $bkp_name

# Create the health probe for ASCS and ERS
 
$ascs_probe = @{
    Name = $ascs_hp_name
    Protocol = 'tcp'
    Port = $ascs_hp_port
    IntervalInSeconds = '5'
    ProbeThreshold = '2'
    ProbeCount = '1'
}
$ascs_healthprobe = New-AzLoadBalancerProbeConfig @ascs_probe
    
$ers_probe = @{
    Name = $ers_hp_name
    Protocol = 'tcp'
    Port = $ers_hp_port
    IntervalInSeconds = '5'
    ProbeThreshold = '2'
    ProbeCount = '1'
}
$ers_healthprobe = New-AzLoadBalancerProbeConfig @ers_probe

# Create load balancing rule for ASCS and ERS
 
$ascs_lbrule = @{
    Name = $ascs_rule_name
    Probe = $ascs_healthprobe
    Protocol = 'All'
    IdleTimeoutInMinutes = '30'
    FrontendIpConfiguration = $ascs_fip
    BackendAddressPool = $bePool 
} 
$ascs_rule = New-AzLoadBalancerRuleConfig @ascs_lbrule -EnableFloatingIP 
 
$ers_lbrule = @{
    Name = $ers_rule_name
    Probe = $ers_healthprobe
    Protocol = 'All'
    IdleTimeoutInMinutes = '30'
    FrontendIpConfiguration = $ers_fip
    BackendAddressPool = $bePool 
} 
$ers_rule = New-AzLoadBalancerRuleConfig @ers_lbrule -EnableFloatingIP

# Create the load balancer resource
 
$loadbalancer = @{
    ResourceGroupName = $rg_name
    Name = $lb_name
    Location = $location
    Sku = 'Standard'
    FrontendIpConfiguration = $ascs_fip,$ers_fip
    BackendAddressPool = $bePool 
    LoadBalancingRule = $ascs_rule,$ers_rule
    Probe = $ascs_healthprobe,$ers_healthprobe 
} 
$lb = New-AzLoadBalancer @loadbalancer

# Add ASCS and ERS VMs in backend pool of load balanceer
 
$vm1_primaryip.LoadBalancerBackendAddressPools.Add($lb.BackendAddressPools[0])
$vm2_primaryip.LoadBalancerBackendAddressPools.Add($lb.BackendAddressPools[0])
$vm1_nic_info | Set-AzNetworkInterface
$vm2_nic_info | Set-AzNetworkInterface

Nota:

Cuando las máquinas virtuales sin direcciones IP públicas se colocan en el grupo de back-end de una instancia interna de Azure Load Balancer estándar (sin dirección IP pública), no hay conectividad de salida a Internet a menos que se realicen más configuraciones para permitir el enrutamiento a puntos de conexión públicos. Para más información sobre cómo conseguir la conectividad de salida, consulte Conectividad de punto de conexión público para máquinas virtuales con Azure Standard Load Balancer en escenarios de alta disponibilidad de SAP.

Importante

No habilite las marcas de tiempo TCP en VM de Azure que se encuentren detrás de Azure Load Balancer. Si habilita las marcas de tiempo TCP provocará un error en los sondeos de estado. Establezca el parámetro net.ipv4.tcp_timestamps en 0. Para más información, consulte Sondeos de estado de Load Balancer.

Configuración de (A)SCS

A continuación, preparará e instalará las instancias de SAP ASCS y ERS.

Creación de un clúster de Pacemaker

Siga los pasos de Configurar Pacemaker en Red Hat Enterprise Linux en Azure para crear un clúster de Pacemaker básico para este servidor (A)SCS.

Preparación de la instalación de SAP NetWeaver

Los siguientes elementos llevan delante:

[A] : Aplicable a todos los nodos
[1]: solo aplicable al nodo 1
[2]: solo aplicable al nodo 2

[A] Configure la resolución de nombres de host.

Puede usar un servidor DNS o modificar el archivo /etc/hosts en todos los nodos. En este ejemplo se muestra cómo utilizar el archivo /etc/hosts. Reemplace la dirección IP y el nombre de host en los siguientes comandos:
```
sudo vi /etc/hosts
```
Inserte las líneas siguientes en el archivo /etc/hosts. Cambie la dirección IP y el nombre de host para que coincidan con su entorno.
```
# IP addresses of the GlusterFS nodes
10.0.0.40 glust-0
10.0.0.41 glust-1
10.0.0.42 glust-2
# IP address of the load balancer frontend configuration for SAP NetWeaver ASCS
10.0.0.7 nw1-ascs
# IP address of the load balancer frontend configuration for SAP NetWeaver ASCS ERS
10.0.0.8 nw1-aers
```

[A]: cree los directorios compartidos.

sudo mkdir -p /sapmnt/NW1
sudo mkdir -p /usr/sap/trans
sudo mkdir -p /usr/sap/NW1/SYS
sudo mkdir -p /usr/sap/NW1/ASCS00
sudo mkdir -p /usr/sap/NW1/ERS02

sudo chattr +i /sapmnt/NW1
sudo chattr +i /usr/sap/trans
sudo chattr +i /usr/sap/NW1/SYS
sudo chattr +i /usr/sap/NW1/ASCS00
sudo chattr +i /usr/sap/NW1/ERS02

[A] Instale el cliente GlusterFS y otros paquetes necesarios.

sudo yum -y install glusterfs-fuse resource-agents resource-agents-sap

[A] Compruebe la versión de resource-agents-sap.

Asegúrese de que la versión del paquete resource-agents-sap instalado sea al menos 3.9.5-124.el7.

sudo yum info resource-agents-sap

# Loaded plugins: langpacks, product-id, search-disabled-repos
# Repodata is over 2 weeks old. Install yum-cron? Or run: yum makecache fast
# Installed Packages
# Name        : resource-agents-sap
# Arch        : x86_64
# Version     : 3.9.5
# Release     : 124.el7
# Size        : 100 k
# Repo        : installed
# From repo   : rhel-sap-for-rhel-7-server-rpms
# Summary     : SAP cluster resource agents and connector script
# URL         : https://github.com/ClusterLabs/resource-agents
# License     : GPLv2+
# Description : The SAP resource agents and connector script interface with
#          : Pacemaker to allow SAP instances to be managed in a cluster
#          : environment.

[A] Agregar entradas de montaje.

sudo vi /etc/fstab

# Add the following lines to fstab, save and exit
glust-0:/NW1-sapmnt /sapmnt/NW1 glusterfs backup-volfile-servers=glust-1:glust-2 0 0
glust-0:/NW1-trans /usr/sap/trans glusterfs backup-volfile-servers=glust-1:glust-2 0 0
glust-0:/NW1-sys /usr/sap/NW1/SYS glusterfs backup-volfile-servers=glust-1:glust-2 0 0

Monte los nuevos recursos compartidos.

sudo mount -a

[A]: configure el archivo SWAP.

sudo vi /etc/waagent.conf

# Set the property ResourceDisk.EnableSwap to y
# Create and use swapfile on resource disk.
ResourceDisk.EnableSwap=y

# Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
# The free space of resource disk varies by virtual machine size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
# Size of the swapfile.
ResourceDisk.SwapSizeMB=2000

Reinicie el agente para activar el cambio.

sudo service waagent restart

[A] Configure RHEL.

En función de la versión de RHEL, realice la configuración mencionada en la nota de SAP 2002167, la nota de SAP 2772999 o la nota de SAP 3108316.

Instalación de SAP NetWeaver ASCS/ERS

[1] Configure las propiedades predeterminadas del clúster.

pcs resource defaults resource-stickiness=1
pcs resource defaults migration-threshold=3

[1]: cree un recurso de IP virtual y un sondeo de estado para la instancia de ASCS.

sudo pcs node standby nw1-cl-1

sudo pcs resource create fs_NW1_ASCS Filesystem device='glust-0:/NW1-ascs' \
  directory='/usr/sap/NW1/ASCS00' fstype='glusterfs' \
  options='backup-volfile-servers=glust-1:glust-2' \
  --group g-NW1_ASCS

sudo pcs resource create vip_NW1_ASCS IPaddr2 \
  ip=10.0.0.7 \
  --group g-NW1_ASCS

sudo pcs resource create nc_NW1_ASCS azure-lb port=62000 \
  --group g-NW1_ASCS

Asegúrese de que el estado del clúster sea el correcto y que se iniciaron todos los recursos. El nodo en el que se ejecutan los recursos no es importante.

sudo pcs status

# Node nw1-cl-1: standby
# Online: [ nw1-cl-0 ]
#
# Full list of resources:
#
# rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
#  Resource Group: g-NW1_ASCS
#      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
#      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
#      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0

[1] Instale ASCS de SAP NetWeaver.

Instale SAP NetWeaver ASCS como la raíz del primer nodo utilizando un nombre de host virtual que se corresponda con la dirección IP de la configuración de front-end del equilibrador de carga de ASCS; por ejemplo, nw1-ascs y 10.0.0.7, y el número de instancia que usó para el sondeo del equilibrador de carga; por ejemplo, 00.

Puede usar el sapinst parámetro SAPINST_REMOTE_ACCESS_USER para permitir que un usuario no raíz se conecte a sapinst.
```
# Allow access to SWPM. This rule is not permanent. If you reboot the machine, you have to run the command again.
sudo firewall-cmd --zone=public  --add-port=4237/tcp

sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin
```
Si se produce un error en la instalación para crear una subcarpeta en/usr/sap/NW1/ASCS00, pruebe a establecer el propietario y el grupo de la carpeta ASCS00 e inténtelo de nuevo.
```
sudo chown nw1adm /usr/sap/NW1/ASCS00
sudo chgrp sapsys /usr/sap/NW1/ASCS00
```

[1]: cree un recurso de IP virtual y un sondeo de estado para la instancia de ERS.

sudo pcs node unstandby nw1-cl-1
sudo pcs node standby nw1-cl-0

sudo pcs resource create fs_NW1_AERS Filesystem device='glust-0:/NW1-aers' \
  directory='/usr/sap/NW1/ERS02' fstype='glusterfs' \
  options='backup-volfile-servers=glust-1:glust-2' \
 --group g-NW1_AERS

sudo pcs resource create vip_NW1_AERS IPaddr2 \
  ip=10.0.0.8 \
 --group g-NW1_AERS

sudo pcs resource create nc_NW1_AERS azure-lb port=62102 \
 --group g-NW1_AERS

Asegúrese de que el estado del clúster sea el correcto y que se iniciaron todos los recursos. El nodo en el que se ejecutan los recursos no es importante.

sudo pcs status

# Node nw1-cl-0: standby
# Online: [ nw1-cl-1 ]
#
# Full list of resources:
#
# rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-1
#  Resource Group: g-NW1_ASCS
#      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
#      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
#      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
#  Resource Group: g-NW1_AERS
#      fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
#      nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
#      vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1

[2] Instale ERS de SAP NetWeaver.

Instale SAP NetWeaver ERS como la raíz del segundo nodo utilizando un nombre de host virtual que se corresponda con la dirección IP de la configuración de front-end del equilibrador de carga de ERS, por ejemplo, nw1-aers y 10.0.0.8, y el número de instancia que usó para el sondeo del equilibrador de carga; por ejemplo, 02.

Puede usar el sapinst parámetro SAPINST_REMOTE_ACCESS_USER para permitir que un usuario no raíz se conecte a sapinst.
```
# Allow access to SWPM. This rule is not permanent. If you reboot the machine, you have to run the command again.
sudo firewall-cmd --zone=public  --add-port=4237/tcp

sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin
```
Si se produce un error en la instalación para crear una subcarpeta en/usr/sap/NW1/ERS00, pruebe a establecer el propietario y el grupo de la carpeta ERS02 e inténtelo de nuevo.
```
sudo chown nw1adm /usr/sap/NW1/ERS02
sudo chgrp sapsys /usr/sap/NW1/ERS02
```

[1] Adapte los perfiles de instancias ASCS/SCS y ERS.

Perfil ASCS/SCS:

sudo vi /sapmnt/NW1/profile/NW1_ASCS00_nw1-ascs

# Change the restart command to a start command
#Restart_Program_01 = local $(_EN) pf=$(_PF)
Start_Program_01 = local $(_EN) pf=$(_PF)

# Add the keep alive parameter, if using ENSA1
enque/encni/set_so_keepalive = true

En el caso de ENSA1 y ENSA2, asegúrese de que los parámetros del sistema operativo keepalive se establecen tal y como se describe en la nota de SAP 1410736.

Perfil ERS:

sudo vi /sapmnt/NW1/profile/NW1_ERS02_nw1-aers

# Change the restart command to a start command
#Restart_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)

# remove Autostart from ERS profile
# Autostart = 1

[A] Configure Mantener conexión.

La comunicación entre el servidor de aplicaciones de SAP NetWeaver y ASCS/SCS se enruta a través de un equilibrador de carga de software. El equilibrador de carga desconecta las conexiones inactivas después de un tiempo de expiración que se puede configurar. Para evitar esta acción, establezca un parámetro en el perfil de ASCS/SCS de SAP NetWeaver, si usa ENSA1. Cambie la configuración keepalive del sistema Linux en todos los servidores SAP de ENSA1 y ENSA2. Para más información, consulte la nota de SAP 1410736.
```
# Change the Linux system configuration
sudo sysctl net.ipv4.tcp_keepalive_time=300
```

[A] Actualice el archivo /usr/sap/sapservices.

Para evitar que el script de arranque sapinit inicie las instancias, todas las que sean administradas por Pacemaker se deben marcar como comentario en el archivo /usr/sap/sapservices.

sudo vi /usr/sap/sapservices

# On the node where you installed the ASCS, comment out the following line
# LD_LIBRARY_PATH=/usr/sap/NW1/ASCS00/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/NW1/ASCS00/exe/sapstartsrv pf=/usr/sap/NW1/SYS/profile/NW1_ASCS00_nw1-ascs -D -u nw1adm

# On the node where you installed the ERS, comment out the following line
# LD_LIBRARY_PATH=/usr/sap/NW1/ERS02/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/NW1/ERS02/exe/sapstartsrv pf=/usr/sap/NW1/ERS02/profile/NW1_ERS02_nw1-aers -D -u nw1adm

[1]: cree los recursos del clúster de SAP.

En función de si ejecuta un sistema ENSA1 o ENSA2, seleccione la pestaña correspondiente para definir los recursos. SAP introdujo compatibilidad con ENSA2, incluida la replicación, en SAP NetWeaver 7.52. A partir de la plataforma ABAP 1809, ENSA2 se instala de forma predeterminada. Para obtener compatibilidad con ENSA2, consulte la nota de SAP 2630416 para la compatibilidad con el servidor 2 de puesta en cola.

Si usa la arquitectura del servidor 2 de puesta en cola (ENSA2), instale el agente de recursos resource-agents-sap-4.1.1-12.el7.x86_64 o una versión más reciente y defina los recursos tal como aquí se indica:

ENSA1
ENSA2

sudo pcs property set maintenance-mode=true

sudo pcs resource create rsc_sap_NW1_ASCS00 SAPInstance \
InstanceName=NW1_ASCS00_nw1-ascs START_PROFILE="/sapmnt/NW1/profile/NW1_ASCS00_nw1-ascs" \
AUTOMATIC_RECOVER=false \
meta resource-stickiness=5000 migration-threshold=1 failure-timeout=60 \
op monitor interval=20 on-fail=restart timeout=60 \
op start interval=0 timeout=600 op stop interval=0 timeout=600 \
--group g-NW1_ASCS

sudo pcs resource meta g-NW1_ASCS resource-stickiness=3000

sudo pcs resource create rsc_sap_NW1_ERS02 SAPInstance \
InstanceName=NW1_ERS02_nw1-aers START_PROFILE="/sapmnt/NW1/profile/NW1_ERS02_nw1-aers" \
AUTOMATIC_RECOVER=false IS_ERS=true \
op monitor interval=20 on-fail=restart timeout=60 op start interval=0 timeout=600 op stop interval=0 timeout=600 \
--group g-NW1_AERS

sudo pcs constraint colocation add g-NW1_AERS with g-NW1_ASCS -5000
sudo pcs constraint location rsc_sap_NW1_ASCS00 rule score=2000 runs_ers_NW1 eq 1
sudo pcs constraint order start g-NW1_ASCS then stop g-NW1_AERS kind=Optional symmetrical=false

sudo pcs node unstandby nw1-cl-0
sudo pcs property set maintenance-mode=false

sudo pcs property set maintenance-mode=true

sudo pcs resource create rsc_sap_NW1_ASCS00 SAPInstance \
InstanceName=NW1_ASCS00_nw1-ascs START_PROFILE="/sapmnt/NW1/profile/NW1_ASCS00_nw1-ascs" \
AUTOMATIC_RECOVER=false \
meta resource-stickiness=5000 \
op monitor interval=20 on-fail=restart timeout=60 \
op start interval=0 timeout=600 op stop interval=0 timeout=600 \
--group g-NW1_ASCS

sudo pcs resource meta g-NW1_ASCS resource-stickiness=3000

sudo pcs resource create rsc_sap_NW1_ERS02 SAPInstance \
InstanceName=NW1_ERS02_nw1-aers START_PROFILE="/sapmnt/NW1/profile/NW1_ERS02_nw1-aers" \
AUTOMATIC_RECOVER=false IS_ERS=true \
op monitor interval=20 on-fail=restart timeout=60 op start interval=0 timeout=600 op stop interval=0 timeout=600 \
--group g-NW1_AERS

sudo pcs resource meta rsc_sap_NW1_ERS02 resource-stickiness=3000

sudo pcs constraint colocation add g-NW1_AERS with g-NW1_ASCS -5000
sudo pcs constraint order start g-NW1_ASCS then start g-NW1_AERS kind=Optional symmetrical=false
sudo pcs constraint order start g-NW1_ASCS then stop g-NW1_AERS kind=Optional symmetrical=false

sudo pcs node unstandby nw1-cl-0
sudo pcs property set maintenance-mode=false

Nota:

Si está actualizando desde una versión anterior y va a cambiar al servidor 2 de puesta en cola, consulte la nota de SAP 2641322.

Nota:

Los tiempos de espera de la configuración anterior son solo ejemplos y puede ser necesario adaptarlos a la configuración específica de SAP.

Asegúrese de que el estado del clúster sea el correcto y que se iniciaron todos los recursos. El nodo en el que se ejecutan los recursos no es importante.

sudo pcs status

# Online: [ nw1-cl-0 nw1-cl-1 ]
#
# Full list of resources:
#
# rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
#  Resource Group: g-NW1_ASCS
#      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
#      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
#      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
#      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
#  Resource Group: g-NW1_AERS
#      fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
#      nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
#      vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
#      rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

[A] Agregue reglas de firewall para ASCS y ERS en ambos nodos.

# Probe Port of ASCS
sudo firewall-cmd --zone=public --add-port={62000,3200,3600,3900,8100,50013,50014,50016}/tcp --permanent
sudo firewall-cmd --zone=public --add-port={62000,3200,3600,3900,8100,50013,50014,50016}/tcp
# Probe Port of ERS
sudo firewall-cmd --zone=public --add-port={62102,3202,3302,50213,50214,50216}/tcp --permanent
sudo firewall-cmd --zone=public --add-port={62102,3202,3302,50213,50214,50216}/tcp

Preparación del servidor de aplicaciones de SAP NetWeaver

Algunas bases de datos requieren que la instalación de la instancia de base de datos se ejecute en un servidor de aplicaciones. Prepare las máquinas virtuales del servidor de aplicaciones para poder usarlas en estos casos.

En los pasos siguientes se supone que instala el servidor de aplicaciones en un servidor distinto de los servidores ASCS/SCS y HANA. De lo contrario, no se necesitan algunos de los pasos (como configurar la resolución de nombres de host).

Configure la resolución de nombres de host.

Puede usar un servidor DNS o modificar el archivo /etc/hosts en todos los nodos. En este ejemplo se muestra cómo utilizar el archivo /etc/hosts. Reemplace la dirección IP y el nombre de host en los siguientes comandos:

sudo vi /etc/hosts

Inserte las líneas siguientes en /etc/hosts. Cambie la dirección IP y el nombre de host para que coincidan con su entorno.

# IP addresses of the GlusterFS nodes
10.0.0.40 glust-0
10.0.0.41 glust-1
10.0.0.42 glust-2
# IP address of the load balancer frontend configuration for SAP NetWeaver ASCS
10.0.0.7 nw1-ascs
# IP address of the load balancer frontend configuration for SAP NetWeaver ASCS ERS
10.0.0.8 nw1-aers
# IP address of the load balancer frontend configuration for database
10.0.0.13 nw1-db

Cree el directorio sapmnt.

sudo mkdir -p /sapmnt/NW1
sudo mkdir -p /usr/sap/trans

sudo chattr +i /sapmnt/NW1
sudo chattr +i /usr/sap/trans

Instale el cliente de GlusterFS y otros requisitos.
```
sudo yum -y install glusterfs-fuse uuidd
```

Agregue las entradas de montaje.

sudo vi /etc/fstab

# Add the following lines to fstab, save and exit
glust-0:/NW1-sapmnt /sapmnt/NW1 glusterfs backup-volfile-servers=glust-1:glust-2 0 0
glust-0:/NW1-trans /usr/sap/trans glusterfs backup-volfile-servers=glust-1:glust-2 0 0

Monte los nuevos recursos compartidos.

sudo mount -a

Configure el archivo SWAP.

sudo vi /etc/waagent.conf

# Set the property ResourceDisk.EnableSwap to y
# Create and use swapfile on resource disk.
ResourceDisk.EnableSwap=y

# Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
# The free space of resource disk varies by virtual machine size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
# Size of the swapfile.
ResourceDisk.SwapSizeMB=2000

Reinicie el agente para activar el cambio.

sudo service waagent restart

Instale la base de datos.

En este ejemplo, SAP NetWeaver se instala en SAP HANA. En esta instalación puede usar todas las bases de datos admitidas. Para más información sobre cómo instalar SAP HANA en Azure, consulte Alta disponibilidad de SAP HANA en Red Hat Enterprise Linux. Para ver una lista de las bases de datos admitidas, consulte la nota de SAP 1928533.

Ejecute la instalación de la instancia de base de datos de SAP.

Instale la instancia de base de datos de SAP NetWeaver como raíz con un nombre de host virtual que se asigne a la dirección IP de la configuración de front-end del equilibrador de carga para la base de datos, por ejemplo, nw1-db y 10.0.0.13.

Puede usar el sapinst parámetro SAPINST_REMOTE_ACCESS_USER para permitir que un usuario no raíz se conecte a sapinst.
```
sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin
```

Instalación del servidor de aplicaciones de SAP NetWeaver

Siga estos pasos para instalar un servidor de aplicaciones de SAP.

Prepare el servidor de aplicaciones.

Siga los pasos descritos en la sección Preparación del servidor de aplicaciones de SAP NetWeaver anterior para preparar el servidor de aplicaciones.
Instale el servidor de aplicaciones de SAP NetWeaver.

Instale un servidor de aplicaciones de SAP NetWeaver principal o adicional.

Puede usar el sapinst parámetro SAPINST_REMOTE_ACCESS_USER para permitir que un usuario no raíz se conecte a sapinst.
```
sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin
```
Actualice el almacenamiento seguro de SAP HANA.

Actualice el almacenamiento seguro de SAP HANA que apunte al nombre virtual de la configuración de la replicación del sistema SAP HANA.

Ejecute el siguiente comando para enumerar las entradas como <sapsid>adm:
```
hdbuserstore List
```
Todas las entradas deben aparecer y tener un aspecto similar al siguiente:
```
DATA FILE       : /home/nw1adm/.hdb/nw1-di-0/SSFS_HDB.DAT
KEY FILE        : /home/nw1adm/.hdb/nw1-di-0/SSFS_HDB.KEY

KEY DEFAULT
  ENV : 10.0.0.14:30313
  USER: SAPABAP1
  DATABASE: NW1
```
El resultado muestra que la dirección IP de la entrada predeterminada apunta a la máquina virtual y no a la dirección IP del equilibrador de carga. Esta entrada debe modificarse para que apunte al nombre de host virtual del equilibrador de carga. Asegúrese de usar el mismo puerto (30313 en la salida anterior) y el nombre de la base de datos (HN1 en la salida anterior).
```
su - nw1adm
hdbuserstore SET DEFAULT nw1-db:30313@NW1 SAPABAP1 <password of ABAP schema>
```

Prueba de la configuración del clúster

Migración manual de la instancia de ASCS.

Estado del recurso antes de iniciar la prueba:

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

Ejecute los siguientes comandos como raíz para migrar la instancia de ASCS.

[root@nw1-cl-0 ~]# pcs resource move rsc_sap_NW1_ASCS00

[root@nw1-cl-0 ~]# pcs resource clear rsc_sap_NW1_ASCS00

# Remove failed actions for the ERS that occurred as part of the migration
[root@nw1-cl-0 ~]# pcs resource cleanup rsc_sap_NW1_ERS02

Estado del recurso después de la prueba:

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

Simule un bloqueo de nodo.

Estado del recurso antes de iniciar la prueba:

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

Ejecute el siguiente comando como raíz en el nodo donde se ejecuta la instancia de ASCS.

[root@nw1-cl-1 ~]# echo b > /proc/sysrq-trigger

El estado después de que el nodo se inicia de nuevo debe parecerse a este:

Online: [ nw1-cl-0 nw1-cl-1 ]

Full list of resources:

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

Failed Actions:
* rsc_sap_NW1_ERS02_monitor_11000 on nw1-cl-0 'not running' (7): call=45, status=complete, exitreason='',
    last-rc-change='Tue Aug 21 13:52:39 2018', queued=0ms, exec=0ms

Nota:

Si usa SBD como mecanismo STONITH, podría ocurrir que tras un reinicio, cuando el nodo intente volver a unirse al clúster, reciba el mensaje "we were allegendly just fenced" en /var/log/messages y apague los servicios Pacemaker y Corosync. Para solucionar el problema, puede seguir la solución alternativa que se describe en la knowledge base RedHat Un nodo apaga Pacemaker después de estar cercado y reiniciando Corosync y Pacemaker. Sin embargo, en Azure, establezca un retraso de 150 segundos para que el servicio Corosync se inicie. Asegúrese de que estos pasos se aplican a todos los nodos del clúster.

Use el siguiente comando para limpiar los recursos con error.

[root@nw1-cl-0 ~]# pcs resource cleanup rsc_sap_NW1_ERS02

Estado del recurso después de la prueba:

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

Bloquee la comunicación de red.

Estado del recurso antes de iniciar la prueba:

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

Ejecute una regla de firewall para bloquear la comunicación en uno de los nodos.

 # Execute iptable rule on nw1-cl-0 (10.0.0.7) to block the incoming and outgoing traffic to nw1-cl-1 (10.0.0.8)
 iptables -A INPUT -s 10.0.0.8 -j DROP; iptables -A OUTPUT -d 10.0.0.8 -j DROP

Cuando los nodos del clúster no se pueden comunicar entre sí, existe el riesgo de un escenario de cerebro dividido. En tales situaciones, los nodos de clúster intentan ponerse barreras simultáneamente entre sí, lo que da lugar a una carrera de barreras. Para evitar esta situación, se recomienda establecer la propiedad priority-fencing-delay en la configuración de un clúster (aplicable solo para pacemaker-2.0.4-6.el8 o posterior).

Al habilitar la propiedad priority-fencing-delay, el clúster introduce un retraso en la acción de barrera específicamente en el nodo que hospeda el recurso de ASCS, lo que permite al nodo ganar la carrera de barreras.

Ejecute el siguiente comando para eliminar la regla de firewall.

 # If the iptables rule set on the server gets reset after a reboot, the rules will be cleared out. In case they have not been reset, please proceed to remove the iptables rule using the following command.
 iptables -D INPUT -s 10.0.0.8 -j DROP; iptables -D OUTPUT -d 10.0.0.8 -j DROP

Elimine el proceso del servidor de mensajes.

Estado del recurso antes de iniciar la prueba:

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

Ejecute los siguientes comandos como raíz para identificar el proceso del servidor de mensajes y terminarlo.

[root@nw1-cl-0 ~]# pgrep -f ms.sapNW1 | xargs kill -9

Si elimina el servidor de mensajes solo una vez, sapstart lo reinicia. Si lo elimina con bastante frecuencia, Pacemaker acabará moviendo la instancia de ASCS al otro nodo. Ejecute los siguientes comandos como raíz para limpiar el estado del recurso de la instancia de ASCS y ERS después de la prueba.

[root@nw1-cl-0 ~]# pcs resource cleanup rsc_sap_NW1_ASCS00
[root@nw1-cl-0 ~]# pcs resource cleanup rsc_sap_NW1_ERS02

Estado del recurso después de la prueba:

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

Elimine el proceso del servidor de puesta en cola.

Estado del recurso antes de iniciar la prueba:

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

Ejecute los siguientes comandos como raíz en el nodo donde se ejecuta la instancia de ASCS para terminar el servidor de puesta en cola.

#If using ENSA1 
[root@nw1-cl-1 ~]# pgrep -f en.sapNW1 | xargs kill -9

#If using ENSA2
[root@nw1-cl-1 ~]# pgrep -f enq.sapNW1 | xargs kill -9

La instancia de ASCS conmutará por error inmediatamente al otro nodo, en el caso de ENSA1. La instancia de ERS también conmutará por error después de iniciarse la instancia de ASCS. Ejecute los siguientes comandos como raíz para limpiar el estado del recurso de la instancia de ASCS y ERS después de la prueba.

[root@nw1-cl-0 ~]# pcs resource cleanup rsc_sap_NW1_ASCS00
[root@nw1-cl-0 ~]# pcs resource cleanup rsc_sap_NW1_ERS02

Estado del recurso después de la prueba:

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

Elimine el proceso del servidor de replicación de puesta en cola.

Estado del recurso antes de iniciar la prueba:

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

Ejecute el siguiente comando como raíz en el nodo donde se ejecuta la instancia de ERS para terminar el proceso del servidor de replicación de puesta en cola.

#If using ENSA1
[root@nw1-cl-1 ~]# pgrep -f er.sapNW1 | xargs kill -9

#If using ENSA2
[root@nw1-cl-1 ~]# pgrep -f enqr.sapNW1 | xargs kill -9

Si ejecuta el comando solo una vez, sapstart reinicia el proceso. Si lo ejecuta con bastante frecuencia, sapstart no reiniciará el proceso y el recurso estará en estado detenido. Ejecute los siguientes comandos como raíz para limpiar el estado del recurso de la instancia de ERS después de la prueba.

[root@nw1-cl-0 ~]# pcs resource cleanup rsc_sap_NW1_ERS02

Estado del recurso después de la prueba:

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

Elimine el proceso sapstartsrv de puesta en cola.

Estado del recurso antes de iniciar la prueba:

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

Ejecute los siguientes comandos como raíz en el nodo donde se ejecuta ASCS.

[root@nw1-cl-0 ~]# pgrep -fl ASCS00.*sapstartsrv
# 59545 sapstartsrv

[root@nw1-cl-0 ~]# kill -9 59545

El agente de recursos de Pacemaker siempre debe reiniciar el proceso sapstartsrv como parte de la supervisión. Estado del recurso después de la prueba:

rsc_st_azure    (stonith:fence_azure_arm):      Started nw1-cl-0
 Resource Group: g-NW1_ASCS
     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
 Resource Group: g-NW1_AERS
     fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
     nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
     vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1

Pasos siguientes

Para implementar un escenario de optimización de costos en el que la instancia de PAS y AAS se implementa con el clúster de alta disponibilidad de SAP NetWeaver en RHEL, consulte Instalación de una instancia de diálogo de SAP con máquinas virtuales de alta disponibilidad de ASCS/SCS de SAP en RHEL.
Consulte Alta disponibilidad para SAP NetWeaver en máquinas virtuales de Azure en Red Hat Enterprise Linux para SAP Applications: guía de varios SID.
Consulte Planeamiento e implementación de Azure Virtual Machines para SAP.
Consulte Implementación de Azure Virtual Machines para SAP.
Consulte Implementación de DBMS de Azure Virtual Machines para SAP.
Para información sobre cómo establecer la alta disponibilidad y planear la recuperación ante desastres de SAP HANA en Azure (instancias grandes), consulte Alta disponibilidad y recuperación ante desastres de SAP HANA en Azure (instancias grandes).
Para más información sobre cómo establecer la alta disponibilidad y planear la recuperación ante desastres de SAP HANA en VM de Azure, consulte Alta disponibilidad de SAP HANA en Azure Virtual Machines.

Compartir vía

Alta disponibilidad de Azure Virtual Machines para SAP NetWeaver en Red Hat Enterprise Linux

Requisitos previos

Información general

Configuración de GlusterFS

Preparación de la infraestructura

Implementación manual de VM de Linux mediante Azure Portal

Configurar Azure Load Balancer

Configuración de (A)SCS

Creación de un clúster de Pacemaker

Preparación de la instalación de SAP NetWeaver

Instalación de SAP NetWeaver ASCS/ERS

Preparación del servidor de aplicaciones de SAP NetWeaver

Instale la base de datos.

Instalación del servidor de aplicaciones de SAP NetWeaver

Prueba de la configuración del clúster

Pasos siguientes

Comentarios

Recursos adicionales