SLES for SAP Applications VM 上でのシンプルなマウントと NFS を使用した高可用性 SAP NetWeaver

[アーティクル]
02/05/2024

この記事では、シンプルなマウント構造を使用して、Azure 仮想マシン (VM) のデプロイと構成、クラスターフレームワークのインストール、高可用性 (HA) SAP NetWeaver システムのインストールを行う方法について説明します。示されたアーキテクチャは、次のいずれかの Azure ネイティブネットワークファイルシステム (NFS) サービスを使用して実装できます。

SLES for SAP Applications 15 の新しい実装では、シンプルなマウントの構成が既定になる予定です。

前提条件

次のガイドには、NetWeaver HA システムを設定するために必要なすべての情報が含まれています。

SAP S/4 HANA - シンプルなマウントを使用したエンキューレプリケーション 2 高可用性クラスター
ABAP SAP Central Services (ASCS)/ERS HA のセットアップにファイルシステムリソースを使用できない
SAP Note 1928533: 次の情報が含まれています。
- SAP ソフトウェアのデプロイでサポートされる Azure VM サイズの一覧
- Azure VM サイズの容量に関する重要な情報
- サポートされている SAP ソフトウェア、オペレーティングシステム (OS)、組み合わせ
- Microsoft Azure 上の Windows と Linux に必要な SAP カーネルバージョン
SAP Note 2015553。SAP でサポートされる Azure 上の SAP ソフトウェアデプロイの前提条件が記載されています。
SAP Note 2205917。SUSE Linux Enterprise Server (SLES) for SAP Applications 向けの推奨の OS 設定が記載されています
SAP Note 2178632。Azure 上の SAP について報告されるすべての監視メトリックに関する詳細情報が記載されています
SAP Note 2191498。Azure 上の Linux に必要な SAP Host Agent のバージョンが記載されています
SAP Note 2243692。Azure 上の Linux で動作する SAP のライセンスに関する情報が記載されています
SAP Note 2578899。SUSE Linux Enterprise Server 15 に関する一般情報が記載されています
SAP Note 1275776。SAP 環境向けの SUSE Linux Enterprise Server の準備に関する情報が記載されています
SAP Note 1999351。Azure Enhanced Monitoring Extension for SAP に関するその他のトラブルシューティング情報が記載されています
SAP Community Wiki。Linux に必要なすべての SAP Note が掲載されています
Linux 上の SAP のための Azure Virtual Machines の計画と実装
Linux 上の SAP のための Azure Virtual Machines のデプロイ
Linux 上の SAP のための Azure Virtual Machines DBMS のデプロイ
SUSE SAP HA ベストプラクティスガイド
SUSE High Availability Extension リリースノート
Azure Files のドキュメント
NetApp NFS のベストプラクティス

概要

この記事では、シンプルなマウント構造を使用した ASCS の高可用性構成について説明します。 SAP アプリケーションレイヤーをデプロイするには、/sapmnt/SID、/usr/sap/SID、/usr/sap/trans のような可用性の高い共有ディレクトリが必要です。これらのファイルシステムは、Azure Files 上の NFSまたはAzure NetApp Files にデプロイできます。

SAP セントラルサービス (SCS) や ASCS などの単一障害点コンポーネントを保護するには、引き続き Pacemaker クラスターが必要です。

従来の Pacemaker クラスター構成と比較した場合、シンプルなマウントのデプロイでは、ファイルシステムがクラスターによって管理されません。この構成は、SLES for SAP Applications 15 以降でのみサポートされます。この記事では、データベースレイヤーについては詳しく説明しません。

構成とインストールコマンドの例では、次のインスタンス番号を使用します。

インスタンス名	インスタンス番号
ASCS	00
エンキューレプリケーションサーバー (ERS)	01
プライマリアプリケーションサーバー (PAS)	02
追加のアプリケーションサーバー (AAS)	03
SAP システム識別子	NW1

重要

シンプルなマウント構造の構成は、SLES for SAP Applications 15 以降のリリースでのみサポートされます。

Diagram that shows SAP NetWeaver high availability with simple mount and NFS.

インフラストラクチャの準備

SAP インスタンスのリソースエージェントは、SUSE Linux Enterprise Server for SAP Applications に含まれています。 Azure Marketplace には、SUSE Linux Enterprise Server for SAP Applications 12 または 15 の画像が掲載されています。この画像を使用して新しい VM をデプロイできます。

Azure portal 経由での手動による Linux VM のデプロイ

このドキュメントは、リソースグループ、Azure Virtual Network、サブネットが既にデプロイ済みであることを前提としています。

SLES for SAP Applications イメージを使用して仮想マシンをデプロイします。 SAP システムでサポートされている適切なバージョンの SLES イメージを選択します。 VM は、仮想マシンスケールセット、可用性ゾーン、可用性セットのいずれかの可用性オプションでデプロイできます。

Azure Load Balancer の構成

VM 構成中に、ネットワークセクションでロードバランサーを作成するか既存のものを選択する選択肢もあります。以下の手順に従って、SAP ASCS と SAP ERS の高可用性セットアップ用に標準ロードバランサーを構成します。

「ロードバランサーの作成」のガイドに従い、Azure portal を使って高可用性 SAP システム用に Standard ロードバランサーを設定します。ロードバランサーの設定においては、以下の点を考慮してください。

フロントエンド IP 構成: 2 つのフロントエンド IP を作成します。1 つは ASCS 用、もう 1 つは ERS 用です。 ASCS/ERS 仮想マシンと同じ仮想ネットワークとサブネットを選択します。
バックエンドプール: バックエンドプールを作成し、ASCS および ERS VM を追加します。
受信規則: 2 つの負荷分散規則を作成します。1 つは ASCS 用、もう 1 つは ERS 用です。両方の負荷分散規則に対して同じ手順を実行します。
- フロントエンド IP アドレス: フロントエンド IP を選択します
- バックエンドプール: バックエンドプールを選択します
- [High availability ports] (高可用性ポート) をオンにします
- プロトコル: TCP
- 正常性プローブ: 以下の詳細を使用して正常性プローブを作成します (ASCS と ERS の両方に適用されます)
  - プロトコル: TCP
  - ポート: [例: ASCS に対しては 620<Instance-no.>、ERS に対しては 621<Instance-no.>]
  - 間隔: 5
  - プローブしきい値: 2
- アイドルタイムアウト (分): 30
- [Floating IP を有効にする] をオンにします

Note

正常性プローブ構成プロパティ numberOfProbes (ポータルでは [異常のしきい値] と呼ばれます) が順守されていません。このため、成功または失敗した連続プローブの数を制御するには、プロパティ "probeThreshold" を 2 に設定します。現在、このプロパティは Azure portal を使用して設定できないため、Azure CLI または PowerShell コマンドを使用してください。

Azure CLI を使用して SAP システムの高可用性セットアップ用に Azure Standard Load Balancer を作成するには、以下の手順に従います。

# Create the load balancer resource and another frontend IP resource for ERS. Allocation of private IP address is dynamic using below command. If you want to pass static IP address, include parameter --private-ip-address.
az network lb create -g MyResourceGroup -n MyLB --sku Standard --vnet-name MyVMsVirtualNetwork --subnet MyVMsSubnet --backend-pool-name MyBackendPool --frontend-ip-name MyASCSFrontendIpName
az network lb frontend-ip create -g MyResourceGroup --lb-name MyLB -n MyERSFrontendIpName --vnet-name MyVMsVirtualNetwork --subnet MyVMsSubnet

# Create the health probe for ASCS and ERS
az network lb probe create -g MyResourceGroup --lb-name MyLB -n MyASCSHealthProbe --protocol tcp --port MyASCSHealthProbePort --interval 5 --probe-threshold 2
az network lb probe create -g MyResourceGroup --lb-name MyLB -n MyERSHealthProbe --protocol tcp --port MyERSHealthProbePort --interval 5 --probe-threshold 2
 
# Create load balancing rule for ASCS and ERS
az network lb rule create -g MyResourceGroup --lb-name MyLB -n MyASCSRuleName --protocol All --frontend-ip-name MyASCSFrontendIpName --frontend-port 0 --backend-pool-name MyBackendPool --backend-port 0 --probe-name MyASCSHealthProbe --idle-timeout-in-minutes 30 --enable-floating-ip 
az network lb rule create -g MyResourceGroup --lb-name MyLB -n MyERSRuleName --protocol All --frontend-ip-name MyERSFrontendIpName --frontend-port 0 --backend-pool-name MyBackendPool --backend-port 0 --probe-name MyERSHealthProbe --idle-timeout-in-minutes 30 --enable-floating-ip  

# Add ASCS and ERS VMs in backend pool
az network nic ip-config address-pool add --address-pool MyBackendPool --ip-config-name ASCSVmIpConfigName --nic-name ASCSVmNicName -g MyResourceGroup --lb-name MyLB
az network nic ip-config address-pool add --address-pool MyBackendPool --ip-config-name ERSVmIpConfigName --nic-name ERSVmNicName -g MyResourceGroup --lb-name MyLB

展開して完全な CLI コードを表示する

# Define variables for Resource Group, ASCS/ERS VMs.

rg_name="resourcegroup-name"
vm1_name="ascs-vm-name"
vm2_name="ers-vm-name"

# Define variables for the load balancer that will be use in the creation of the load balancer resource.

lb_name="sap-ci-sid-ilb"
bkp_name="ascs-ers-backendpool"
ascs_fip_name="ascs-frontendip"
ers_fip_name="ers-frontendip"

ascs_hp_name="ascs-healthprobe"
ascs_hp_port="62000"
ers_hp_name="ers-healthprobe"
ers_hp_port="62101"

ascs_rule_name="ascs-lb-rule"
ers_rule_name="ers-lb-rule"
 
# Command to get VMs network information like primary NIC name, primary IP configuration name, virtual network name, and subnet name.
 
vm1_primary_nic=$(az vm nic list -g $rg_name --vm-name $vm1_name --query "[?primary == \`true\`].{id:id} || [?primary == \`null\`].{id:id}" -o tsv)
vm1_nic_name=$(basename $vm1_primary_nic)
vm1_ipconfig=$(az network nic ip-config list -g $rg_name --nic-name $vm1_nic_name --query "[?primary == \`true\`].name" -o tsv)
 
vm2_primary_nic=$(az vm nic list -g $rg_name --vm-name $vm2_name --query "[?primary == \`true\`].{id:id} || [?primary == \`null\`].{id:id}" -o tsv)
vm2_nic_name=$(basename $vm2_primary_nic)
vm2_ipconfig=$(az network nic ip-config list -g $rg_name --nic-name $vm2_nic_name --query "[?primary == \`true\`].name" -o tsv)
 
vnet_subnet_id=$(az network nic show -g $rg_name -n $vm1_nic_name --query ipConfigurations[0].subnet.id -o tsv)
vnet_name=$(basename $(dirname $(dirname $vnet_subnet_id)))
subnet_name=$(basename $vnet_subnet_id)
 
# Create the load balancer resource and another frontend IP resource for ERS.
# Allocation of private IP address is dynamic using below command. If you want to pass static IP address, include parameter --private-ip-address. 
  
az network lb create -g $rg_name -n $lb_name --sku Standard --vnet-name $vnet_name --subnet $subnet_name --backend-pool-name $bkp_name --frontend-ip-name $ascs_fip_name
az network lb frontend-ip create -g $rg_name --lb-name $lb_name -n $ers_fip_name --vnet-name $vnet_name --subnet $subnet_name
 
# Create the health probe for ASCS and ERS
 
az network lb probe create -g $rg_name --lb-name $lb_name -n $ascs_hp_name --protocol tcp --port $ascs_hp_port --interval 5 --probe-threshold 2
az network lb probe create -g $rg_name --lb-name $lb_name -n $ers_hp_name --protocol tcp --port $ers_hp_port --interval 5 --probe-threshold 2
 
# Create load balancing rule for ASCS and ERS
  
az network lb rule create -g $rg_name --lb-name $lb_name -n  $ascs_rule_name --protocol All --frontend-ip-name $ascs_fip_name --frontend-port 0 --backend-pool-name $bkp_name --backend-port 0 --probe-name $ascs_hp_name --idle-timeout-in-minutes 30 --enable-floating-ip 
az network lb rule create -g $rg_name --lb-name $lb_name -n  $ers_rule_name --protocol All --frontend-ip-name $ers_fip_name --frontend-port 0 --backend-pool-name $bkp_name --backend-port 0 --probe-name $ers_hp_name --idle-timeout-in-minutes 30 --enable-floating-ip 
 
# Add ASCS and ERS VMs in backend pool
 
az network nic ip-config address-pool add --address-pool $bkp_name --ip-config-name $vm1_ipconfig --nic-name $vm1_nic_name -g $rg_name --lb-name $lb_name
az network nic ip-config address-pool add --address-pool $bkp_name --ip-config-name $vm2_ipconfig --nic-name $vm2_nic_name -g $rg_name --lb-name $lb_name

# [OPTIONAL] Change the assignment of frontend IP address from dynamic to static
afip=$(az network lb frontend-ip show --lb-name $lb_name -g $rg_name -n $ascs_fip_name --query "{privateIPAddress:privateIPAddress}" -o tsv)
az network lb frontend-ip update --lb-name $lb_name -g $rg_name -n $ascs_fip_name --private-ip-address $afip

efip=$(az network lb frontend-ip show --lb-name $lb_name -g $rg_name -n $ers_fip_name --query "{privateIPAddress:privateIPAddress}" -o tsv)
az network lb frontend-ip update --lb-name $lb_name -g $rg_name -n $ers_fip_name --private-ip-address $efip

Azure PowerShell を使用して SAP システムの高可用性セットアップ用の Azure Standard Load Balancer を作成するには、以下の手順に従います。

# Create frontend IP configurations
$ascs_fip = New-AzLoadBalancerFrontendIpConfig -Name MyASCSFrontendIpName -SubnetId MyASCSSubnetName
$ers_fip = New-AzLoadBalancerFrontendIpConfig -Name MyERSFrontendIpName -SubnetId MyERSSubnetName

# Create backend pool
$bePool = New-AzLoadBalancerBackendAddressPoolConfig -Name MyBackendPool

# Create health probes for ASCS and ERS
$ascs_healthprobe = New-AzLoadBalancerProbeConfig -Name MyASCSHealthProbe -Protocol 'tcp' -Port MyASCSHealthProbePort -IntervalInSeconds 5 -ProbeThreshold 2 -ProbeCount 1
$ers_healthprobe = New-AzLoadBalancerProbeConfig -Name $ers_hp_name -Protocol 'tcp' -Port MyASCSHealthProbePort -IntervalInSeconds 5 -ProbeThreshold 2 -ProbeCount 1

# Create load balancing rules for ASCS and ERS
$ascs_rule = New-AzLoadBalancerRuleConfig -Name MyASCSRuleName -Probe $ascs_healthprobe -Protocol 'All' -IdleTimeoutInMinutes 30 -FrontendIpConfiguration $ascs_fip -BackendAddressPool $bePool -EnableFloatingIP
$ers_rule = New-AzLoadBalancerRuleConfig -Name MyERSRuleName -Probe $ers_healthprobe -Protocol 'All' -IdleTimeoutInMinutes 30 -FrontendIpConfiguration $ers_fip -BackendAddressPool $bePool -EnableFloatingIP

# Create the load balancer resource
$lb = New-AzLoadBalancer -ResourceGroupName MyResourceGroup -Name MyLB -Location MyRegion -Sku 'Standard' -FrontendIpConfiguration $ascs_fip, $ers_fip -BackendAddressPool $bePool -LoadBalancingRule $ascs_rule, $ers_rule -Probe $ascs_healthprobe, $ers_healthprobe

展開して完全な PowerShell コードを表示する

# Define variables for Resource Group, and Database VMs.

$rg_name = 'resourcegroup-name'
$vm1_name = 'ascs-vm-name'
$vm2_name = 'ers-vm-name'

# Define variables for the load balancer that will be utilized in the creation of the load balancer resource.

$lb_name = 'sap-ci-sid-ilb'
$bkp_name = 'ascs-ers-backendpool'
$ascs_fip_name = 'ascs-frontendip'
$ers_fip_name = 'ers-frontendip'
 
$ascs_hp_name = 'ascs-healthprobe'
$ascs_hp_port = '62000'
$ers_hp_name = 'ers-healthprobe'
$ers_hp_port = '62101'
 
$ascs_rule_name = 'ascs-lb-rule'
$ers_rule_name = 'ers-lb-rule'
 
# Command to get VMs network information like NIC name, IP configuration name, Virtual Network name, and Subnet 
 
$vm1 = Get-AzVM -ResourceGroupName $rg_name -Name $vm1_name
$vm1_primarynic = $vm1.NetworkProfile.NetworkInterfaces | Where-Object {($_.Primary -eq "True") -or ($_.Primary -eq $null)}
$vm1_nic_name = $vm1_primarynic.Id.Split('/')[-1]
 
$vm1_nic_info = Get-AzNetworkInterface -Name $vm1_nic_name -ResourceGroupName $rg_name
$vm1_primaryip = $vm1_nic_info.IpConfigurations | Where-Object -Property Primary -EQ -Value "True"
$vm1_ipconfig_name = ($vm1_primaryip).Name
 
$vm2 = Get-AzVM -ResourceGroupName $rg_name -Name $vm2_name
$vm2_primarynic = $vm2.NetworkProfile.NetworkInterfaces | Where-Object {($_.Primary -eq "True") -or ($_.Primary -eq $null)}
$vm2_nic_name = $vm2_primarynic.Id.Split('/')[-1]
 
$vm2_nic_info = Get-AzNetworkInterface -Name $vm2_nic_name -ResourceGroupName $rg_name
$vm2_primaryip = $vm2_nic_info.IpConfigurations | Where-Object -Property Primary -EQ -Value "True"
$vm2_ipconfig_name = ($vm2_primaryip).Name
 
$vnet_name = $vm1_primaryip.Subnet.Id.Split('/')[-3]
$subnet_name = $vm1_primaryip.Subnet.Id.Split('/')[-1]
$location = $vm1.Location
 
# Create frontend IP resource for ASCS and ERS.
# Allocation of private IP address is dynamic using below command. If you want to pass static IP address, include parameter -PrivateIpAddress
 
$ascs_lb_fip = @{
    Name = $ascs_fip_name
    SubnetId = $vm1_primaryip.Subnet.Id
}
$ascs_fip = New-AzLoadBalancerFrontendIpConfig @ascs_lb_fip
 
$ers_lb_fip = @{
    Name = $ers_fip_name
    SubnetId = $vm2_primaryip.Subnet.Id
}
$ers_fip = New-AzLoadBalancerFrontendIpConfig @ers_lb_fip

# Create backend pool
 
$bepool = New-AzLoadBalancerBackendAddressPoolConfig -Name $bkp_name

# Create the health probe for ASCS and ERS
 
$ascs_probe = @{
    Name = $ascs_hp_name
    Protocol = 'tcp'
    Port = $ascs_hp_port
    IntervalInSeconds = '5'
    ProbeThreshold = '2'
    ProbeCount = '1'
}
$ascs_healthprobe = New-AzLoadBalancerProbeConfig @ascs_probe
    
$ers_probe = @{
    Name = $ers_hp_name
    Protocol = 'tcp'
    Port = $ers_hp_port
    IntervalInSeconds = '5'
    ProbeThreshold = '2'
    ProbeCount = '1'
}
$ers_healthprobe = New-AzLoadBalancerProbeConfig @ers_probe

# Create load balancing rule for ASCS and ERS
 
$ascs_lbrule = @{
    Name = $ascs_rule_name
    Probe = $ascs_healthprobe
    Protocol = 'All'
    IdleTimeoutInMinutes = '30'
    FrontendIpConfiguration = $ascs_fip
    BackendAddressPool = $bePool 
} 
$ascs_rule = New-AzLoadBalancerRuleConfig @ascs_lbrule -EnableFloatingIP 
 
$ers_lbrule = @{
    Name = $ers_rule_name
    Probe = $ers_healthprobe
    Protocol = 'All'
    IdleTimeoutInMinutes = '30'
    FrontendIpConfiguration = $ers_fip
    BackendAddressPool = $bePool 
} 
$ers_rule = New-AzLoadBalancerRuleConfig @ers_lbrule -EnableFloatingIP

# Create the load balancer resource
 
$loadbalancer = @{
    ResourceGroupName = $rg_name
    Name = $lb_name
    Location = $location
    Sku = 'Standard'
    FrontendIpConfiguration = $ascs_fip,$ers_fip
    BackendAddressPool = $bePool 
    LoadBalancingRule = $ascs_rule,$ers_rule
    Probe = $ascs_healthprobe,$ers_healthprobe 
} 
$lb = New-AzLoadBalancer @loadbalancer

# Add ASCS and ERS VMs in backend pool of load balanceer
 
$vm1_primaryip.LoadBalancerBackendAddressPools.Add($lb.BackendAddressPools[0])
$vm2_primaryip.LoadBalancerBackendAddressPools.Add($lb.BackendAddressPools[0])
$vm1_nic_info | Set-AzNetworkInterface
$vm2_nic_info | Set-AzNetworkInterface

重要

負荷分散シナリオでは、ネットワークインターフェイスカード (NIC) のセカンダリ IP 構成のフローティング IP アドレスはサポートされていません。詳細については、Azure Load Balancer の制限事項に関する記事を参照してください。 VM に別の IP アドレスが必要な場合は、2 つ目の NIC をデプロイします。

Note

パブリック IP アドレスのない VM が、内部の (パブリック IP アドレスのない) Standard Azure Load Balancer のバックエンドプール内に配置されている場合、パブリックエンドポイントへのルーティングを許可するように追加の構成が実行されない限り、送信インターネット接続はありません。送信接続を実現する方法の詳細については、「SAP の高可用性シナリオにおける Azure Standard Load Balancer を使用した Virtual Machines のパブリックエンドポイント接続」を参照してください。

重要

Azure Load Balancer の背後に配置された Azure VM では TCP タイムスタンプを有効にしないでください。 TCP タイムスタンプを有効にすると正常性プローブが失敗することになります。 net.ipv4.tcp_timestamps パラメーターを 0 に設定します。詳しくは、「Load Balancer の正常性プローブ」を参照してください。
saptune が手動で設定した net.ipv4.tcp_timestamps 値を 0 から 1 に変更するのを防ぐには、saptune バージョンを 3.1.1 以上に更新する必要があります。詳細については、「saptune 3.1.1 – 更新する必要がありますか?」を参照してください。

NFS の展開

SAP 共有ディレクトリをホストするために Azure ネイティブ NFS をデプロイするには、2 つのオプションがあります。 Azure Files に NFS ファイル共有をデプロイするか、Azure NetApp Files に NFS ボリュームをデプロイできます。 Azure Files 上の NFS では、NFSv4.1 プロトコルをサポートします。 Azure NetApp Files 上の NFS では、NFSv4.1 と NFSv3 の両方をサポートします。

次のセクションでは、NFS をデプロイする手順について説明します。オプションを 1 つだけ選択します。

Azure Files ストレージアカウントと NFS 共有のデプロイ

Azure Files 上の NFS は、Azure Files Premium ストレージの上で実行されます。 Azure Files 上の NFS を設定する前に、「NFS 共有を作成する方法」をご覧ください。

Azure リージョン内の冗長性には、次の 2 つのオプションがあります。

ローカル冗長ストレージ (LRS) では、ローカルのゾーン内同期データレプリケーションを提供します。
ゾーン冗長ストレージ (ZRS) では、リージョン内の 3 つの可用性ゾーン間でデータを同期的に複製します。

選択した Azure リージョンで、適切な冗長性を備えた Azure Files 上の NFSv4.1 が提供されていることを確認してください。 Azure リージョン別に利用可能な Azure Files で Premium Files Storage を確認してください。 ZRS のメリットがあるシナリオの場合は、お使いの Azure リージョンで ZRS を使用した Premium ファイル共有がサポートされていることを確認してください。

Azure プライベートエンドポイントを使用して、Azure Storage アカウントにアクセスすることをお勧めします。 Azure Files ストレージアカウントのエンドポイントと、NFS 共有をマウントする必要がある VM を、同じ Azure 仮想ネットワークまたはピアリングされた Azure 仮想ネットワークにデプロイしてください。

sapnfsafs という名前の Azure Files ストレージアカウントをデプロイします。この例では、ZRS を使用します。このプロセスに慣れていない場合は、Azure portal での「ストレージアカウントの作成」を参照してください。
[基本] タブで、次の設定を使用します。
1. [ストレージアカウント名] に、「sapnfsafs」と入力します。
2. [パフォーマンス] では [Premium] を選択します。
3. [Premium account type](Premium アカウントの種類) で [FileStorage] を選択します。
4. [レプリケーション] で、[Zone redundancy (ZRS)] (ゾーン冗長 (ZRS)) を選択します。
[次へ] を選択します。
[詳細設定] タブで、[REST API の安全な転送を必須にする] をオフにします。このオプションをオフにしないと、NFS 共有を VM にマウントできません。マウント操作がタイムアウトします。
[次へ] を選択します。
[ネットワーク] セクションで、これらの設定を構成します。
1. [ネットワーク接続] の [接続方法] で、[プライベートエンドポイント] を選びます。
2. [プライベートエンドポイント] で [プライベートエンドポイントの追加] を選びます。
[プライベートエンドポイントの作成] ウィンドウで、サブスクリプション、リソースグループ、場所を選択します。次に、以下のように選択します。
1. [名前] に「sapnfsafs_pe」と入力します。
2. [ストレージサブリソース] で [ファイル] を選択します。
3. [ネットワーク] の [仮想ネットワーク] で、使用する仮想ネットワークとサブネットを選びます。この場合も、SAP VM がある仮想ネットワーク、またはピアリングされた仮想ネットワークを使用できます。
4. [プライベート DNS 統合] では、[プライベート DNS ゾーンと統合する] の既定のオプション [はい] をそのまま使用します。お使いのプライベート DNS ゾーンを選択します。
5. [OK] を選択します。
[ネットワーク] タブに戻り、 [次へ] を選びます。
[データ保護] タブで、すべての既定の設定をそのまま維持します。
[確認および作成] を選択して構成を検証します。
検証の終了を待ちます。問題があれば、続行する前に修正してください。
[確認および作成] タブで、 [作成] を選択します。

次に、作成したストレージアカウントに NFS 共有をデプロイします。この例では、sapnw1 と saptrans の 2 つの NFS 共有があります。

Azure portal にサインインします。
ストレージアカウントを選択するか、検索します。
[ストレージアカウント] ページで、[sapnfsafs] を選びます。
sapafsnfs のリソースメニューで、[データストレージ] の下の [ファイル共有] を選びます。
[ファイル共有] ページで、[ファイル共有] を選択し、その後に次のようにします。
1. [名前] に、「sapnw1」、「saptrans」と入力します。
2. 適切な共有サイズを選択します。共有に格納されるデータのサイズ、1 秒あたりの I/O (IOPS)、スループットの要件を考慮してください。詳細については、Azure ファイル共有のターゲットに関するページをご覧ください。
3. プロトコルとして [NFS] を選びます。
4. [ルートスカッシュなし] を選びます。そうしないと、VM に共有をマウントするときに、ファイルの所有者またはグループが表示できません。

NFS 経由でマウントする必要がない SAP ファイルシステムを Azure ディスクストレージにデプロイすることもできます。この例では、/usr/sap/NW1/D02 と /usr/sap/NW1/D03 を Azure ディスクストレージにデプロイできます。

Azure Files 共有上の NFS に関する重要な考慮事項

Azure Files 上の NFS を使用したデプロイを計画する際は、次の重要な点を考慮してください。

共有の最小サイズは 100 ギビバイト (GiB) です。プロビジョニングされた共有の容量に対してのみ料金が発生します。
容量の要件だけでなく、IOPS とスループットの要件にも基づいて NFS 共有のサイズを決定してください。詳細については、Azure ファイル共有のターゲットに関するページを参照してください。
ワークロードをテストしてサイズ設定を検証し、パフォーマンス目標を満たしていることを確認してください。 Azure Files 上の NFS のパフォーマンスの問題のトラブルシューティング方法については、Azure ファイル共有のパフォーマンスのトラブルシューティングに関する記事を参照してください。
SAP J2EE システムの場合、Azure Files 上の NFS に /usr/sap/<SID>/J<nr> を配置できません。
SAP システムのバッチジョブの負荷が高い場合は、ジョブログが数百万件になる可能性があります。 SAP のバッチジョブログがファイルシステムに格納されている場合は、sapmnt 共有のサイズ設定に特に注意してください。 SAP_BASIS 7.52 の時点では、バッチジョブログの既定の動作として、データベースに格納されます。詳細については、データベースのジョブログに関するページを参照してください。
SAP システムごとに個別の sapmnt 共有をデプロイします。
他のアクティビティ (インターフェイスなど) には sapmnt 共有を使用しないでください。
他のアクティビティ (インターフェイスなど) には saptrans 共有を使用しないでください。
1 つのストレージアカウントに統合する共有の SAP システムの数が多くなり過ぎないようにします。また、ストレージアカウントでのスケーラビリティとパフォーマンスのターゲットもあります。ストレージアカウントの制限を超えないことにも注意してください。
一般に、1 つのストレージアカウントに 5 つより多い SAP システムの共有を統合しないでください。このガイドラインは、ストレージアカウントの制限を超過しないようにするのに役立ち、パフォーマンス分析を簡略化します。
通常は、非実稼働と実稼働の SAP システム用の sapmnt のような共有は、同じストレージアカウントに混在させないようにします。
NFS クライアントの機能強化の恩恵を受けるために、SLES 15 SP2 以降にデプロイすることをお勧めします。
プライベートエンドポイントを使用してください。万が一ゾーン障害が発生した場合、NFS セッションは自動的に正常なゾーンにリダイレクトされます。 NFS 共有を VM に再マウントする必要はありません。
VM を可用性ゾーンにデプロイする場合は、ZRS をサポートする Azure リージョンでストレージアカウントと ZRS を使用します。
Azure Files では現在、ディザスターリカバリーシナリオにおけるリージョン間の自動レプリケーションはサポートされていません。

Azure NetApp Files リソースのデプロイ

Azure NetApp Files サービスが選択した Azure リージョンで使用できることを確認します。
選択した Azure リージョンで NetApp アカウントを作成します。こちらの手順に従ってください。
Azure NetApp Files 容量プールを設定します。こちらの手順に従ってください。

この記事で示されている SAP NetWeaver アーキテクチャでは、1 つの Azure NetApp Files の容量プール、Premium SKU を使用しています。 Azure 上の SAP NetWeaver アプリケーションワークロード用には、Azure NetApp Files Premium SKU をお勧めします。
こちらの手順で説明するように、サブネットを Azure NetApp Files に委任します。
こちらの手順に従って、Azure NetApp Files ボリュームをデプロイします。指定された Azure NetApp Files のサブネット内にボリュームをデプロイします。 Azure NetApp ボリュームの IP アドレスは、自動的に割り当てられます。

Azure NetApp Files のリソースと Azure VM は、同じ Azure 仮想ネットワーク内またはピアリングされた Azure 仮想ネットワーク内に配置する必要があることに注意してください。この例では、2 つの Azure NetApp Files ボリューム sapnw1 と trans を使用します。対応するマウントポイントにマウントされるファイルパスは次のとおりです。
- ボリューム sapnw1 (nfs://10.27.1.5/sapnw1/sapmntNW1)
- ボリューム sapnw1 (nfs://10.27.1.5/sapnw1/usrsapNW1)
- ボリューム trans (nfs://10.27.1.5/trans)

共有する必要がない SAP ファイルシステムを Azure ディスクストレージにデプロイすることもできます。たとえば、/usr/sap/NW1/D02 と /usr/sap/NW1/D03 は Azure ディスクストレージとしてデプロイできます。

Azure NetApp Files 上の NFS に関する重要な考慮事項

SAP NetWeaver 高可用性アーキテクチャ用 Azure NetApp Files を検討するときは、次の重要な考慮事項に注意してください。

最小容量のプールは 4 テビバイト (TiB) です。容量プールのサイズは、1 TiB 単位で増やすことができます。
最小ボリュームは 100 GiB です。
Azure NetApp Files と、Azure NetApp Files のボリュームがマウントされるすべての仮想マシンは、同じ Azure 仮想ネットワーク内、または同じリージョン内のピアリングされた仮想ネットワーク内に存在する必要があります。同一リージョン内の仮想ネットワークピアリングを介した Azure NetApp Files のアクセスがサポートされています。グローバルピアリング経由での Azure NetApp Files のアクセスは、まだサポートされていません。
選択した仮想ネットワークには、Azure NetApp Files に委任されているサブネットがある必要があります。
Azure NetApp Files ボリュームのスループットおよびパフォーマンス特性は、「Azure NetApp Files のサービスレベル」に記載されているように、ボリュームクォータとサービスレベルの機能です。 SAP 用の Azure NetApp Files ボリュームのサイズを設定するときは、結果として得られるスループットがアプリケーション要件を満たしていることを確認してください。
Azure NetApp Files にはエクスポートポリシーが用意されています。許可されるクライアントとアクセスの種類 (読み取り/書き込み、読み取り専用など) は制御できます。
Azure NetApp Files は、ゾーンにはまだ対応していません。現在、Azure NetApp Files は、Azure リージョン内のすべての可用性ゾーンにはデプロイされていません。 Azure リージョンによっては、待ち時間が発生する可能性があることに注意してください。
Azure NetApp Files ボリュームは、NFSv3 または NFSv4.1 ボリュームとしてデプロイできます。 SAP アプリケーション層 (ASCS/ERS、SAP アプリケーションサーバー) では、両方のプロトコルがサポートされています。

ASCS を設定する

次に、SAP ASCS と ERS のインスタンスを準備してインストールします。

Pacemaker クラスターの作成

「Azure の SUSE Linux Enterprise Server に Pacemaker をセットアップする」の手順に従って、この SAP ASCS に対して基本的な Pacemaker クラスターを作成します。

インストールの準備

以下の項目には、次のいずれかのプレフィックスが付いています:

[A]: すべてのノードに当てはまります。
[1]: ノード 1 にのみ当てはまります。
[2]: ノード 2 にのみ当てはまります。

[A] 最新バージョンの SUSE コネクタをインストールします。
```
sudo zypper install sap-suse-cluster-connector
```
[A]sapstartsrv リソースエージェントをインストールします。
```
sudo zypper install sapstartsrv-resource-agents
```
[A] SAP リソースエージェントを更新します。

この記事で説明する構成を使用するには、リソースエージェントパッケージの修正プログラムが必要です。この修正プログラムが既にインストールされているかどうかを確認するには、次のコマンドを使用します。
```
sudo grep 'parameter name="IS_ERS"' /usr/lib/ocf/resource.d/heartbeat/SAPInstance
```
出力は次の例のようになります。
```
<parameter name="IS_ERS" unique="0" required="0">;
```
grep コマンドで IS_ERS パラメーターが見つからない場合は、SUSE ダウンロードページに記載されている修正プログラムをインストールする必要があります。

重要

2021 年 11 月からは、少なくとも sapstartsrv-resource-agents バージョン 0.91 と resource-agents 4.x をインストールする必要があります。
[A] ホスト名解決を設定します。

DNS サーバーを使用するか、すべてのノードで /etc/hosts を変更できます。この例では、/etc/hosts ファイルを使用する方法を示します。
```
sudo vi /etc/hosts
```
/etc/hosts に次の行を挿入します。お使いの環境に合わせて IP アドレスとホスト名を変更します。
```
 # IP address of cluster node 1
 10.27.0.6    sap-cl1
 # IP address of cluster node 2
 10.27.0.7     sap-cl2
 # IP address of the load balancer's front-end configuration for SAP NetWeaver ASCS
 10.27.0.9   sapascs
 # IP address of the load balancer's front-end configuration for SAP NetWeaver ERS
 10.27.0.10    sapers
```

[A] スワップファイルを構成します。

sudo vi /etc/waagent.conf

# Check if the ResourceDisk.Format property is already set to y, and if not, set it.
ResourceDisk.Format=y

# Set the ResourceDisk.EnableSwap property to y.
# Create and use the SWAP file on the resource disk.
ResourceDisk.EnableSwap=y

# Set the size of the SWAP file with the ResourceDisk.SwapSizeMB property.
# The free space of resource disk varies by virtual machine size. Don't set a value that's too big. You can check the SWAP space by using the swapon command.
ResourceDisk.SwapSizeMB=2000

エージェントを再起動して変更をアクティブにします。

sudo service waagent restart

Azure Files で NFS を使用している場合に SAP ディレクトリを準備する

[1] NFS 共有に SAP ディレクトリを作成します。

NFS 共有 sapnw1 をいずれかの VM に一時的にマウントし、入れ子になったマウントポイントとして使用される SAP ディレクトリを作成します。

# Temporarily mount the volume.
sudo mkdir -p /saptmp
sudo mount -t nfs sapnfsafs.file.core.windows.net:/sapnfsafs/sapnw1 /saptmp -o noresvport,vers=4,minorversion=1,sec=sys
# Create the SAP directories.
sudo cd /saptmp
sudo mkdir -p sapmntNW1
sudo mkdir -p usrsapNW1
# Unmount the volume and delete the temporary directory.
cd ..
sudo umount /saptmp
sudo rmdir /saptmp

[A] 共有ディレクトリを作成します。

sudo mkdir -p /sapmnt/NW1
sudo mkdir -p /usr/sap/NW1
sudo mkdir -p /usr/sap/trans

sudo chattr +i /sapmnt/NW1
sudo chattr +i /usr/sap/NW1
sudo chattr +i /usr/sap/trans

[A] ファイルシステムをマウントします。

シンプルなマウントの構成では、ファイルシステムが Pacemaker クラスターによって制御されません。

echo "sapnfsafs.file.core.windows.net:/sapnfsafs/sapnw1/sapmntNW1 /sapmnt/NW1 nfs noresvport,vers=4,minorversion=1,sec=sys  0  0" >> /etc/fstab
echo "sapnfsafs.file.core.windows.net:/sapnfsafs/sapnw1/usrsapNW1/ /usr/sap/NW1 nfs noresvport,vers=4,minorversion=1,sec=sys  0  0" >> /etc/fstab
echo "sapnfsafs.file.core.windows.net:/sapnfsafs/saptrans /usr/sap/trans nfs noresvport,vers=4,minorversion=1,sec=sys  0  0" >> /etc/fstab   
# Mount the file systems.
mount -a

Azure NetApp Files で NFS を使用している場合に SAP ディレクトリを準備する

このセクションの手順は、NFSv4.1 プロトコルで Azure NetApp Files ボリュームを使用している場合にのみ適用されます。 Azure NetApp Files NFSv4.1 ボリュームがマウントされるすべての VM で構成を実行します。

[A] ID マッピングを無効にします。
1. NFS ドメイン設定を確認します。ドメインが既定の Azure NetApp Files ドメイン (defaultv4iddomain.com) として設定されていることを確認します。また、マッピングが nobody に設定されていることも確認します。
```
sudo cat /etc/idmapd.conf
# Examplepython-azure-mgmt-compute
[General]
Verbosity = 0
Pipefs-Directory = /var/lib/nfs/rpc_pipefs
Domain = defaultv4iddomain.com
[Mapping]
Nobody-User = nobody
Nobody-Group = nobody
```
2. nfs4_disable_idmapping を確認します。これは Y に設定する必要があります。
  
  nfs4_disable_idmapping が配置されるディレクトリ構造を作成するには、mount コマンドを実行します。アクセスがカーネルとドライバー用に予約されるため、/sys/modules の下に手動でディレクトリを作成できなくなります。
```
# Check nfs4_disable_idmapping. 
cat /sys/module/nfs/parameters/nfs4_disable_idmapping
# If you need to set nfs4_disable_idmapping to Y:
mkdir /mnt/tmp
mount 10.27.1.5:/sapnw1 /mnt/tmp
umount  /mnt/tmp
echo "Y" > /sys/module/nfs/parameters/nfs4_disable_idmapping
# Make the configuration permanent.
echo "options nfs nfs4_disable_idmapping=Y" >> /etc/modprobe.d/nfs.conf
```

[1]: いずれかの VM で Azure NetApp Files ボリュームを一時的にマウントし、SAP ディレクトリ (ファイルパス) を作成します。

# Temporarily mount the volume.
sudo mkdir -p /saptmp
# If you're using NFSv3:
sudo mount -t nfs -o rw,hard,rsize=65536,wsize=65536,nfsvers=3,tcp 10.27.1.5:/sapnw1 /saptmp
# If you're using NFSv4.1:
sudo mount -t nfs -o rw,hard,rsize=65536,wsize=65536,nfsvers=4.1,sec=sys,tcp 10.27.1.5:/sapnw1 /saptmp
# Create the SAP directories.
sudo cd /saptmp
sudo mkdir -p sapmntNW1
sudo mkdir -p usrsapNW1
# Unmount the volume and delete the temporary directory.
sudo cd ..
sudo umount /saptmp
sudo rmdir /saptmp

[A] 共有ディレクトリを作成します。

sudo mkdir -p /sapmnt/NW1
sudo mkdir -p /usr/sap/NW1
sudo mkdir -p /usr/sap/trans

sudo chattr +i /sapmnt/NW1
sudo chattr +i /usr/sap/NW1
sudo chattr +i /usr/sap/trans

[A] ファイルシステムをマウントします。

シンプルなマウントの構成では、ファイルシステムが Pacemaker クラスターによって制御されません。

# If you're using NFSv3:
echo "10.27.1.5:/sapnw1/sapmntNW1 /sapmnt/NW1 nfs nfsvers=3,hard 0 0" >> /etc/fstab
echo "10.27.1.5:/sapnw1/usrsapNW1 /usr/sap/NW1 nfs nfsvers=3,hard 0 0" >> /etc/fstab
echo "10.27.1.5:/saptrans /usr/sap/trans nfs nfsvers=3,hard 0 0" >> /etc/fstab
# If you're using NFSv4.1:
echo "10.27.1.5:/sapnw1/sapmntNW1 /sapmnt/NW1 nfs nfsvers=4.1,sec=sys,hard 0 0" >> /etc/fstab
echo "10.27.1.5:/sapnw1/usrsapNW1 /usr/sap/NW1 nfs nfsvers=4.1,sec=sys,hard 0 0" >> /etc/fstab
echo "10.27.1.5:/saptrans /usr/sap/trans nfs nfsvers=4.1,sec=sys,hard 0 0" >> /etc/fstab
# Mount the file systems.
mount -a

SAP NetWeaver ASCS と ERS をインストールする

[1] ASCS インスタンス用の仮想 IP リソースと正常性プローブを作成します。

重要

azure-lb リソースエージェントの使用をお勧めします。これは、resource-agents-4.3.0184.6ee15eb2-4.13.1 以上のバージョンで resource-agents パッケージに含まれています。

sudo crm node standby sap-cl2   
sudo crm configure primitive vip_NW1_ASCS IPaddr2 \
  params ip=10.27.0.9 \
  op monitor interval=10 timeout=20

sudo crm configure primitive nc_NW1_ASCS azure-lb port=62000 \
  op monitor timeout=20s interval=10

sudo crm configure group g-NW1_ASCS nc_NW1_ASCS vip_NW1_ASCS \
  meta resource-stickiness=3000

クラスターの状態が正常であることと、すべてのリソースが起動されていることを確認します。リソースがどのノードで実行されているかは重要ではありません。

sudo crm_mon -r
# Node sap-cl2: standby
# Online: [ sap-cl1 ]
#
# Full list of resources:
#
# stonith-sbd     (stonith:external/sbd): Started sap-cl1
# Resource Group: g-NW1_ASCS
#  nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started sap-cl1
#  vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started sap-cl1

[1] 最初のノードに SAP NetWeaver ASCS をルートとしてインストールします。

ASCS のロードバランサーのフロントエンド構成の IP アドレスに対応する仮想ホスト名 (sapascs、10.27.0.9 など) と、ロードバランサーのプローブに使用したインスタンス番号 (00 など) を使用します。

sapinst パラメーター SAPINST_REMOTE_ACCESS_USER を使用すると、ルート以外のユーザーが sapinst に接続することを許可できます。仮想ホスト名を使用して SAP をインストールするには、SAPINST_USE_HOSTNAME パラメーターを使用します。
```
sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=<virtual_hostname>
```
インストールで /usr/sap/NW1/ASCS00 へのサブフォルダーの作成に失敗する場合は、ASCS00 フォルダーの所有者とグループを設定し、もう一度試してください。
```
chown nw1adm /usr/sap/NW1/ASCS00
chgrp sapsys /usr/sap/NW1/ASCS00
```

[1] ERS インスタンス用の仮想 IP リソースと正常性プローブを作成します。

sudo crm node online sap-cl2
sudo crm node standby sap-cl1

sudo crm configure primitive vip_NW1_ERS IPaddr2 \
  params ip=10.27.0.10 \
  op monitor interval=10 timeout=20

sudo crm configure primitive nc_NW1_ERS azure-lb port=62101 \
  op monitor timeout=20s interval=10

sudo crm configure group g-NW1_ERS nc_NW1_ERS vip_NW1_ERS

sudo crm_mon -r

# Node sap-cl1: standby
# Online: [ sap-cl2 ]
# 
# Full list of resources:
#
# stonith-sbd     (stonith:external/sbd): Started sap-cl2
#  Resource Group: g-NW1_ASCS
#      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started sap-cl2
#      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started sap-cl2
#  Resource Group: g-NW1_ERS
#      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started sap-cl2
#      vip_NW1_ERS  (ocf::heartbeat:IPaddr2):     Started sap-cl2

[2] SAP NetWeaver ERS をルートとして 2 番目のノードにインストールします。

ERS のロードバランサーのフロントエンド構成の IP アドレスに対応する仮想ホスト名 (sapers、10.27.0.10 など) と、ロードバランサーのプローブに使用したインスタンス番号 (01 など) を使用します。

SAPINST_REMOTE_ACCESS_USER パラメーターを使用すると、ルート以外のユーザーが sapinst に接続することを許可できます。仮想ホスト名を使用して SAP をインストールするには、SAPINST_USE_HOSTNAME パラメーターを使用します。
```
<swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
```
注意

SWPM SP 20 PL 05 以降を使用します。それより前のバージョンではアクセス許可が正しく設定されないため、インストールが失敗します。

インストールで /usr/sap/NW1/ERS01 へのサブフォルダーの作成に失敗する場合は、ERS01 フォルダーの所有者とグループを設定し、もう一度試してください。
```
chown nw1adm /usr/sap/NW1/ERS01
chgrp sapsys /usr/sap/NW1/ERS01
```

[1] ASCS インスタンスプロファイルを調整します。

sudo vi /sapmnt/NW1/profile/NW1_ASCS00_sapascs

# Change the restart command to a start command.
# Restart_Program_01 = local $(_EN) pf=$(_PF).
Start_Program_01 = local $(_EN) pf=$(_PF)

# Add the following lines.
service/halib = $(DIR_CT_RUN)/saphascriptco.so
service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector

# Add the keepalive parameter, if you're using ENSA1.
enque/encni/set_so_keepalive = true

Standalone Enqueue Server 1 および 2 (ENSA1 および ENSA2) の場合は、keepalive OS パラメーターが SAP Note 1410736 の説明に従って設定されていることを確認します。

次に、ERS インスタンスプロファイルを調整します。

sudo vi /sapmnt/NW1/profile/NW1_ERS01_sapers

# Change the restart command to a start command.
# Restart_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID).
Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)

# Add the following lines.
service/halib = $(DIR_CT_RUN)/saphascriptco.so
service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector

# Remove Autostart from the ERS profile.
# Autostart = 1

[A]keepalive を構成します。

SAP NetWeaver アプリケーションサーバーと ASCS の間の通信は、ソフトウェアロードバランサーを介してルーティングされます。ロードバランサーは、構成可能なタイムアウト後に非アクティブな接続を切断します。

この切断が起こらないようにするには、SAP NetWeaver ASCS プロファイルにパラメーターを設定する必要があります (ENSA1 を使用する場合)。 ENSA1 と ENSA2 の両方について、すべての SAP サーバーの Linux システムの keepalive 設定を変更します。詳細については、SAP Note 1410736 を参照してください。
```
# Change the Linux system configuration.
sudo sysctl net.ipv4.tcp_keepalive_time=300
```

[A] インストール後に SAP ユーザーを構成します。

# Add sidadm to the haclient group.
sudo usermod -aG haclient nw1adm

[1]sapservice ファイルに ASCS および ERS SAP サービスを追加します。

ASCS サービスエントリを 2 番目のノードに追加し、ERS サービスエントリを最初のノードにコピーします。
```
cat /usr/sap/sapservices | grep ASCS00 | sudo ssh sap-cl2 "cat >>/usr/sap/sapservices"
sudo ssh sap-cl2 "cat /usr/sap/sapservices" | grep ERS01 | sudo tee -a /usr/sap/sapservices
```
[A]sapping と sappong を有効にします。 sapping エージェントは、/usr/sap/sapservices ファイルを非表示にする場合に sapinit の前に実行されます。 sappong エージェントは、VM の起動時に sapservices ファイルを再表示する場合に sapinit の後に実行されます。 SAPStartSrv は、Pacemaker クラスターによって管理されるので、起動時に SAP インスタンスに対して自動的に開始されません。
```
sudo systemctl enable sapping
sudo systemctl enable sappong
```

[1] SAP クラスターリソースを作成します。

ENSA1 システムと ENSA2 システムのどちらを実行しているかに応じて、それぞれのタブを選択してリソースを定義します。 SAP では、SAP NetWeaver 7.52 で、レプリケーションを含む ENSA2 のサポートを導入しました。 ABAP Platform 1809 以降では、ENSA2 が既定でインストールされます。 ENSA2 のサポートについては、SAP Note 2630416 を参照してください。

ENSA1
ENSA2

sudo crm configure property maintenance-mode="true"

sudo crm configure primitive rsc_sapstartsrv_NW1_ASCS00 ocf:suse:SAPStartSrv \
 params InstanceName=NW1_ASCS00_sapascs

sudo crm configure primitive rsc_sapstartsrv_NW1_ERS01 ocf:suse:SAPStartSrv \
 params InstanceName=NW1_ERS01_sapers

# If you're using NFS on Azure Files or NFSv3 on Azure NetApp Files:
sudo crm configure primitive rsc_sap_NW1_ASCS00 SAPInstance \
 op monitor interval=11 timeout=60 on-fail=restart \
 params InstanceName=NW1_ASCS00_sapascs START_PROFILE="/sapmnt/NW1/profile/NW1_ASCS00_sapascs" \
 AUTOMATIC_RECOVER=false MINIMAL_PROBE=true \
 meta resource-stickiness=5000 failure-timeout=60 migration-threshold=1 priority=10

# If you're using NFS on Azure Files or NFSv3 on Azure NetApp Files:
sudo crm configure primitive rsc_sap_NW1_ERS01 SAPInstance \
 op monitor interval=11 timeout=60 on-fail=restart \
 params InstanceName=NW1_ERS01_sapers START_PROFILE="/sapmnt/NW1/profile/NW1_ERS01_sapers" \
 AUTOMATIC_RECOVER=false IS_ERS=true MINIMAL_PROBE=true \
 meta priority=1000

# If you're using NFSv4.1 on Azure NetApp Files:
sudo crm configure primitive rsc_sap_NW1_ASCS00 SAPInstance \
 op monitor interval=11 timeout=105 on-fail=restart \
 params InstanceName=NW1_ASCS00_sapascs START_PROFILE="/sapmnt/NW1/profile/NW1_ASCS00_sapascs" \
 AUTOMATIC_RECOVER=false MINIMAL_PROBE=true \
 meta resource-stickiness=5000 failure-timeout=60 migration-threshold=1 priority=10

# If you're using NFSv4.1 on Azure NetApp Files:
sudo crm configure primitive rsc_sap_NW1_ERS01 SAPInstance \
 op monitor interval=11 timeout=105 on-fail=restart \
 params InstanceName=NW1_ERS01_sapers START_PROFILE="/sapmnt/NW1/profile/NW1_ERS01_sapers" \
 AUTOMATIC_RECOVER=false IS_ERS=true MINIMAL_PROBE=true \
 meta priority=1000

sudo crm configure modgroup g-NW1_ASCS add rsc_sapstartsrv_NW1_ASCS00
sudo crm configure modgroup g-NW1_ASCS add rsc_sap_NW1_ASCS00
sudo crm configure modgroup g-NW1_ERS add rsc_sapstartsrv_NW1_ERS01
sudo crm configure modgroup g-NW1_ERS add rsc_sap_NW1_ERS01

sudo crm configure colocation col_sap_NW1_no_both -5000: g-NW1_ERS g-NW1_ASCS
sudo crm configure location loc_sap_NW1_failover_to_ers rsc_sap_NW1_ASCS00 rule 2000: runs_ers_NW1 eq 1
sudo crm configure order ord_sap_NW1_first_start_ascs Optional: rsc_sap_NW1_ASCS00:start rsc_sap_NW1_ERS01:stop symmetrical=false

sudo crm_attribute --delete --name priority-fencing-delay

sudo crm node online sap-cl1
sudo crm configure property maintenance-mode="false"

Note

ENSA2 を実行している 2 ノードクラスターがある場合は、priority-fencing-delay クラスタープロパティを構成するオプションがあります。このプロパティを使用すると、スプリットブレインシナリオが発生したときに、リソースの優先度の合計が高いノードをフェンスする際に、さらに遅延が発生するようになります。詳細については、SUSE Linux Enteprise Server の High Availability Extension 管理ガイドを参照してください。

priority-fencing-delay プロパティは、2 ノードクラスターで実行されている ENSA2 にのみ適用されます。詳細については、シンプルなマウントを使用したエンキューレプリケーション 2 高可用性クラスターに関するページを参照してください。

sudo crm configure property maintenance-mode="true"

sudo crm configure property priority-fencing-delay=30

sudo crm configure primitive rsc_sapstartsrv_NW1_ASCS00 ocf:suse:SAPStartSrv \
 params InstanceName=NW1_ASCS00_sapascs

sudo crm configure primitive rsc_sapstartsrv_NW1_ERS01 ocf:suse:SAPStartSrv \
 params InstanceName=NW1_ERS01_sapers

# If you're using NFS on Azure Files or NFSv3 on Azure NetApp Files:
sudo crm configure primitive rsc_sap_NW1_ASCS00 SAPInstance \
 op monitor interval=11 timeout=60 on-fail=restart \
 params InstanceName=NW1_ASCS00_sapascs START_PROFILE="/sapmnt/NW1/profile/NW1_ASCS00_sapascs" \
 AUTOMATIC_RECOVER=false MINIMAL_PROBE=true \
 meta resource-stickiness=5000 priority=100

# If you're using NFS on Azure Files or NFSv3 on Azure NetApp Files:   
sudo crm configure primitive rsc_sap_NW1_ERS01 SAPInstance \
 op monitor interval=11 timeout=60 on-fail=restart \
 params InstanceName=NW1_ERS01_sapers START_PROFILE="/sapmnt/NW1/profile/NW1_ERS01_sapers" \
 AUTOMATIC_RECOVER=false IS_ERS=true MINIMAL_PROBE=true

# If you're using NFSv4.1 on Azure NetApp Files:
sudo crm configure primitive rsc_sap_NW1_ASCS00 SAPInstance \
 op monitor interval=11 timeout=105 on-fail=restart \
 params InstanceName=NW1_ASCS00_sapascs START_PROFILE="/sapmnt/NW1/profile/NW1_ASCS00_sapascs" \
 AUTOMATIC_RECOVER=false MINIMAL_PROBE=true \
 meta resource-stickiness=5000 priority=100

# If you're using NFSv4.1 on Azure NetApp Files:   
sudo crm configure primitive rsc_sap_NW1_ERS01 SAPInstance \
 op monitor interval=11 timeout=105 on-fail=restart \
 params InstanceName=NW1_ERS01_sapers START_PROFILE="/sapmnt/NW1/profile/NW1_ERS01_sapers" \
 AUTOMATIC_RECOVER=false IS_ERS=true MINIMAL_PROBE=true

sudo crm configure modgroup g-NW1_ASCS add rsc_sapstartsrv_NW1_ASCS00
sudo crm configure modgroup g-NW1_ASCS add rsc_sap_NW1_ASCS00
sudo crm configure modgroup g-NW1_ERS add rsc_sapstartsrv_NW1_ERS01
sudo crm configure modgroup g-NW1_ERS add rsc_sap_NW1_ERS01

sudo crm configure colocation col_sap_NW1_no_both -5000: g-NW1_ERS g-NW1_ASCS
sudo crm configure order ord_sap_NW1_first_start_ascs Optional: rsc_sap_NW1_ASCS00:start rsc_sap_NW1_ERS01:stop symmetrical=false

sudo crm node online sap-cl1
sudo crm configure property maintenance-mode="false"

以前のバージョンからアップグレードし、ENSA2 に切り替えている場合は、SAP Note 2641019 を参照してください。

sudo crm_mon -r
# Full list of resources:
# 
# stonith-sbd     (stonith:external/sbd): Started sap-cl2
#  Resource Group: g-NW1_ASCS
#      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started sap-cl1
#      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started sap-cl1
#      rsc_sapstartsrv_NW1_ASCS00 (ocf::suse:SAPStartSrv):        Started sap-cl1
#      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started sap-cl1
#  Resource Group: g-NW1_ERS
#      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started sap-cl2
#      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started sap-cl2
#      rsc_sapstartsrv_NW1_ERS01  (ocf::suse:SAPStartSrv):        Started sap-cl2
#      rsc_sap_NW1_ERS01  (ocf::heartbeat:SAPInstance):   Started sap-cl1

SAP アプリケーションサーバーを準備する

一部のデータベースでは、データベースのインストールをアプリケーションサーバーで実行する必要があります。データベースのインストールを実行できるように、アプリケーションサーバーの VM を準備します。

次の一般的な手順では、ASCS および HANA サーバーとは別のサーバーにアプリケーションサーバーをインストールすることを前提としています。

ホスト名解決を設定します。

DNS サーバーを使用するか、すべてのノードで /etc/hosts を変更できます。この例では、/etc/hosts ファイルを使用する方法を示します。
```
sudo vi /etc/hosts
```
/etc/hosts に次の行を挿入します。お使いの環境に合わせて IP アドレスとホスト名を変更します。
```
10.27.0.6   sap-cl1
10.27.0.7   sap-cl2
# IP address of the load balancer's front-end configuration for SAP NetWeaver ASCS
10.27.0.9   sapascs
# IP address of the load balancer's front-end configuration for SAP NetWeaver ERS
10.27.0.10  sapers
10.27.0.8   sapa01
10.27.0.12  sapa02
```

スワップファイルを構成します。

sudo vi /etc/waagent.conf

# Set the ResourceDisk.EnableSwap property to y.
# Create and use the SWAP file on the resource disk.
ResourceDisk.EnableSwap=y

# Set the size of the SWAP file by using the ResourceDisk.SwapSizeMB property.
# The free space of the resource disk varies by virtual machine size. Don't set a value that's too big. You can check the SWAP space by using the swapon command.
ResourceDisk.SwapSizeMB=2000

エージェントを再起動して変更をアクティブにします。

sudo service waagent restart

SAP ディレクトリの準備

Azure Files 上で NFS を使用している場合は、次の手順に従って SAP アプリケーションサーバー VM で SAP ディレクトリを準備します。

マウントポイントを作成します。

sudo mkdir -p /sapmnt/NW1
sudo mkdir -p /usr/sap/trans

sudo chattr +i /sapmnt/NW1
sudo chattr +i /usr/sap/trans

ファイルシステムをマウントします。

echo "sapnfsafs.file.core.windows.net:/sapnfsafs/sapnw1/sapmntNW1 /sapmnt/NW1  nfs noresvport,vers=4,minorversion=1,sec=sys  0  0" >> /etc/fstab
echo "sapnfsafs.file.core.windows.net:/sapnfsafs/saptrans /usr/sap/trans  nfs noresvport,vers=4,minorversion=1,sec=sys  0  0" >> /etc/fstab   
# Mount the file systems.
mount -a

Azure NetApp Files 上で NFS を使用している場合は、次の手順に従って SAP アプリケーションサーバー VM で SAP ディレクトリを準備します。

マウントポイントを作成します。

sudo mkdir -p /sapmnt/NW1
sudo mkdir -p /usr/sap/trans

sudo chattr +i /sapmnt/NW1
sudo chattr +i /usr/sap/trans

ファイルシステムをマウントします。

# If you're using NFSv3:
echo "10.27.1.5:/sapnw1/sapmntNW1 /sapmnt/NW1 nfs nfsvers=3,hard 0 0" >> /etc/fstab
echo "10.27.1.5:/saptrans /usr/sap/trans nfs nfsvers=3, hard 0 0" >> /etc/fstab
# If you're using NFSv4.1:
echo "10.27.1.5:/sapnw1/sapmntNW1 /sapmnt/NW1 nfs nfsvers=4.1,sec=sys,hard 0 0" >> /etc/fstab    
echo "10.27.1.5:/saptrans /usr/sap/trans nfs nfsvers=4.1,sec=sys,hard 0 0" >> /etc/fstab
# Mount the file systems.
mount -a

データベースをインストールする

この例では、SAP HANA に SAP NetWeaver がインストールされます。このインストールではサポートされている任意のデータベースを使用できます。 Azure で SAP HANA をインストールする方法の詳細については、Azure 仮想マシンでの SAP HANA の高可用性に関するページを参照してください。サポートされているデータベースの一覧については、SAP Note 1928533 を参照してください。

ルートとして SAP NetWeaver データベースインスタンスをインストールします。その際、データベースのロードバランサーフロントエンド構成の IP アドレスに対応する仮想ホスト名を使用します。 SAPINST_REMOTE_ACCESS_USER パラメーターを使用すると、ルート以外のユーザーが sapinst に接続することを許可できます。

sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin

SAP NetWeaver アプリケーションサーバーをインストールする

次の手順に従って、SAP アプリケーションサーバーをインストールします。

[A] アプリケーションサーバーを準備します。

「SAP NetWeaver アプリケーションサーバーの準備」の手順に従います。
[A] プライマリまたは追加の SAP NetWeaver アプリケーションサーバーをインストールします。

SAPINST_REMOTE_ACCESS_USER パラメーターを使用すると、ルート以外のユーザーが sapinst に接続することを許可できます。
```
sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin
```
[A] SAP HANA システムレプリケーションセットアップの仮想名を指すように SAP HANA Secure Store を更新します。

次のコマンドを実行して、エントリを一覧表示します。
```
hdbuserstore List
```
このコマンドによってすべてのエントリが一覧表示され、次の例のようになります。
```
DATA FILE       : /home/nw1adm/.hdb/sapa01/SSFS_HDB.DAT
KEY FILE        : /home/nw1adm/.hdb/sapa01/SSFS_HDB.KEY

KEY DEFAULT 
  ENV : 10.27.0.4:30313
  USER: SAPABAP1
  DATABASE: NW1
```
この例では、既定のエントリの IP アドレスは、ロードバランサーではなく VM を指しています。ロードバランサーの仮想ホスト名を指すようにエントリを変更します。必ず同じポートとデータベース名を使用してください。たとえば、サンプル出力の 30313 と NW1 を使用します。
```
su - nw1adm
hdbuserstore SET DEFAULT nw1db:30313@NW1 SAPABAP1 <password of ABAP schema>
```

クラスターのセットアップをテストする

Pacemaker クラスターを十分にテストします。一般的なフェールオーバーテストを実行します。

SLES for SAP Applications VM 上でのシンプルなマウントと NFS を使用した高可用性 SAP NetWeaver

前提条件

概要

インフラストラクチャの準備

Azure portal 経由での手動による Linux VM のデプロイ

Azure Load Balancer の構成

NFS の展開

Azure Files ストレージアカウントと NFS 共有のデプロイ

Azure Files 共有上の NFS に関する重要な考慮事項

Azure NetApp Files リソースのデプロイ

Azure NetApp Files 上の NFS に関する重要な考慮事項

ASCS を設定する

Pacemaker クラスターの作成

インストールの準備

Azure Files で NFS を使用している場合に SAP ディレクトリを準備する

Azure NetApp Files で NFS を使用している場合に SAP ディレクトリを準備する

SAP NetWeaver ASCS と ERS をインストールする

SAP アプリケーションサーバーを準備する

SAP ディレクトリの準備

データベースをインストールする

SAP NetWeaver アプリケーションサーバーをインストールする

クラスターのセットアップをテストする

次のステップ

その他のリソース

SLES for SAP Applications VM 上でのシンプルなマウントと NFS を使用した高可用性 SAP NetWeaver

前提条件

概要

インフラストラクチャの準備

Azure portal 経由での手動による Linux VM のデプロイ

Azure Load Balancer の構成

NFS の展開

Azure Files ストレージ アカウントと NFS 共有のデプロイ

Azure Files 共有上の NFS に関する重要な考慮事項

Azure NetApp Files リソースのデプロイ

Azure NetApp Files 上の NFS に関する重要な考慮事項

ASCS を設定する

Pacemaker クラスターの作成

インストールの準備

Azure Files で NFS を使用している場合に SAP ディレクトリを準備する

Azure NetApp Files で NFS を使用している場合に SAP ディレクトリを準備する

SAP NetWeaver ASCS と ERS をインストールする

SAP アプリケーション サーバーを準備する

SAP ディレクトリの準備

データベースをインストールする

SAP NetWeaver アプリケーション サーバーをインストールする

クラスターのセットアップをテストする

次のステップ

その他のリソース

Azure Files ストレージアカウントと NFS 共有のデプロイ

SAP アプリケーションサーバーを準備する

SAP NetWeaver アプリケーションサーバーをインストールする