Ketersediaan tinggi untuk SAP NetWeaver pada Azure VM di SUSE Linux Enterprise Server dengan NFS di Azure Files

Artikel ini menjelaskan cara menyebarkan dan mengonfigurasi mesin virtual, menginstal kerangka kerja kluster, dan menginstal sistem SAP NetWeaver ketersediaan tinggi, menggunakan NFS di Azure Files. Contoh konfigurasi menggunakan VM yang berjalan di SUSE Linux Enterprise Server (SLES).

Untuk implementasi baru pada SLES untuk Aplikasi SAP 15, sebaiknya sebarkan ketersediaan tinggi untuk SAP ASCS/ERS dalam konfigurasi pemasangan sederhana. Konfigurasi Pacemaker klasik, berdasarkan sistem file yang dikontrol kluster untuk direktori layanan pusat SAP, yang dijelaskan dalam artikel ini masih didukung.

Prasyarat

• Dokumentasi Azure Files.
• 1928533 Catatan SAP, yang memiliki:
  • Daftar ukuran mesin virtual Azure yang didukung untuk penyebaran perangkat lunak SAP.
  • Informasi kapasitas penting untuk ukuran komputer virtual Azure.
  • Perangkat lunak SAP yang didukung, sistem operasi (OS), serta kombinasi database.
  • Versi kernel SAP yang dibutuhkan untuk Windows dan Linux di Microsoft Azure.
• Catatan SAP 2015553 mencantumkan prasyarat untuk penyebaran perangkat lunak SAP yang didukung SAP di Azure.
• Catatan SAP 2205917 telah menyarankan pengaturan OS untuk SUSE Linux Enterprise Server untuk Aplikasi SAP.
• Catatan SAP 2178632 memiliki informasi rinci tentang semua metrik pemantauan yang dilaporkan untuk SAP pada Azure.
• SAP Note 2191498 memiliki versi Agen Host SAP yang diperlukan untuk Linux di Azure.
• Catatan SAP 2243692 memiliki informasi tentang lisensi SAP di Linux pada Azure.
• Catatan SAP 1984787 memiliki informasi umum tentang SUSE Linux Enterprise Server 12.
• Catatan SAP 2578899 memiliki informasi umum tentang SUSE Linux Enterprise Server 15
• Catatan SAP 1999351 memiliki informasi pemecahan masalah tambahan untuk Azure Enhanced Monitoring Extension untuk SAP.
• SAP Community WIKI memiliki semua SAP Note yang diperlukan untuk Linux.
• Perencanaan dan penerapan Microsoft Azure Virtual Machines untuk SAP di Linux.
• Penyebaran Microsoft Azure Virtual Machines untuk SAP pada Linux.
• Penyebaran DBMS Microsoft Azure Virtual Machines untuk SAP di Linux.
• Panduan Praktik Terbaik SUSE SAP HA. Panduan ini berisi semua informasi yang diperlukan untuk menyiapkan Netweaver HA dan Replikasi Sistem SAP Hana lokal. Gunakan panduan ini sebagai garis dasar umum. Mereka memberikan informasi yang jauh lebih rinci.
• Catatan Rilis Ekstensi Ketersediaan Tinggi SUSE.

Gambaran Umum

Untuk menyebarkan lapisan aplikasi SAP NetWeaver, Anda memerlukan direktori bersama seperti /sapmnt/SID dan /usr/sap/trans di lingkungan. Selain itu, saat menyebarkan sistem SAP ketersediaan tinggi, Anda perlu melindungi dan membuat sistem file yang sangat tersedia seperti /sapmnt/SID dan /usr/sap/SID/ASCS.

Sekarang Anda dapat menempatkan sistem file ini di NFS pada Azure Files. NFS di Azure Files adalah solusi penyimpanan ketersediaan tinggi. Solusi ini menawarkan Penyimpanan zona redundan (ZRS) sinkron dan cocok untuk instans SAP ASCS/ERS yang disebarkan di seluruh Zona Ketersediaan. Anda masih memerlukan kluster Pacemaker untuk melindungi satu titik komponen kegagalan seperti layanan pusat SAP Netweaver (ASCS/SCS).

Contoh konfigurasi dan perintah instalasi menggunakan nomor instans berikut:

Nama Instans	Nomor instans
ABAP SAP Central Services (ASCS)	00
ERS	01
Server Aplikasi Utama (PAS)	02
Server Aplikasi Tambahan (AAS)	03
Pengidentifikasi sistem SAP	NW1

Diagram ini menunjukkan arsitektur ketersediaan tinggi SAP Netweaver yang khas. Sistem file "sapmnt" dan "saptrans" digunakan pada pembagian NFS di Azure Files. Layanan pusat SAP dilindungi oleh kluster Pacemaker. VM berkluster berada di belakang Azure Load Balancer. Berbagi NFS dipasang melalui titik akhir privat.

Siapkan infrastruktur

Agen sumber daya untuk Instans SAP disertakan dalam SUSE Linux Enterprise Server untuk Aplikasi SAP. Gambar untuk SUSE Linux Enterprise Server untuk Aplikasi SAP 12 atau 15 tersedia di Marketplace Azure. Anda dapat menggunakan gambar untuk menyebarkan VM baru.

Sebarkan Linux VM secara manual melalui portal Azure

Dokumen ini mengasumsikan bahwa Anda telah menyebarkan grup sumber daya, Azure Virtual Network, dan subnet.

Sebarkan komputer virtual dengan SLES untuk gambar Aplikasi SAP. Pilih versi gambar SLES yang sesuai yang didukung untuk sistem SAP. Anda dapat menyebarkan VM di salah satu opsi ketersediaan - set skala komputer virtual, zona ketersediaan, atau set ketersediaan.

Mengonfigurasi load balancer Azure

Selama konfigurasi VM, Anda memiliki opsi untuk membuat atau memilih keluar dari load balancer di bagian jaringan. Ikuti langkah-langkah di bawah ini untuk mengonfigurasi load balancer standar untuk penyiapan ketersediaan tinggi SAP ASCS dan SAP ERS.

Portal Azure

Ikuti panduan buat load balancer untuk menyiapkan load balancer standar untuk sistem SAP ketersediaan tinggi menggunakan portal Azure. Selama penyiapan load balancer, pertimbangkan poin berikut.

1. Konfigurasi IP Frontend: Buat dua IP frontend, satu untuk ASCS dan satu lagi untuk ERS. Pilih jaringan virtual dan subnet yang sama dengan komputer virtual ASCS/ERS Anda.
2. Kumpulan Backend: Buat kumpulan backend dan tambahkan ASCS dan ERS VM.
3. Aturan masuk: Buat dua aturan penyeimbangan beban, satu untuk ASCS dan satu lagi untuk ERS. Ikuti langkah yang sama untuk kedua aturan penyeimbangan beban.
   • Alamat IP frontend: Pilih IP frontend
   • Kumpulan backend: Pilih kumpulan backend
   • Periksa "Port ketersediaan tinggi"
   • Protocol: TCP
   • Pemeriksaan Kesehatan: Buat pemeriksaan kesehatan dengan detail di bawah ini (berlaku untuk ASCS atau ERS)
     • Protocol: TCP
     • Port: [misalnya: 620<Instance-no.> untuk ASCS, 621<Instance-no.> untuk ERS]
     • Interval: 5
     • Ambang Probe: 2
   • Batas waktu diam (menit): 30
   • Periksa "Aktifkan IP Mengambang"

Catatan

Nomor properti konfigurasi pemeriksaan kesehatanOfProbes, atau dikenal sebagai "Ambang tidak sehat" di Portal, tidak dihormati. Jadi untuk mengontrol jumlah pemeriksaan berturut-turut yang berhasil atau gagal, atur properti "probeThreshold" ke 2. Saat ini tidak dimungkinkan untuk mengatur properti ini menggunakan portal Azure, jadi gunakan perintah Azure CLI atau PowerShell.

Azure CLI

Untuk membuat load balancer standar Azure untuk penyiapan ketersediaan tinggi sistem SAP menggunakan Azure CLI, ikuti langkah-langkah di bawah ini.

# Create the load balancer resource and another frontend IP resource for ERS. Allocation of private IP address is dynamic using below command. If you want to pass static IP address, include parameter --private-ip-address.
az network lb create -g MyResourceGroup -n MyLB --sku Standard --vnet-name MyVMsVirtualNetwork --subnet MyVMsSubnet --backend-pool-name MyBackendPool --frontend-ip-name MyASCSFrontendIpName
az network lb frontend-ip create -g MyResourceGroup --lb-name MyLB -n MyERSFrontendIpName --vnet-name MyVMsVirtualNetwork --subnet MyVMsSubnet

# Create the health probe for ASCS and ERS
az network lb probe create -g MyResourceGroup --lb-name MyLB -n MyASCSHealthProbe --protocol tcp --port MyASCSHealthProbePort --interval 5 --probe-threshold 2
az network lb probe create -g MyResourceGroup --lb-name MyLB -n MyERSHealthProbe --protocol tcp --port MyERSHealthProbePort --interval 5 --probe-threshold 2
 
# Create load balancing rule for ASCS and ERS
az network lb rule create -g MyResourceGroup --lb-name MyLB -n MyASCSRuleName --protocol All --frontend-ip-name MyASCSFrontendIpName --frontend-port 0 --backend-pool-name MyBackendPool --backend-port 0 --probe-name MyASCSHealthProbe --idle-timeout-in-minutes 30 --enable-floating-ip 
az network lb rule create -g MyResourceGroup --lb-name MyLB -n MyERSRuleName --protocol All --frontend-ip-name MyERSFrontendIpName --frontend-port 0 --backend-pool-name MyBackendPool --backend-port 0 --probe-name MyERSHealthProbe --idle-timeout-in-minutes 30 --enable-floating-ip  

# Add ASCS and ERS VMs in backend pool
az network nic ip-config address-pool add --address-pool MyBackendPool --ip-config-name ASCSVmIpConfigName --nic-name ASCSVmNicName -g MyResourceGroup --lb-name MyLB
az network nic ip-config address-pool add --address-pool MyBackendPool --ip-config-name ERSVmIpConfigName --nic-name ERSVmNicName -g MyResourceGroup --lb-name MyLB

Perluas untuk melihat kode CLI lengkap

# Define variables for Resource Group, ASCS/ERS VMs.

rg_name="resourcegroup-name"
vm1_name="ascs-vm-name"
vm2_name="ers-vm-name"

# Define variables for the load balancer that will be use in the creation of the load balancer resource.

lb_name="sap-ci-sid-ilb"
bkp_name="ascs-ers-backendpool"
ascs_fip_name="ascs-frontendip"
ers_fip_name="ers-frontendip"

ascs_hp_name="ascs-healthprobe"
ascs_hp_port="62000"
ers_hp_name="ers-healthprobe"
ers_hp_port="62101"

ascs_rule_name="ascs-lb-rule"
ers_rule_name="ers-lb-rule"
 
# Command to get VMs network information like primary NIC name, primary IP configuration name, virtual network name, and subnet name.
 
vm1_primary_nic=$(az vm nic list -g $rg_name --vm-name $vm1_name --query "[?primary == \`true\`].{id:id} || [?primary == \`null\`].{id:id}" -o tsv)
vm1_nic_name=$(basename $vm1_primary_nic)
vm1_ipconfig=$(az network nic ip-config list -g $rg_name --nic-name $vm1_nic_name --query "[?primary == \`true\`].name" -o tsv)
 
vm2_primary_nic=$(az vm nic list -g $rg_name --vm-name $vm2_name --query "[?primary == \`true\`].{id:id} || [?primary == \`null\`].{id:id}" -o tsv)
vm2_nic_name=$(basename $vm2_primary_nic)
vm2_ipconfig=$(az network nic ip-config list -g $rg_name --nic-name $vm2_nic_name --query "[?primary == \`true\`].name" -o tsv)
 
vnet_subnet_id=$(az network nic show -g $rg_name -n $vm1_nic_name --query ipConfigurations[0].subnet.id -o tsv)
vnet_name=$(basename $(dirname $(dirname $vnet_subnet_id)))
subnet_name=$(basename $vnet_subnet_id)
 
# Create the load balancer resource and another frontend IP resource for ERS.
# Allocation of private IP address is dynamic using below command. If you want to pass static IP address, include parameter --private-ip-address. 
  
az network lb create -g $rg_name -n $lb_name --sku Standard --vnet-name $vnet_name --subnet $subnet_name --backend-pool-name $bkp_name --frontend-ip-name $ascs_fip_name
az network lb frontend-ip create -g $rg_name --lb-name $lb_name -n $ers_fip_name --vnet-name $vnet_name --subnet $subnet_name
 
# Create the health probe for ASCS and ERS
 
az network lb probe create -g $rg_name --lb-name $lb_name -n $ascs_hp_name --protocol tcp --port $ascs_hp_port --interval 5 --probe-threshold 2
az network lb probe create -g $rg_name --lb-name $lb_name -n $ers_hp_name --protocol tcp --port $ers_hp_port --interval 5 --probe-threshold 2
 
# Create load balancing rule for ASCS and ERS
  
az network lb rule create -g $rg_name --lb-name $lb_name -n  $ascs_rule_name --protocol All --frontend-ip-name $ascs_fip_name --frontend-port 0 --backend-pool-name $bkp_name --backend-port 0 --probe-name $ascs_hp_name --idle-timeout-in-minutes 30 --enable-floating-ip 
az network lb rule create -g $rg_name --lb-name $lb_name -n  $ers_rule_name --protocol All --frontend-ip-name $ers_fip_name --frontend-port 0 --backend-pool-name $bkp_name --backend-port 0 --probe-name $ers_hp_name --idle-timeout-in-minutes 30 --enable-floating-ip 
 
# Add ASCS and ERS VMs in backend pool
 
az network nic ip-config address-pool add --address-pool $bkp_name --ip-config-name $vm1_ipconfig --nic-name $vm1_nic_name -g $rg_name --lb-name $lb_name
az network nic ip-config address-pool add --address-pool $bkp_name --ip-config-name $vm2_ipconfig --nic-name $vm2_nic_name -g $rg_name --lb-name $lb_name

# [OPTIONAL] Change the assignment of frontend IP address from dynamic to static
afip=$(az network lb frontend-ip show --lb-name $lb_name -g $rg_name -n $ascs_fip_name --query "{privateIPAddress:privateIPAddress}" -o tsv)
az network lb frontend-ip update --lb-name $lb_name -g $rg_name -n $ascs_fip_name --private-ip-address $afip

efip=$(az network lb frontend-ip show --lb-name $lb_name -g $rg_name -n $ers_fip_name --query "{privateIPAddress:privateIPAddress}" -o tsv)
az network lb frontend-ip update --lb-name $lb_name -g $rg_name -n $ers_fip_name --private-ip-address $efip

PowerShell

Untuk membuat load balancer standar Azure untuk penyiapan ketersediaan tinggi sistem SAP menggunakan Azure PowerShell, ikuti langkah-langkah di bawah ini.

# Create frontend IP configurations
$ascs_fip = New-AzLoadBalancerFrontendIpConfig -Name MyASCSFrontendIpName -SubnetId MyASCSSubnetName
$ers_fip = New-AzLoadBalancerFrontendIpConfig -Name MyERSFrontendIpName -SubnetId MyERSSubnetName

# Create backend pool
$bePool = New-AzLoadBalancerBackendAddressPoolConfig -Name MyBackendPool

# Create health probes for ASCS and ERS
$ascs_healthprobe = New-AzLoadBalancerProbeConfig -Name MyASCSHealthProbe -Protocol 'tcp' -Port MyASCSHealthProbePort -IntervalInSeconds 5 -ProbeThreshold 2 -ProbeCount 1
$ers_healthprobe = New-AzLoadBalancerProbeConfig -Name $ers_hp_name -Protocol 'tcp' -Port MyASCSHealthProbePort -IntervalInSeconds 5 -ProbeThreshold 2 -ProbeCount 1

# Create load balancing rules for ASCS and ERS
$ascs_rule = New-AzLoadBalancerRuleConfig -Name MyASCSRuleName -Probe $ascs_healthprobe -Protocol 'All' -IdleTimeoutInMinutes 30 -FrontendIpConfiguration $ascs_fip -BackendAddressPool $bePool -EnableFloatingIP
$ers_rule = New-AzLoadBalancerRuleConfig -Name MyERSRuleName -Probe $ers_healthprobe -Protocol 'All' -IdleTimeoutInMinutes 30 -FrontendIpConfiguration $ers_fip -BackendAddressPool $bePool -EnableFloatingIP

# Create the load balancer resource
$lb = New-AzLoadBalancer -ResourceGroupName MyResourceGroup -Name MyLB -Location MyRegion -Sku 'Standard' -FrontendIpConfiguration $ascs_fip, $ers_fip -BackendAddressPool $bePool -LoadBalancingRule $ascs_rule, $ers_rule -Probe $ascs_healthprobe, $ers_healthprobe

Perluas untuk menampilkan kode PowerShell lengkap

# Define variables for Resource Group, and Database VMs.

$rg_name = 'resourcegroup-name'
$vm1_name = 'ascs-vm-name'
$vm2_name = 'ers-vm-name'

# Define variables for the load balancer that will be utilized in the creation of the load balancer resource.

$lb_name = 'sap-ci-sid-ilb'
$bkp_name = 'ascs-ers-backendpool'
$ascs_fip_name = 'ascs-frontendip'
$ers_fip_name = 'ers-frontendip'
 
$ascs_hp_name = 'ascs-healthprobe'
$ascs_hp_port = '62000'
$ers_hp_name = 'ers-healthprobe'
$ers_hp_port = '62101'
 
$ascs_rule_name = 'ascs-lb-rule'
$ers_rule_name = 'ers-lb-rule'
 
# Command to get VMs network information like NIC name, IP configuration name, Virtual Network name, and Subnet 
 
$vm1 = Get-AzVM -ResourceGroupName $rg_name -Name $vm1_name
$vm1_primarynic = $vm1.NetworkProfile.NetworkInterfaces | Where-Object {($_.Primary -eq "True") -or ($_.Primary -eq $null)}
$vm1_nic_name = $vm1_primarynic.Id.Split('/')[-1]
 
$vm1_nic_info = Get-AzNetworkInterface -Name $vm1_nic_name -ResourceGroupName $rg_name
$vm1_primaryip = $vm1_nic_info.IpConfigurations | Where-Object -Property Primary -EQ -Value "True"
$vm1_ipconfig_name = ($vm1_primaryip).Name
 
$vm2 = Get-AzVM -ResourceGroupName $rg_name -Name $vm2_name
$vm2_primarynic = $vm2.NetworkProfile.NetworkInterfaces | Where-Object {($_.Primary -eq "True") -or ($_.Primary -eq $null)}
$vm2_nic_name = $vm2_primarynic.Id.Split('/')[-1]
 
$vm2_nic_info = Get-AzNetworkInterface -Name $vm2_nic_name -ResourceGroupName $rg_name
$vm2_primaryip = $vm2_nic_info.IpConfigurations | Where-Object -Property Primary -EQ -Value "True"
$vm2_ipconfig_name = ($vm2_primaryip).Name
 
$vnet_name = $vm1_primaryip.Subnet.Id.Split('/')[-3]
$subnet_name = $vm1_primaryip.Subnet.Id.Split('/')[-1]
$location = $vm1.Location
 
# Create frontend IP resource for ASCS and ERS.
# Allocation of private IP address is dynamic using below command. If you want to pass static IP address, include parameter -PrivateIpAddress
 
$ascs_lb_fip = @{
    Name = $ascs_fip_name
    SubnetId = $vm1_primaryip.Subnet.Id
}
$ascs_fip = New-AzLoadBalancerFrontendIpConfig @ascs_lb_fip
 
$ers_lb_fip = @{
    Name = $ers_fip_name
    SubnetId = $vm2_primaryip.Subnet.Id
}
$ers_fip = New-AzLoadBalancerFrontendIpConfig @ers_lb_fip

# Create backend pool
 
$bepool = New-AzLoadBalancerBackendAddressPoolConfig -Name $bkp_name

# Create the health probe for ASCS and ERS
 
$ascs_probe = @{
    Name = $ascs_hp_name
    Protocol = 'tcp'
    Port = $ascs_hp_port
    IntervalInSeconds = '5'
    ProbeThreshold = '2'
    ProbeCount = '1'
}
$ascs_healthprobe = New-AzLoadBalancerProbeConfig @ascs_probe
    
$ers_probe = @{
    Name = $ers_hp_name
    Protocol = 'tcp'
    Port = $ers_hp_port
    IntervalInSeconds = '5'
    ProbeThreshold = '2'
    ProbeCount = '1'
}
$ers_healthprobe = New-AzLoadBalancerProbeConfig @ers_probe

# Create load balancing rule for ASCS and ERS
 
$ascs_lbrule = @{
    Name = $ascs_rule_name
    Probe = $ascs_healthprobe
    Protocol = 'All'
    IdleTimeoutInMinutes = '30'
    FrontendIpConfiguration = $ascs_fip
    BackendAddressPool = $bePool 
} 
$ascs_rule = New-AzLoadBalancerRuleConfig @ascs_lbrule -EnableFloatingIP 
 
$ers_lbrule = @{
    Name = $ers_rule_name
    Probe = $ers_healthprobe
    Protocol = 'All'
    IdleTimeoutInMinutes = '30'
    FrontendIpConfiguration = $ers_fip
    BackendAddressPool = $bePool 
} 
$ers_rule = New-AzLoadBalancerRuleConfig @ers_lbrule -EnableFloatingIP

# Create the load balancer resource
 
$loadbalancer = @{
    ResourceGroupName = $rg_name
    Name = $lb_name
    Location = $location
    Sku = 'Standard'
    FrontendIpConfiguration = $ascs_fip,$ers_fip
    BackendAddressPool = $bePool 
    LoadBalancingRule = $ascs_rule,$ers_rule
    Probe = $ascs_healthprobe,$ers_healthprobe 
} 
$lb = New-AzLoadBalancer @loadbalancer

# Add ASCS and ERS VMs in backend pool of load balanceer
 
$vm1_primaryip.LoadBalancerBackendAddressPools.Add($lb.BackendAddressPools[0])
$vm2_primaryip.LoadBalancerBackendAddressPools.Add($lb.BackendAddressPools[0])
$vm1_nic_info | Set-AzNetworkInterface
$vm2_nic_info | Set-AzNetworkInterface

Catatan

Ketika VM tanpa alamat IP publik ditempatkan di kumpulan backend internal (tanpa alamat IP publik) penyeimbang beban Azure Standar, tidak akan ada konektivitas internet keluar, kecuali ada konfigurasi tambahan untuk memungkinkan perutean ke titik akhir publik. Untuk detail tentang cara mencapai konektivitas keluar lihat Publik titik akhir konektivitas untuk Virtual Machines menggunakan Azure Standard Load Balancer dalam SAP ketersediaan tinggi skenario.

Penting

• Jangan aktifkan stempel waktu TCP pada Azure VM yang ditempatkan di belakang Azure Load Balancer. Mengaktifkan tanda waktu TCP akan menyebabkan pemeriksaan kesehatan gagal. Set net.ipv4.tcp_timestamps parameter ke 0. Untuk detailnya, lihat Pemeriksaan kesehatan Load Balancer.
• Untuk mencegah saptune mengubah nilai yang diatur net.ipv4.tcp_timestamps secara manual dari 0 kembali ke 1, Anda harus memperbarui versi saptune ke 3.1.1 atau yang lebih tinggi. Untuk detail selengkapnya, lihat saptune 3.1.1 – Apakah Saya Perlu Memperbarui?.

Menyebarkan akun penyimpanan Azure Files dan Pembagian NFS

NFS di Azure Files, berjalan di atas penyimpanan Azure Files Premium. Sebelum menyiapkan NFS di Azure Files, lihat Cara membuat pembagian NFS.

Ada dua opsi untuk redundansi dalam wilayah Azure:

• Penyimpanan redundan lokal (LRS), yang menawarkan replikasi data sinkron lokal dalam zona.
• Penyimpanan Zona Redundan (ZRS), yang mereplikasi data Anda secara sinkron di tiga zona ketersediaan di wilayah tersebut.

Periksa apakah wilayah Azure pilihan Anda menawarkan NFS 4.1 pada Azure Files dengan redundansi yang sesuai. Tinjau ketersediaan Azure Files berdasarkan wilayah Azure di bagian File Storage Premium. Jika skenario Anda mendapat keuntungan dari ZRS, verifikasi bahwa Berbagi Premium dengan ZRS didukung di wilayah Azure Anda.

Sebaiknya akses akun Azure Storage Anda melalui Titik Akhir Privat Azure. Pastikan untuk menyebarkan titik akhir akun penyimpanan Azure Files dan VM, di mana Anda perlu memasang pembagian NFS, di Azure VNet yang sama atau melakukan peering terhadap Azure VNet.

1. Sebarkan akun File Storage bernama sapafsnfs. Dalam contoh ini, kita menggunakan ZRS. Jika Anda tidak terbiasa dengan proses ini, lihat Membuat akun penyimpanan untuk portal Microsoft Azure.
2. Di tab Dasar , gunakan pengaturan ini:
   1. Untuk Nama akun penyimpanan, masukkan sapafsnfs.
   2. Untuk Performa, pilih Premium.
   3. Untuk Jenis akun premium, pilih FileStorage.
   4. Untuk Replikasi, pilih zona redundansi (ZRS).
3. Pilih Selanjutnya.
4. Di tab Tingkat Lanjut, hapus pilihan Memerlukan transfer aman untuk Operasi API REST. Jika Anda tidak menghapus pilihan ini, Anda tidak dapat memasang pembagian NFS ke mesin virtual Anda. Operasi pemasangan akan habis.
5. Pilih Selanjutnya.
6. Di bagian Jaringan, konfigurasikan pengaturan ini:
   1. Di bawah Konektivitas jaringan, untuk Metode konektivitas, pilih Titik akhir privat.
   2. Di bagian Titik akhir privat, pilih Tambahkan titik akhir privat.
7. Di panel Buat titik akhir privat, pilih Langganan, Grup sumber daya, dan Lokasi Anda. Untuk Nama, masukkan sapafsnfs_pe. Untuk Sub-sumber daya penyimpanan, pilih file. Di bagian Jaringan, untuk Jaringan virtual, pilih VNet dan subnet yang akan digunakan. Sekali lagi, Anda dapat menggunakan VNet di mana VM SAP Anda berada, atau VNet yang telah di-peering. Di bagian Integrasi DNS Privat, terima opsi default Ya untuk Mengintegrasikan dengan zona DNS privat. Pastikan untuk memilih Zona DNS Privat Anda. Pilih OK.
8. Pada tab Jaringan lagi, pilih Berikutnya.
9. Pada tab Perlindungan data, pertahankan semua pengaturan default.
10. Pilih Tinjau + buat untuk memvalidasi konfigurasi Anda.
11. Tunggu validasi selesai. Perbaiki masalah apa pun sebelum melanjutkan.
12. Di tab Tinjau + buat, pilih Buat.

Selanjutnya, sebarkan pembagian NFS di akun penyimpanan yang Anda buat. Dalam contoh ini, ada dua pembagian NFS, sapnw1 dan saptrans.

1. Masuk ke portal Azure.

2. Pilih atau cari Akun penyimpanan.

3. Pada halaman Akun penyimpanan, pilih sapafsnfs.

4. Pada menu sumber daya sapafsnfs, pilih Berbagi file di bagian Penyimpanan data.

5. Pada halaman Berbagi file, pilih Berbagi file.

   1. Untuk Nama, masukkan sapnw1, saptrans.
   2. Pilih ukuran pembagian yang sesuai. Misalnya, 128 GB. Pertimbangkan ukuran data yang tersimpan pada persyaratan berbagi, IOP, dan throughput. Untuk informasi selengkapnya, lihat Target berbagi file Azure.
   3. Pilih NFS sebagai protokol.
   4. Pilih Tidak ada Squash akar. Jika tidak, ketika Anda memasang pembagian pada VM, Anda tidak dapat melihat pemilik file atau grup.

   Penting

   Ukuran pembagian di atas hanyalah sebuah contoh. Pastikan untuk mengukur pembagian Anda dengan tepat. Ukuran tidak hanya berdasarkan pada ukuran penyimpanan data pada pembagian, tetapi juga berdasarkan persyaratan IOPS dan throughput. Untuk detailnya, lihat Target berbagi file Azure.

   Sistem file SAP yang tidak perlu dipasang melalui NFS juga dapat disebarkan di penyimpanan disk Azure. Dalam contoh ini, Anda dapat menyebarkan /usr/sap/NW1/D02 dan /usr/sap/NW1/D03 di penyimpanan disk Azure.

Pertimbangan penting untuk NFS pada pembagian Azure Files

Saat Anda merencanakan penyebaran dengan NFS di Azure Files, pertimbangkan poin penting berikut:

• Ukuran pembagian minimum adalah 100 GiB. Anda hanya membayar kapasitas berbagi yang disediakan.
• Ukuran pembagian NFS Anda tidak hanya berdasarkan persyaratan kapasitas, tetapi juga persyaratan IOPS dan throughput. Untuk detailnya, lihat Target berbagi file Azure.
• Uji beban kerja untuk memvalidasi ukuran Anda dan pastikan beban kerja tersebut memenuhi target performa Anda. Untuk mempelajari cara memecahkan masalah performa di Azure Files, lihat Memecahkan masalah performa berbagi file Azure.
• Untuk sistem SAP J2EE, menempatkan /usr/sap/<SID>/J<nr> pada NFS di Azure Files tidak didukung.
• Jika sistem SAP Anda memiliki beban tugas batch yang berat, Anda mungkin memiliki jutaan log pekerjaan. Jika log tugas batch SAP disimpan dalam sistem file, berikan perhatian khusus pada ukuran pembagian sapmnt. Pada SAP_BASIS 7.52 perilaku default untuk log tugas batch harus disimpan dalam database. Untuk detailnya, lihat Log pekerjaan di database.
• Sebarkan bagian sapmnt yang terpisah untuk setiap sistem SAP.
• Jangan gunakan sapmnt berbagi untuk aktivitas lain, seperti antarmuka, atau saptrans.
• Jangan gunakan saptrans berbagi untuk aktivitas lain, seperti antarmuka, atau sapmnt.
• Hindari mengonsolidasikan pembagian untuk sistem SAP yang terlalu banyak dalam satu akun penyimpanan. Ada juga Target skala performa akun penyimpanan. Berhati-hatilah agar tidak melebihi batas untuk akun penyimpanan juga.
• Secara umum, jangan mengkonsolidasikan berbagi untuk lebih dari 5 sistem SAP dalam satu akun penyimpanan. Pedoman ini membantu menghindari pemakaian akun penyimpanan yang melebihi batas dan menyederhanakan analisis performa.
• Secara umum, hindari mencampur pembagian seperti sapmnt untuk sistem SAP non-produksi dan produksi di akun penyimpanan yang sama.
• Sebaiknya sebarkan di SLES 15 SP2 atau yang lebih tinggi untuk mendapatkan manfaat dari peningkatan klien NFS.
• Gunakan titik akhir privat. Jika terjadi kegagalan zonal, sesi NFS Anda secara otomatis beralih ke zona yang sehat. Anda tidak perlu memasang ulang pembagian NFS di mesin virtual Anda.
• Jika Anda menyebarkan mesin virtual di seluruh Zona Ketersediaan, gunakan Akun penyimpanan dengan ZRS di wilayah Azure yang mendukung ZRS.
• Azure Files saat ini tidak mendukung replikasi lintas wilayah otomatis untuk skenario pemulihan bencana.

Siapkan (A)SCS

Selanjutnya, Anda akan menyiapkan dan menginstal instans SAP ASCS dan ERS.

Buat kluster Pacemaker

Ikuti langkah-langkah dalam Menyiapkan Pacemaker di SUSE Linux Enterprise Server pada Azure guna membuat kluster Pacemaker dasar untuk server NFS ini.

Penginstalan

Item berikut diawali dengan [A] - berlaku untuk semua simpul, [1] - hanya berlaku untuk simpul 1 atau [2] - hanya berlaku untuk simpul 2.

1. [A] Menginstal versi terbaru Konektor SUSE

   sudo zypper install sap-suse-cluster-connector
   

   Catatan

   Masalah yang diketahui dengan menggunakan tanda hubung dalam nama host ditetapkan denganversi 3.1.1 dari paket sap-suse-cluster-connector. Pastikan Anda menggunakan setidaknya versi 3.1.1 dari paket sap-suse-cluster-connector, jika menggunakan simpul kluster dengan tanda hubung dalam nama host. Jika tidak, kluster Anda tidak akan berfungsi.

   Pastikan Anda memasang versi baru konektor kluster SAP SUSE. Yang lama disebut sap_suse_cluster_connector dan yang baru disebut sap-suse-cluster-connector.

2. [A] Perbarui agen sumber daya SAP

   Patch untuk paket agen sumber daya diperlukan untuk menggunakan konfigurasi baru yang dijelaskan dalam artikel ini. Anda dapat memeriksa, apakah patch sudah dipasang dengan perintah berikut

   sudo grep 'parameter name="IS_ERS"' /usr/lib/ocf/resource.d/heartbeat/SAPInstance
   

   Output harus sama dengan

   <parameter name="IS_ERS" unique="0" required="0">;
   

   Jika perintah grep tidak menemukan parameter IS_ERS, Anda perlu memasang patch yang tercantum di halaman unduhan SUSE

3. [A] Menyiapkan resolusi nama host

   Anda dapat menggunakan server DNS atau memodifikasi /etc/hosts pada semua simpul. Contoh ini menunjukkan cara menggunakan file /etc/hosts. Ganti alamat IP dan nama host dalam perintah berikut

   sudo vi /etc/hosts
   

   Sisipkan baris berikut ke /etc/hosts. Ubah alamat IP dan nama host agar sesuai dengan lingkungan Anda

    # IP address of cluster node 1
    10.90.90.7    sap-cl1
    # IP address of cluster node 2
    10.90.90.8     sap-cl2
    # IP address of the load balancer frontend configuration for SAP Netweaver ASCS
    10.90.90.10   sapascs
    # IP address of the load balancer frontend configuration for SAP Netweaver ERS
    10.90.90.9    sapers
   

4. [1] Membuat direktori SAP pada NFS bersama.
   Pasang sementara NFS bersama sapnw1 salah satu mesin virtual dan buat direktori SAP yang akan digunakan sebagai titik pemasangan berlapis.

   # mount temporarily the volume
   sudo mkdir -p /saptmp
   sudo mount -t nfs sapnfs.file.core.windows.net:/sapnfsafs/sapnw1 /saptmp -o noresvport,vers=4,minorversion=1,sec=sys
   # create the SAP directories
   sudo cd /saptmp
   sudo mkdir -p sapmntNW1
   sudo mkdir -p usrsapNW1ascs
   sudo mkdir -p usrsapNW1ers
   sudo mkdir -p usrsapNW1sys
   # unmount the volume and delete the temporary directory
   cd ..
   sudo umount /saptmp
   sudo rmdir /saptmp
   

Persiapkan Penginstalan SAP NetWeaver

1. [A]Buat direktori bersama

   sudo mkdir -p /sapmnt/NW1
   sudo mkdir -p /usr/sap/trans
   sudo mkdir -p /usr/sap/NW1/SYS
   sudo mkdir -p /usr/sap/NW1/ASCS00
   sudo mkdir -p /usr/sap/NW1/ERS01
   
   sudo chattr +i /sapmnt/NW1
   sudo chattr +i /usr/sap/trans
   sudo chattr +i /usr/sap/NW1/SYS
   sudo chattr +i /usr/sap/NW1/ASCS00
   sudo chattr +i /usr/sap/NW1/ERS01
   

2. [A] Pasang sistem file yang tidak akan dikontrol oleh kluster Pacemaker.

   vi /etc/fstab
   # Add the following lines to fstab, save and exit
   sapnfs.file.core.windows.net:/sapnfsafs/saptrans /usr/sap/trans  nfs noresvport,vers=4,minorversion=1,sec=sys  0  0
   sapnfs.file.core.windows.net:/sapnfsafs/sapnw1/sapmntNW1 /sapmnt/NW1  nfs noresvport,vers=4,minorversion=1,sec=sys  0  0
   sapnfs.file.core.windows.net:/sapnfsafs/sapnw1/usrsapNW1sys/ /usr/sap/NW1/SYS  nfs noresvport,vers=4,minorversion=1,sec=sys  0  0
   
   # Mount the file systems
   mount -a 
   

3. [A] Konfigurasikan file SWAP

   sudo vi /etc/waagent.conf
   
   # Check if property ResourceDisk.Format is already set to y and if not, set it
   ResourceDisk.Format=y
   
   # Set the property ResourceDisk.EnableSwap to y
   # Create and use swapfile on resource disk.
   ResourceDisk.EnableSwap=y
   
   # Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
   # The free space of resource disk varies by virtual machine size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
   # Size of the swapfile.
   ResourceDisk.SwapSizeMB=2000
   

   Mulai ulang Agen untuk mengaktifkan perubahan

   sudo service waagent restart
   

Memasang SAP NetWeaver ASCS/ERS

1. [1] Buat sumber daya IP virtual dan pemeriksaan kesehatan untuk instans ASCS

   Penting

   Sebaiknya gunakan agen sumber daya azure-lb yang merupakan bagian dari agen sumber daya paket dengan persyaratan versi paket berikut:

   • Untuk SLES 12 SP4/SP5, versi setidaknya harus resource-agents-4.3.018.a7fb5035-3.30.1.
   • Untuk SLES 15 dan di atasnya, setidaknya harus menggunakan versi resource-agents-4.3.0184.6ee15eb2-4.13.1.

   sudo crm node standby sap-cl2
   sudo crm configure primitive fs_NW1_ASCS Filesystem device='sapnfs.file.core.windows.net:/sapnfsafs/sapnw1/usrsapNW1ascs' directory='/usr/sap/NW1/ASCS00' fstype='nfs' options='noresvport,vers=4,minorversion=1,sec=sys' \
     op start timeout=60s interval=0 \
     op stop timeout=60s interval=0 \
     op monitor interval=20s timeout=40s
   
   sudo crm configure primitive vip_NW1_ASCS IPaddr2 \
     params ip=10.90.90.10 \
     op monitor interval=10 timeout=20
   
   sudo crm configure primitive nc_NW1_ASCS azure-lb port=62000 \
     op monitor timeout=20s interval=10
   
   sudo crm configure group g-NW1_ASCS fs_NW1_ASCS nc_NW1_ASCS vip_NW1_ASCS \
     meta resource-stickiness=3000
   

   Pastikan status kluster baik-baik saja dan semua sumber daya dimulai. Simpul tempat berjalannya sumber daya tidaklah penting.

   sudo crm_mon -r
   # Node sap-cl2: standby
   # Online: [ sap-cl1 ]
   #
   # Full list of resources:
   #
   # stonith-sbd     (stonith:external/sbd): Started sap-cl1
   # Resource Group: g-NW1_ASCS
   #  fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started sap-cl1
   #  nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started sap-cl1
   #  vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started sap-cl1
   
   

2. [1] Pasang SAP NetWeaver ASCS

   Instal SAP NetWeaver ASCS sebagai root pada simpul pertama menggunakan nama host virtual yang memetakan ke alamat IP konfigurasi frontend penyeimbang beban ASCS, misalnya sapascs, 10.90.90.10 dan nomor instans yang Anda gunakan untuk melakukan probe terhadap penyeimbang beban, misalnya 00.

   Anda dapat menggunakan parameter sapinst SAPINST_REMOTE_ACCESS_USER untuk memungkinkan pengguna non-root untuk terhubung ke sapinst. Anda dapat menggunakan parameter SAPINST_USE_HOSTNAME untuk memasang SAP, menggunakan nama host virtual.

   sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=<virtual_hostname>
   

   Jika penginstalan gagal membuat subfolder di /usr/sap/NW1/ASCS00, coba atur pemilik dan grup folder ASCS00 dan coba lagi.

   chown nw1adm /usr/sap/NW1/ASCS00
   chgrp sapsys /usr/sap/NW1/ASCS00
   

3. [1] Buat sumber daya IP virtual dan pemeriksaan kesehatan untuk instans ERS

   sudo crm node online sap-cl2
   sudo crm node standby sap-cl1
   sudo crm configure primitive fs_NW1_ERS Filesystem device='sapnfs.file.core.windows.net:/sapnfsafs/sapnw1/usrsapNW1ers' directory='/usr/sap/NW1/ERS01' fstype='nfs' options='noresvport,vers=4,minorversion=1,sec=sys' \
     op start timeout=60s interval=0 \
     op stop timeout=60s interval=0 \
     op monitor interval=20s timeout=40s
   
   sudo crm configure primitive vip_NW1_ERS IPaddr2 \
     params ip=10.90.90.9 \
     op monitor interval=10 timeout=20
   
   sudo crm configure primitive nc_NW1_ERS azure-lb port=62101 \
     op monitor timeout=20s interval=10
   
   sudo crm configure group g-NW1_ERS fs_NW1_ERS nc_NW1_ERS vip_NW1_ERS
   

   Pastikan status kluster baik-baik saja dan semua sumber daya dimulai. Simpul tempat berjalannya sumber daya tidaklah penting.

   sudo crm_mon -r
   
   # Node sap-cl1: standby
   # Online: [ sap-cl2 ]
   # 
   # Full list of resources:
   #
   # stonith-sbd     (stonith:external/sbd): Started sap-cl2
   #  Resource Group: g-NW1_ASCS
   #      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started sap-cl2
   #      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started sap-cl2
   #      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started sap-cl2
   #  Resource Group: g-NW1_ERS
   #      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started sap-cl2 
   #      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started sap-cl2
   #      vip_NW1_ERS  (ocf::heartbeat:IPaddr2):     Started sap-cl2
   

4. [2] Pasang SAP NetWeaver ERS

   Instal SAP NetWeaver ERS sebagai akar pada simpul kedua menggunakan nama host virtual yang memetakan ke alamat IP dari konfigurasi frontend penyeimbang beban ERS, misalnya sapers, 10.90.90.9 dan nomor instans yang Anda gunakan untuk pemeriksaan penyeimbang beban, misalnya 01.

   Anda dapat menggunakan parameter sapinst SAPINST_REMOTE_ACCESS_USER untuk memungkinkan pengguna non-root untuk terhubung ke sapinst. Anda dapat menggunakan parameter SAPINST_USE_HOSTNAME untuk memasang SAP, menggunakan nama host virtual.

   <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
   

   Catatan

   Gunakan SWPM SP 20 PL 05 atau lebih tinggi. Versi yang lebih rendah tidak mengatur izin dengan benar dan penginstalan akan gagal.

   Jika penginstalan gagal membuat subfolder di /usr/sap/NW1/ERS01, coba atur pemilik dan grup folder ERS01 lalu coba lagi.

   chown nw1adm /usr/sap/NW1/ERS01
   chgrp sapsys /usr/sap/NW1/ERS01
   

5. [1] Sesuaikan profil instans ASCS/SCS dan ERS

   • Profil ASCS/SCS

   sudo vi /sapmnt/NW1/profile/NW1_ASCS00_sapascs
   
   # Change the restart command to a start command
   #Restart_Program_01 = local $(_EN) pf=$(_PF)
   Start_Program_01 = local $(_EN) pf=$(_PF)
   
   # Add the following lines
   service/halib = $(DIR_CT_RUN)/saphascriptco.so
   service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector
   
   # Add the keep alive parameter, if using ENSA1
   enque/encni/set_so_keepalive = true
   

   Untuk ENSA1 dan ENSA2, pastikan keepalive OS parameter diatur seperti yang dijelaskan dalam catatan SAP 1410736.

   • Profil ERS

   sudo vi /sapmnt/NW1/profile/NW1_ERS01_sapers
   
   # Change the restart command to a start command
   #Restart_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
   Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
   
   # Add the following lines
   service/halib = $(DIR_CT_RUN)/saphascriptco.so
   service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector
   
   # remove Autostart from ERS profile
   # Autostart = 1
   

6. [A] Konfigurasikan Tetap Aktif

   Komunikasi antara server aplikasi SAP NetWeaver dan ASCS / SCS dirutekan melalui penyeimbang beban perangkat lunak. Penyeimbang beban memutuskan koneksi tidak aktif setelah waktu habis yang dapat dikonfigurasi. Untuk mencegah hal ini, Anda perlu mengatur parameter di profil SAP NetWeaver ASCS/SCS, jika menggunakan ENSA1. Ubah pengaturan keepalive sistem Linux di semua server SAP untuk ENSA1/ENSA2. Baca Catatan SAP 1410736 untuk informasi selengkapnya.

   # Change the Linux system configuration
   sudo sysctl net.ipv4.tcp_keepalive_time=300
   

7. [A]Konfigurasikan pengguna SAP setelah penginstalan

   # Add sidadm to the haclient group
   sudo usermod -aG haclient nw1adm
   

8. [1] Tambahkan layanan ASCS dan ERS SAP ke file sapservice

   Tambahkan entri layanan ASCS ke simpul kedua dan salin entri layanan ERS ke simpul pertama.

   cat /usr/sap/sapservices | grep ASCS00 | sudo ssh sap-cl2 "cat >>/usr/sap/sapservices"
   sudo ssh sap-cl2 "cat /usr/sap/sapservices" | grep ERS01 | sudo tee -a /usr/sap/sapservices
   

9. [A] Menonaktifkan layanan instans systemd ASCS dan ERS SAP. Langkah ini hanya berlaku, jika kerangka kerja startup SAP dikelola oleh systemd sesuai Catatan SAP 3115048

   Catatan

   Saat mengelola instans SAP seperti SAP ASCS dan SAP ERS menggunakan konfigurasi kluster SLES, Anda harus melakukan modifikasi tambahan untuk mengintegrasikan kluster dengan kerangka kerja mulai SAP berbasis sistem asli. Ini memastikan bahwa prosedur pemeliharaan tidak membahayakan stabilitas kluster. Setelah menginstal atau mengalihkan kerangka kerja startup SAP ke penyiapan yang diaktifkan sistem sesuai 3115048 Catatan SAP, Anda harus menonaktifkan systemd layanan untuk instans ASCS dan ERS SAP.

   # Stop ASCS and ERS instances using <sid>adm
   sapcontrol -nr 00 -function Stop
   sapcontrol -nr 00 -function StopService
   
   sapcontrol -nr 01 -function Stop
   sapcontrol -nr 01 -function StopService
   
   # Execute below command on VM where you have performed ASCS instance installation (e.g. sap-cl1)
   sudo systemctl disable SAPNW1_00
   # Execute below command on VM where you have performed ERS instance installation (e.g. sap-cl2)
   sudo systemctl disable SAPNW1_01
   

10. [1] Buat sumber daya kluster SAP

    Bergantung pada apakah Anda menjalankan sistem ENSA1 atau ENSA2, pilih tab masing-masing untuk menentukan sumber daya. SAP memperkenalkan dukungan untuk ENSA2, termasuk replikasi, di SAP NetWeaver 7.52. Dimulai dengan ABAP Platform 1809, ENSA2 dipasang secara default. Untuk dukungan ENSA2, lihat Catatan SAP 2630416.

    ENSA1

    sudo crm configure property maintenance-mode="true"
    
    sudo crm configure primitive rsc_sap_NW1_ASCS00 SAPInstance \
     operations \$id=rsc_sap_NW1_ASCS00-operations \
     op monitor interval=11 timeout=60 on-fail=restart \
     params InstanceName=NW1_ASCS00_sapascs START_PROFILE="/sapmnt/NW1/profile/NW1_ASCS00_sapascs" \
     AUTOMATIC_RECOVER=false \
     meta resource-stickiness=5000 failure-timeout=60 migration-threshold=1 priority=10
    
    sudo crm configure primitive rsc_sap_NW1_ERS01 SAPInstance \
     operations \$id=rsc_sap_NW1_ERS01-operations \
     op monitor interval=11 timeout=60 on-fail=restart \
     params InstanceName=NW1_ERS01_sapers START_PROFILE="/sapmnt/NW1/profile/NW1_ERS01_sapers" AUTOMATIC_RECOVER=false IS_ERS=true \
     meta priority=1000
    
    sudo crm configure modgroup g-NW1_ASCS add rsc_sap_NW1_ASCS00
    sudo crm configure modgroup g-NW1_ERS add rsc_sap_NW1_ERS01
    
    sudo crm configure colocation col_sap_NW1_no_both -5000: g-NW1_ERS g-NW1_ASCS
    sudo crm configure location loc_sap_NW1_failover_to_ers rsc_sap_NW1_ASCS00 rule 2000: runs_ers_NW1 eq 1
    sudo crm configure order ord_sap_NW1_first_start_ascs Optional: rsc_sap_NW1_ASCS00:start rsc_sap_NW1_ERS01:stop symmetrical=false
    
    sudo crm_attribute --delete --name priority-fencing-delay
    
    sudo crm node online sap-cl1
    sudo crm configure property maintenance-mode="false"
    

    ENSA2

    Catatan

    Jika Anda memiliki kluster dua node yang menjalankan ENSA2, Anda memiliki opsi untuk mengonfigurasi properti kluster priority-fencing-delay. Properti ini memperkenalkan penundaan tambahan dalam pemagaran simpul yang memiliki prioritas total resoure yang lebih tinggi ketika skenario split-brain terjadi. Untuk informasi selengkapnya, lihat Panduan administrasi ekstensi ketersediaan tinggi SUSE Linux Enteprise Server.

    Properti priority-fencing-delay hanya berlaku untuk ENSA2 yang berjalan pada kluster dua node.

    sudo crm configure property maintenance-mode="true"
    
    sudo crm configure property priority-fencing-delay=30
    
    sudo crm configure primitive rsc_sap_NW1_ASCS00 SAPInstance \
     operations \$id=rsc_sap_NW1_ASCS00-operations \
     op monitor interval=11 timeout=60 on-fail=restart \
     params InstanceName=NW1_ASCS00_sapascs START_PROFILE="/sapmnt/NW1/profile/NW1_ASCS00_sapascs" \
     AUTOMATIC_RECOVER=false \
     meta resource-stickiness=5000 priority=100
    
    sudo crm configure primitive rsc_sap_NW1_ERS01 SAPInstance \
     operations \$id=rsc_sap_NW1_ERS01-operations \
     op monitor interval=11 timeout=60 on-fail=restart \
     params InstanceName=NW1_ERS01_sapers START_PROFILE="/sapmnt/NW1/profile/NW1_ERS01_sapers" AUTOMATIC_RECOVER=false IS_ERS=true
    
    sudo crm configure modgroup g-NW1_ASCS add rsc_sap_NW1_ASCS00
    sudo crm configure modgroup g-NW1_ERS add rsc_sap_NW1_ERS01
    
    sudo crm configure colocation col_sap_NW1_no_both -5000: g-NW1_ERS g-NW1_ASCS
    sudo crm configure order ord_sap_NW1_first_start_ascs Optional: rsc_sap_NW1_ASCS00:start rsc_sap_NW1_ERS01:stop symmetrical=false
    
    sudo crm node online sap-cl1
    sudo crm configure property maintenance-mode="false"
    

Jika Anda memutakhirkan dari versi yang lebih lama dan beralih ke antrian server 2, lihat Catatan SAP 2641019.

Pastikan status kluster baik-baik saja dan semua sumber daya dimulai. Simpul tempat berjalannya sumber daya tidaklah penting.

sudo crm_mon -r
# Full list of resources:
# 
# stonith-sbd     (stonith:external/sbd): Started sap-cl2
#  Resource Group: g-NW1_ASCS
#      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started sap-cl1
#      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started sap-cl1
#      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started sap-cl1
#      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started sap-cl1
#  Resource Group: g-NW1_ERS
#      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started sap-cl2
#      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started sap-cl2
#      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started sap-cl2
#      rsc_sap_NW1_ERS01  (ocf::heartbeat:SAPInstance):   Started sap-cl1

Persiapan server aplikasi SAP NetWeaver

Beberapa database mengharuskan penginstalan instans database dijalankan pada server aplikasi. Siapkan komputer virtual server aplikasi agar dapat digunakan dalam kasus ini.

Langkah di bawah ini mengasumsikan bahwa Anda menginstal server aplikasi di server yang berbeda dari server ASCS/SCS dan HANA. Jika tidak beberapa langkah di bawah ini (seperti mengkonfigurasi resolusi nama host) tidak diperlukan.

Item berikut diawali dengan [A] - berlaku untuk PAS dan AAS, [P] - hanya berlaku untuk PAS atau [S] - hanya berlaku untuk AAS.

1. [A] Konfigurasikan sistem operasi

   Kurangi ukuran cache kotor. Untuk informasi selengkapnya, lihat Performa tulis rendah di server SLES 11/12 dengan RAM besar.

   sudo vi /etc/sysctl.conf
   # Change/set the following settings
   vm.dirty_bytes = 629145600
   vm.dirty_background_bytes = 314572800
   

2. [A] Menyiapkan resolusi nama host

   Anda dapat menggunakan server DNS atau memodifikasi /etc/hosts pada semua simpul. Contoh ini menunjukkan cara menggunakan file /etc/hosts. Ganti alamat IP dan nama host dalam perintah berikut

   sudo vi /etc/hosts
   

   Sisipkan baris berikut ke /etc/hosts. Ubah alamat IP dan nama host agar sesuai dengan lingkungan Anda

   10.90.90.7    sap-cl1
   10.90.90.8    sap-cl2
   # IP address of the load balancer frontend configuration for SAP Netweaver ASCS
   10.90.90.10   sapascs
   # IP address of the load balancer frontend configuration for SAP Netweaver ERS
   10.90.90.9    sapers
   10.90.90.12   sapa01
   10.90.90.13   sapa02
   

3. [A] Buat direktori sapmnt

   sudo mkdir -p /sapmnt/NW1
   sudo mkdir -p /usr/sap/trans
   
   sudo chattr +i /sapmnt/NW1
   sudo chattr +i /usr/sap/trans
   

4. [A] Memasang sistem file

   vi /etc/fstab
   # Add the following lines to fstab, save and exit
   sapnfs.file.core.windows.net:/sapnfsafs/saptrans /usr/sap/trans  nfs noresvport,vers=4,minorversion=1,sec=sys  0  0
   sapnfs.file.core.windows.net:/sapnfsafs/sapnw1/sapmntNW1 /sapmnt/NW1  nfs noresvport,vers=4,minorversion=1,sec=sys  0  0
   
   # Mount the file systems
   mount -a 
   

5. [A] Konfigurasikan file SWAP

   sudo vi /etc/waagent.conf
   
   # Set the property ResourceDisk.EnableSwap to y
   # Create and use swapfile on resource disk.
   ResourceDisk.EnableSwap=y
   
   # Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
   # The free space of resource disk varies by virtual machine size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
   # Size of the swapfile.
   ResourceDisk.SwapSizeMB=2000
   

   Mulai ulang Agen untuk mengaktifkan perubahan

   sudo service waagent restart
   

Memasang database

Dalam contoh ini, SAP NetWeaver dipasang pada SAP Hana. Anda dapat menggunakan setiap database yang didukung untuk penginstalan ini. Untuk informasi selengkapnya tentang cara memasang SAP Hana di Azure, lihat Ketersediaan Tinggi SAP Hana di Azure Virtual Machines (VM). Untuk daftar database yang didukung, lihat Catatan SAP 1928533.

Pasang instans database SAP NetWeaver sebagai akar menggunakan nama host virtual yang memetakan ke alamat IP dari konfigurasi frontend load balancer untuk database.
Anda dapat menggunakan parameter sapinst SAPINST_REMOTE_ACCESS_USER untuk memungkinkan pengguna non-root untuk terhubung ke sapinst.

sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin

Pemasangan server aplikasi SAP NetWeaver

Ikuti langkah-langkah ini untuk memasang server aplikasi SAP.

1. [A] Siapkan server aplikasi Ikuti langkah-langkah dalam bab SAP NetWeaver persiapan server aplikasi di atas untuk menyiapkan server aplikasi.

2. [A] Instal server aplikasi SAP NetWeaver.
   Pasang server aplikasi SAP NetWeaver utama atau tambahan.

   Anda dapat menggunakan parameter sapinst SAPINST_REMOTE_ACCESS_USER untuk memungkinkan pengguna non-root untuk terhubung ke sapinst.

   sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin
   

3. [A] Perbarui toko aman SAP HANA

   Perbarui penyimpanan aman SAP Hana agar menunjuk ke nama virtual penyiapan SAP Hana System Replication.

   Jalankan perintah berikut ini untuk mencantumkan entri

   hdbuserstore List
   

   Perintah ini harus mencantumkan semua entri dan harus terlihat mirip seperti

   DATA FILE       : /home/nw1adm/.hdb/sapa01/SSFS_HDB.DAT
   KEY FILE        : /home/nw1adm/.hdb/sapa01/SSFS_HDB.KEY
   
   KEY DEFAULT 
     ENV : 10.90.90.5:30313
     USER: SAPABAP1
     DATABASE: NW1
   

   Dalam contoh ini, alamat IP dari titik masuk default ke mesin virtual, bukan penyeimbang beban. Ubah entri untuk merujuk ke nama host virtual penyeimbang beban. Pastikan untuk menggunakan nama database dan port yang sama. Misalnya, 30313 dan NW1 dalam output sampel.

   su - nw1adm
   hdbuserstore SET DEFAULT nw1db:30313@NW1 SAPABAP1 <password of ABAP schema>
   

Menguji penyiapan kluster

Uji kluster Pacemaker Anda secara menyeluruh. Jalankan pengujian failover umum.

Langkah berikutnya

• HA untuk SAP NW pada Azure VM pada SLES untuk aplikasi SAP panduan multi-SID
• Perencanaan dan implementasi Azure Virtual Machine untuk SAP
• Penerapan Azure Virtual Machine untuk SAP
• Penyebaran Microsoft Azure Virtual Machines DBMS untuk SAP
• Untuk mempelajari cara menetapkan ketersediaan tinggi dan merencanakan pemulihan bencana SAP Hana di VM Azure, lihat Ketersediaan Tinggi SAP Hana di Microsoft Azure Virtual Machines (VM)