SAP NetWeaver dengan high availability dengan pemasangan sederhana dan NFS pada SLES untuk mesin virtual Aplikasi SAP

Artikel
02/05/2024

Artikel ini menjelaskan cara menyebarkan dan mengkonfigurasi mesin virtual Azure (VM), menginstal kerangka kerja kluster, dan menginstal sistem SAP NetWeaver high availability (HA) dengan struktur pemasangan sederhana. Anda dapat menerapkan arsitektur yang disajikan dengan menggunakan salah satu layanan Sistem File Jaringan (NFS) asli Azure berikut ini:

Konfigurasi pemasangan sederhana diharapkan menjadi default untuk implementasi baru pada SLES untuk Aplikasi SAP 15.

Prasyarat

Panduan berikut berisi semua informasi yang diperlukan untuk menyiapkan sistem high availability NetWeaver:

SAP S/4 HANA - Replikasi Antrean 2 Kluster High Availability Dengan Pemasangan Sederhana
Penggunaan sumber daya Filesystem untuk penyiapan high availability ABAP SAP Central Services (ASCS)/ERS tidak dimungkinkan
1928533 Catatan SAP, yang memiliki:
- Daftar ukuran Azure VM yang didukung untuk penyebaran perangkat lunak SAP
- Informasi kapasitas penting untuk ukuran Azure komputer virtual
- Perangkat lunak SAP, sistem operasi (OS), dan kombinasi yang didukung
- Versi kernel SAP yang diperlukan untuk Windows dan Linux di Microsoft Azure
SAP Note 2015553, yang mencantumkan prasyarat untuk penyebaran perangkat lunak SAP yang didukung SAP di Azure.
SAP Note 2205917, yang telah menyarankan pengaturan OS untuk SUSE Linux Enterprise Server (SLES) untuk Aplikasi SAP
Catatan SAP 2178632, yang memiliki informasi mendetail tentang semua metrik pemantauan yang dilaporkan untuk SAP di Azure
Catatan SAP 2191498, yang memiliki versi Agen Host SAP yang diperlukan untuk Linux di Azure
Catatan SAP2243692, yang memiliki informasi tentang lisensi SAP di Linux di Azure
Catatan SAP 2578899, yang memiliki informasi umum tentang SUSE Linux Enterprise Server 15
Catatan SAP 1275776, yang memiliki informasi tentang menyiapkan SUSE Linux Enterprise Server untuk lingkungan SAP
Catatan SAP 1999351, yang memiliki informasi pemecahan masalah tambahan untuk Azure Enhanced Monitoring Extension untuk SAP
Wiki komunitas SAP, yang memiliki semua Catatan SAP yang diperlukan untuk Linux
Microsoft Azure Virtual Machines perencanaan dan penerapan untuk SAP di Linux
Azure Virtual Machines penyebaran untuk SAP pada Linux
Penyebaran Azure Virtual Machines DBMS untuk SAP pada Linux
Panduan praktik terbaik high availability SUSE SAP
Catatan rilis Ekstensi High Availability SUSE
Dokumentasi Azure Files
Praktik terbaik NFS NetApp

Gambaran Umum

Artikel ini menjelaskan konfigurasi ketersediaan tinggi untuk ASCS dengan struktur pemasangan sederhana. Untuk menyebarkan lapisan aplikasi SAP, Anda memerlukan direktori bersama seperti /sapmnt/SID, /usr/sap/SID, dan /usr/sap/trans, yang sangat tersedia. Anda dapat menyebarkan sistem file ini di NFS di Azure FilesatauAzure NetApp Files.

Anda masih memerlukan kluster Pacemaker untuk membantu melindungi komponen satu titik kegagalan seperti SAP Central Services (SCS) dan ASCS.

Dibandingkan dengan konfigurasi kluster Pacemaker klasik, dengan penyebaran pemasangan sederhana, kluster tidak mengelola sistem file. Konfigurasi ini hanya didukung pada SLES untuk Aplikasi SAP 15 dan yang lebih baru. Artikel ini tidak membahas lapisan database secara detail.

Contoh konfigurasi dan perintah penginstalan menggunakan nomor instans berikut.

Nama Instans	Nomor instans
ASCS	00
Server Replikasi Antrean (ERS)	01
Server Aplikasi Utama (PAS)	02
Server Aplikasi Tambahan (AAS)	03
Pengidentifikasi sistem SAP	NW1

Penting

Konfigurasi dengan struktur pemasangan sederhana hanya didukung pada SLES untuk Aplikasi SAP 15 dan rilis yang lebih baru.

Diagram that shows SAP NetWeaver high availability with simple mount and NFS.

Siapkan infrastruktur

Agen sumber daya untuk Instans SAP disertakan dalam SUSE Linux Enterprise Server untuk Aplikasi SAP. Gambar untuk SUSE Linux Enterprise Server untuk Aplikasi SAP 12 atau 15 tersedia di Marketplace Azure. Anda dapat menggunakan gambar untuk menyebarkan VM baru.

Sebarkan Linux VM secara manual melalui portal Azure

Dokumen ini mengasumsikan bahwa Anda telah menyebarkan grup sumber daya, Azure Virtual Network, dan subnet.

Sebarkan komputer virtual dengan SLES untuk gambar Aplikasi SAP. Pilih versi gambar SLES yang sesuai yang didukung untuk sistem SAP. Anda dapat menyebarkan VM di salah satu opsi ketersediaan - set skala komputer virtual, zona ketersediaan, atau set ketersediaan.

Mengonfigurasi load balancer Azure

Selama konfigurasi VM, Anda memiliki opsi untuk membuat atau memilih keluar dari load balancer di bagian jaringan. Ikuti langkah-langkah di bawah ini untuk mengonfigurasi load balancer standar untuk penyiapan ketersediaan tinggi SAP ASCS dan SAP ERS.

Ikuti panduan buat load balancer untuk menyiapkan load balancer standar untuk sistem SAP ketersediaan tinggi menggunakan portal Azure. Selama penyiapan load balancer, pertimbangkan poin berikut.

Konfigurasi IP Frontend: Buat dua IP frontend, satu untuk ASCS dan satu lagi untuk ERS. Pilih jaringan virtual dan subnet yang sama dengan komputer virtual ASCS/ERS Anda.
Kumpulan Backend: Buat kumpulan backend dan tambahkan ASCS dan ERS VM.
Aturan masuk: Buat dua aturan penyeimbangan beban, satu untuk ASCS dan satu lagi untuk ERS. Ikuti langkah yang sama untuk kedua aturan penyeimbangan beban.
- Alamat IP frontend: Pilih IP frontend
- Kumpulan backend: Pilih kumpulan backend
- Periksa "Port ketersediaan tinggi"
- Protocol: TCP
- Pemeriksaan Kesehatan: Buat pemeriksaan kesehatan dengan detail di bawah ini (berlaku untuk ASCS atau ERS)
  - Protocol: TCP
  - Port: [misalnya: 620<Instance-no.> untuk ASCS, 621<Instance-no.> untuk ERS]
  - Interval: 5
  - Ambang Probe: 2
- Batas waktu diam (menit): 30
- Periksa "Aktifkan IP Mengambang"

Catatan

Nomor properti konfigurasi pemeriksaan kesehatanOfProbes, atau dikenal sebagai "Ambang tidak sehat" di Portal, tidak dihormati. Jadi untuk mengontrol jumlah pemeriksaan berturut-turut yang berhasil atau gagal, atur properti "probeThreshold" ke 2. Saat ini tidak dimungkinkan untuk mengatur properti ini menggunakan portal Azure, jadi gunakan perintah Azure CLI atau PowerShell.

Untuk membuat load balancer standar Azure untuk penyiapan ketersediaan tinggi sistem SAP menggunakan Azure CLI, ikuti langkah-langkah di bawah ini.

# Create the load balancer resource and another frontend IP resource for ERS. Allocation of private IP address is dynamic using below command. If you want to pass static IP address, include parameter --private-ip-address.
az network lb create -g MyResourceGroup -n MyLB --sku Standard --vnet-name MyVMsVirtualNetwork --subnet MyVMsSubnet --backend-pool-name MyBackendPool --frontend-ip-name MyASCSFrontendIpName
az network lb frontend-ip create -g MyResourceGroup --lb-name MyLB -n MyERSFrontendIpName --vnet-name MyVMsVirtualNetwork --subnet MyVMsSubnet

# Create the health probe for ASCS and ERS
az network lb probe create -g MyResourceGroup --lb-name MyLB -n MyASCSHealthProbe --protocol tcp --port MyASCSHealthProbePort --interval 5 --probe-threshold 2
az network lb probe create -g MyResourceGroup --lb-name MyLB -n MyERSHealthProbe --protocol tcp --port MyERSHealthProbePort --interval 5 --probe-threshold 2
 
# Create load balancing rule for ASCS and ERS
az network lb rule create -g MyResourceGroup --lb-name MyLB -n MyASCSRuleName --protocol All --frontend-ip-name MyASCSFrontendIpName --frontend-port 0 --backend-pool-name MyBackendPool --backend-port 0 --probe-name MyASCSHealthProbe --idle-timeout-in-minutes 30 --enable-floating-ip 
az network lb rule create -g MyResourceGroup --lb-name MyLB -n MyERSRuleName --protocol All --frontend-ip-name MyERSFrontendIpName --frontend-port 0 --backend-pool-name MyBackendPool --backend-port 0 --probe-name MyERSHealthProbe --idle-timeout-in-minutes 30 --enable-floating-ip  

# Add ASCS and ERS VMs in backend pool
az network nic ip-config address-pool add --address-pool MyBackendPool --ip-config-name ASCSVmIpConfigName --nic-name ASCSVmNicName -g MyResourceGroup --lb-name MyLB
az network nic ip-config address-pool add --address-pool MyBackendPool --ip-config-name ERSVmIpConfigName --nic-name ERSVmNicName -g MyResourceGroup --lb-name MyLB

Perluas untuk melihat kode CLI lengkap

# Define variables for Resource Group, ASCS/ERS VMs.

rg_name="resourcegroup-name"
vm1_name="ascs-vm-name"
vm2_name="ers-vm-name"

# Define variables for the load balancer that will be use in the creation of the load balancer resource.

lb_name="sap-ci-sid-ilb"
bkp_name="ascs-ers-backendpool"
ascs_fip_name="ascs-frontendip"
ers_fip_name="ers-frontendip"

ascs_hp_name="ascs-healthprobe"
ascs_hp_port="62000"
ers_hp_name="ers-healthprobe"
ers_hp_port="62101"

ascs_rule_name="ascs-lb-rule"
ers_rule_name="ers-lb-rule"
 
# Command to get VMs network information like primary NIC name, primary IP configuration name, virtual network name, and subnet name.
 
vm1_primary_nic=$(az vm nic list -g $rg_name --vm-name $vm1_name --query "[?primary == \`true\`].{id:id} || [?primary == \`null\`].{id:id}" -o tsv)
vm1_nic_name=$(basename $vm1_primary_nic)
vm1_ipconfig=$(az network nic ip-config list -g $rg_name --nic-name $vm1_nic_name --query "[?primary == \`true\`].name" -o tsv)
 
vm2_primary_nic=$(az vm nic list -g $rg_name --vm-name $vm2_name --query "[?primary == \`true\`].{id:id} || [?primary == \`null\`].{id:id}" -o tsv)
vm2_nic_name=$(basename $vm2_primary_nic)
vm2_ipconfig=$(az network nic ip-config list -g $rg_name --nic-name $vm2_nic_name --query "[?primary == \`true\`].name" -o tsv)
 
vnet_subnet_id=$(az network nic show -g $rg_name -n $vm1_nic_name --query ipConfigurations[0].subnet.id -o tsv)
vnet_name=$(basename $(dirname $(dirname $vnet_subnet_id)))
subnet_name=$(basename $vnet_subnet_id)
 
# Create the load balancer resource and another frontend IP resource for ERS.
# Allocation of private IP address is dynamic using below command. If you want to pass static IP address, include parameter --private-ip-address. 
  
az network lb create -g $rg_name -n $lb_name --sku Standard --vnet-name $vnet_name --subnet $subnet_name --backend-pool-name $bkp_name --frontend-ip-name $ascs_fip_name
az network lb frontend-ip create -g $rg_name --lb-name $lb_name -n $ers_fip_name --vnet-name $vnet_name --subnet $subnet_name
 
# Create the health probe for ASCS and ERS
 
az network lb probe create -g $rg_name --lb-name $lb_name -n $ascs_hp_name --protocol tcp --port $ascs_hp_port --interval 5 --probe-threshold 2
az network lb probe create -g $rg_name --lb-name $lb_name -n $ers_hp_name --protocol tcp --port $ers_hp_port --interval 5 --probe-threshold 2
 
# Create load balancing rule for ASCS and ERS
  
az network lb rule create -g $rg_name --lb-name $lb_name -n  $ascs_rule_name --protocol All --frontend-ip-name $ascs_fip_name --frontend-port 0 --backend-pool-name $bkp_name --backend-port 0 --probe-name $ascs_hp_name --idle-timeout-in-minutes 30 --enable-floating-ip 
az network lb rule create -g $rg_name --lb-name $lb_name -n  $ers_rule_name --protocol All --frontend-ip-name $ers_fip_name --frontend-port 0 --backend-pool-name $bkp_name --backend-port 0 --probe-name $ers_hp_name --idle-timeout-in-minutes 30 --enable-floating-ip 
 
# Add ASCS and ERS VMs in backend pool
 
az network nic ip-config address-pool add --address-pool $bkp_name --ip-config-name $vm1_ipconfig --nic-name $vm1_nic_name -g $rg_name --lb-name $lb_name
az network nic ip-config address-pool add --address-pool $bkp_name --ip-config-name $vm2_ipconfig --nic-name $vm2_nic_name -g $rg_name --lb-name $lb_name

# [OPTIONAL] Change the assignment of frontend IP address from dynamic to static
afip=$(az network lb frontend-ip show --lb-name $lb_name -g $rg_name -n $ascs_fip_name --query "{privateIPAddress:privateIPAddress}" -o tsv)
az network lb frontend-ip update --lb-name $lb_name -g $rg_name -n $ascs_fip_name --private-ip-address $afip

efip=$(az network lb frontend-ip show --lb-name $lb_name -g $rg_name -n $ers_fip_name --query "{privateIPAddress:privateIPAddress}" -o tsv)
az network lb frontend-ip update --lb-name $lb_name -g $rg_name -n $ers_fip_name --private-ip-address $efip

Untuk membuat load balancer standar Azure untuk penyiapan ketersediaan tinggi sistem SAP menggunakan Azure PowerShell, ikuti langkah-langkah di bawah ini.

# Create frontend IP configurations
$ascs_fip = New-AzLoadBalancerFrontendIpConfig -Name MyASCSFrontendIpName -SubnetId MyASCSSubnetName
$ers_fip = New-AzLoadBalancerFrontendIpConfig -Name MyERSFrontendIpName -SubnetId MyERSSubnetName

# Create backend pool
$bePool = New-AzLoadBalancerBackendAddressPoolConfig -Name MyBackendPool

# Create health probes for ASCS and ERS
$ascs_healthprobe = New-AzLoadBalancerProbeConfig -Name MyASCSHealthProbe -Protocol 'tcp' -Port MyASCSHealthProbePort -IntervalInSeconds 5 -ProbeThreshold 2 -ProbeCount 1
$ers_healthprobe = New-AzLoadBalancerProbeConfig -Name $ers_hp_name -Protocol 'tcp' -Port MyASCSHealthProbePort -IntervalInSeconds 5 -ProbeThreshold 2 -ProbeCount 1

# Create load balancing rules for ASCS and ERS
$ascs_rule = New-AzLoadBalancerRuleConfig -Name MyASCSRuleName -Probe $ascs_healthprobe -Protocol 'All' -IdleTimeoutInMinutes 30 -FrontendIpConfiguration $ascs_fip -BackendAddressPool $bePool -EnableFloatingIP
$ers_rule = New-AzLoadBalancerRuleConfig -Name MyERSRuleName -Probe $ers_healthprobe -Protocol 'All' -IdleTimeoutInMinutes 30 -FrontendIpConfiguration $ers_fip -BackendAddressPool $bePool -EnableFloatingIP

# Create the load balancer resource
$lb = New-AzLoadBalancer -ResourceGroupName MyResourceGroup -Name MyLB -Location MyRegion -Sku 'Standard' -FrontendIpConfiguration $ascs_fip, $ers_fip -BackendAddressPool $bePool -LoadBalancingRule $ascs_rule, $ers_rule -Probe $ascs_healthprobe, $ers_healthprobe

Perluas untuk menampilkan kode PowerShell lengkap

# Define variables for Resource Group, and Database VMs.

$rg_name = 'resourcegroup-name'
$vm1_name = 'ascs-vm-name'
$vm2_name = 'ers-vm-name'

# Define variables for the load balancer that will be utilized in the creation of the load balancer resource.

$lb_name = 'sap-ci-sid-ilb'
$bkp_name = 'ascs-ers-backendpool'
$ascs_fip_name = 'ascs-frontendip'
$ers_fip_name = 'ers-frontendip'
 
$ascs_hp_name = 'ascs-healthprobe'
$ascs_hp_port = '62000'
$ers_hp_name = 'ers-healthprobe'
$ers_hp_port = '62101'
 
$ascs_rule_name = 'ascs-lb-rule'
$ers_rule_name = 'ers-lb-rule'
 
# Command to get VMs network information like NIC name, IP configuration name, Virtual Network name, and Subnet 
 
$vm1 = Get-AzVM -ResourceGroupName $rg_name -Name $vm1_name
$vm1_primarynic = $vm1.NetworkProfile.NetworkInterfaces | Where-Object {($_.Primary -eq "True") -or ($_.Primary -eq $null)}
$vm1_nic_name = $vm1_primarynic.Id.Split('/')[-1]
 
$vm1_nic_info = Get-AzNetworkInterface -Name $vm1_nic_name -ResourceGroupName $rg_name
$vm1_primaryip = $vm1_nic_info.IpConfigurations | Where-Object -Property Primary -EQ -Value "True"
$vm1_ipconfig_name = ($vm1_primaryip).Name
 
$vm2 = Get-AzVM -ResourceGroupName $rg_name -Name $vm2_name
$vm2_primarynic = $vm2.NetworkProfile.NetworkInterfaces | Where-Object {($_.Primary -eq "True") -or ($_.Primary -eq $null)}
$vm2_nic_name = $vm2_primarynic.Id.Split('/')[-1]
 
$vm2_nic_info = Get-AzNetworkInterface -Name $vm2_nic_name -ResourceGroupName $rg_name
$vm2_primaryip = $vm2_nic_info.IpConfigurations | Where-Object -Property Primary -EQ -Value "True"
$vm2_ipconfig_name = ($vm2_primaryip).Name
 
$vnet_name = $vm1_primaryip.Subnet.Id.Split('/')[-3]
$subnet_name = $vm1_primaryip.Subnet.Id.Split('/')[-1]
$location = $vm1.Location
 
# Create frontend IP resource for ASCS and ERS.
# Allocation of private IP address is dynamic using below command. If you want to pass static IP address, include parameter -PrivateIpAddress
 
$ascs_lb_fip = @{
    Name = $ascs_fip_name
    SubnetId = $vm1_primaryip.Subnet.Id
}
$ascs_fip = New-AzLoadBalancerFrontendIpConfig @ascs_lb_fip
 
$ers_lb_fip = @{
    Name = $ers_fip_name
    SubnetId = $vm2_primaryip.Subnet.Id
}
$ers_fip = New-AzLoadBalancerFrontendIpConfig @ers_lb_fip

# Create backend pool
 
$bepool = New-AzLoadBalancerBackendAddressPoolConfig -Name $bkp_name

# Create the health probe for ASCS and ERS
 
$ascs_probe = @{
    Name = $ascs_hp_name
    Protocol = 'tcp'
    Port = $ascs_hp_port
    IntervalInSeconds = '5'
    ProbeThreshold = '2'
    ProbeCount = '1'
}
$ascs_healthprobe = New-AzLoadBalancerProbeConfig @ascs_probe
    
$ers_probe = @{
    Name = $ers_hp_name
    Protocol = 'tcp'
    Port = $ers_hp_port
    IntervalInSeconds = '5'
    ProbeThreshold = '2'
    ProbeCount = '1'
}
$ers_healthprobe = New-AzLoadBalancerProbeConfig @ers_probe

# Create load balancing rule for ASCS and ERS
 
$ascs_lbrule = @{
    Name = $ascs_rule_name
    Probe = $ascs_healthprobe
    Protocol = 'All'
    IdleTimeoutInMinutes = '30'
    FrontendIpConfiguration = $ascs_fip
    BackendAddressPool = $bePool 
} 
$ascs_rule = New-AzLoadBalancerRuleConfig @ascs_lbrule -EnableFloatingIP 
 
$ers_lbrule = @{
    Name = $ers_rule_name
    Probe = $ers_healthprobe
    Protocol = 'All'
    IdleTimeoutInMinutes = '30'
    FrontendIpConfiguration = $ers_fip
    BackendAddressPool = $bePool 
} 
$ers_rule = New-AzLoadBalancerRuleConfig @ers_lbrule -EnableFloatingIP

# Create the load balancer resource
 
$loadbalancer = @{
    ResourceGroupName = $rg_name
    Name = $lb_name
    Location = $location
    Sku = 'Standard'
    FrontendIpConfiguration = $ascs_fip,$ers_fip
    BackendAddressPool = $bePool 
    LoadBalancingRule = $ascs_rule,$ers_rule
    Probe = $ascs_healthprobe,$ers_healthprobe 
} 
$lb = New-AzLoadBalancer @loadbalancer

# Add ASCS and ERS VMs in backend pool of load balanceer
 
$vm1_primaryip.LoadBalancerBackendAddressPools.Add($lb.BackendAddressPools[0])
$vm2_primaryip.LoadBalancerBackendAddressPools.Add($lb.BackendAddressPools[0])
$vm1_nic_info | Set-AzNetworkInterface
$vm2_nic_info | Set-AzNetworkInterface

Penting

Alamat IP mengambang tidak didukung pada konfigurasi IP sekunder kartu antarmuka jaringan (NIC) dalam skenario penyeimbangan beban. Untuk detailnya, lihat batasan Azure Load Balancer. Jika Anda memerlukan alamat IP lain untuk VM, sebarkan NIC kedua.

Catatan

Ketika mesin virtual tanpa alamat IP publik ditempatkan di kumpulan back-end dari load balancer Azure Standar internal (tanpa alamat IP publik), tidak akan ada konektivitas internet keluar kecuali Anda melakukan konfigurasi tambahan untuk memungkinkan perutean ke titik akhir publik. Untuk detail tentang cara mencapai konektivitas keluar, lihat Konektivitas titik akhir publik untuk mesin virtual menggunakan Azure Standard Load Balancer dalam skenario ketersediaan tinggi SAP.

Penting

Jangan aktifkan stempel waktu TCP pada Azure VM yang ditempatkan di belakang Azure Load Balancer. Mengaktifkan tanda waktu TCP akan menyebabkan pemeriksaan kesehatan gagal. Set net.ipv4.tcp_timestamps parameter ke 0. Untuk detailnya, lihat Pemeriksaan kesehatan Load Balancer.
Untuk mencegah saptune mengubah nilai yang diatur net.ipv4.tcp_timestamps secara manual dari 0 kembali ke 1, Anda harus memperbarui versi saptune ke 3.1.1 atau yang lebih tinggi. Untuk detail selengkapnya, lihat saptune 3.1.1 – Apakah Saya Perlu Memperbarui?.

Menyebarkan NFS

Ada dua opsi untuk menyebarkan NFS asli Azure guna menghosting direktori bersama SAP. Anda dapat menyebarkan berbagi file NFS di Azure Files atau menyebarkan volume NFS di Azure NetApp Files. NFS pada Azure Files mendukung protokol NFSv4.1. NFS di Azure NetApp Files mendukung NFSv4.1 dan NFSv3.

Bagian selanjutnya menjelaskan langkah-langkah untuk menyebarkan NFS. Pilih hanya satu opsi.

Menyebarkan akun penyimpanan Azure Files dan berbagi NFS

NFS di Azure Files berjalan di atas penyimpanan premium Azure Files. Sebelum Anda menyiapkan NFS di Azure Files, lihat Cara membuat berbagi NFS.

Ada dua opsi untuk redundansi dalam wilayah Azure:

Penyimpanan redundan lokal (LRS), menawarkan replikasi data sinkron lokal dalam zona.
Penyimpanan zona-redundan (ZRS) mereplikasi data Anda secara sinkron di tiga zona ketersediaan di wilayah tersebut.

Periksa apakah wilayah Azure yang Anda pilih menawarkan NFSv4.1 pada Azure Files dengan redundansi yang sesuai. Tinjau ketersediaan wilayah Azure Files oleh Azure untuk Penyimpanan File Premium. Jika skenario Anda mendapat keuntungan dari ZRS, verifikasi bahwa berbagi file premium dengan ZRS didukung di wilayah Azure Anda.

Sebaiknya Anda mengakses akun penyimpanan Azure melalui titik akhir privat Azure. Pastikan untuk menyebarkan titik akhir akun penyimpanan Azure Files, dan mesin virtual tempat Anda perlu memasang berbagi NFS, di jaringan virtual Azure yang sama atau di jaringan virtual Azure yang di-peering.

Menyebarkan akun penyimpanan Azure Files bernama sapnfsafs. Contoh ini menggunakan ZRS. Jika Anda tidak terbiasa dengan proses ini, lihat Membuat akun penyimpanan untuk portal Microsoft Azure.
Pada tab Dasar , gunakan pengaturan ini:
1. Untuk Nama akun penyimpanan, masukkan sapnfsafs.
2. Untuk Performa, pilih Premium.
3. Untuk Jenis akun premium, pilih FileStorage.
4. Untuk Replikasi, pilih Zona redundansi (ZRS).
Pilih Selanjutnya.
Pada tab Tingkat Lanjut, hapus Memerlukan transfer aman untuk REST API. Jika Anda tidak menghapus opsi ini, Anda tidak dapat memasang bagian NFS ke mesin virtual Anda. Operasi pemasangan akan habis.
Pilih Selanjutnya.
Di bagian Jaringan, konfigurasikan pengaturan ini:
1. Di bawah Konektivitas jaringan, untuk Metode konektivitas, pilih Titik akhir privat.
2. Di bagian Titik akhir privat, pilih Tambahkan titik akhir privat.
Pada panel Buat titik akhir privat, pilih langganan, grup sumber daya, dan lokasi Anda. Kemudian buat pilihan berikut:
1. Untuk Nama, masukkan sapnfsafs_pe.
2. Untuk Sub-sumber daya penyimpanan, pilih file.
3. Di bawah Jaringan, untuk Jaringan virtual, pilih jaringan dan subnet virtual yang akan digunakan. Sekali lagi, Anda dapat menggunakan jaringan virtual tempat mesin virtual SAP Anda berada atau jaringan virtual yang di-peering.
4. Di bawah Integrasi DNS Privat, terima opsi default Ya untuk Mengintegrasikan dengan zona DNS privat. Pastikan untuk memilih zona DNS privat Anda.
5. Pilih OK.
Pada tab Jaringan lagi, pilih Berikutnya.
Pada tab Perlindungan data, pertahankan semua pengaturan default.
Pilih Tinjau + buat untuk memvalidasi konfigurasi Anda.
Tunggu validasi selesai. Perbaiki masalah apa pun sebelum melanjutkan.
Di tab Tinjau + buat, pilih Buat.

Selanjutnya, sebarkan berbagi NFS di akun penyimpanan yang Anda buat. Dalam contoh ini, ada dua pembagian NFS, sapnw1 dan saptrans.

Masuk ke portal Azure.
Pilih atau cari Akun penyimpanan.
Pada halaman Akun penyimpanan, pilih sapafsnfs.
Pada menu sumber daya sapafsnfs, pilih Berbagi file di bagian Penyimpanan data.
Pada halaman Berbagi file, pilih Berbagi file, lalu:
1. Untuk Nama, masukkan sapnw1, saptrans.
2. Pilih ukuran pembagian yang sesuai. Pertimbangkan ukuran data yang disimpan pada persyaratan berbagi, I/O per detik (IOPS), dan throughput. Untuk informasi selengkapnya, lihat Target berbagi file Azure.
3. Pilih NFS sebagai protokol.
4. Pilih Tidak ada Squash akar. Jika tidak, ketika Anda memasang pembagian pada VM, Anda tidak dapat melihat pemilik file atau grup.

Sistem file SAP yang tidak perlu dipasang melalui NFS juga dapat disebarkan di penyimpanan disk Azure. Dalam contoh ini, Anda dapat menyebarkan /usr/sap/NW1/D02 dan /usr/sap/NW1/D03 di penyimpanan disk Azure.

Pertimbangan penting untuk NFS pada pembagian Azure Files

Saat Anda merencanakan penyebaran dengan NFS di Azure Files, pertimbangkan poin penting berikut:

Ukuran berbagi minimum adalah 100 gibibytes (GiB). Anda hanya membayar kapasitas berbagi yang disediakan.
Ukuran pembagian NFS Anda tidak hanya berdasarkan persyaratan kapasitas, tetapi juga persyaratan IOPS dan throughput. Untuk detailnya, lihat Target berbagi file Azure.
Uji beban kerja untuk memvalidasi ukuran Anda dan pastikan beban kerja tersebut memenuhi target performa Anda. Untuk mempelajari cara memecahkan masalah performa dengan NFS di Azure Files, lihat Memecahkan masalah performa berbagi file Azure.
Untuk sistem SAP J2EE, menempatkan /usr/sap/<SID>/J<nr> pada NFS pada Azure Files tidak didukung.
Jika sistem SAP Anda memiliki banyak pekerjaan batch, Anda mungkin memiliki jutaan log pekerjaan. Jika log tugas batch SAP disimpan dalam sistem file, berikan perhatian khusus pada ukuran pembagian sapmnt. Pada SAP_BASIS 7.52, perilaku default untuk log pekerjaan batch harus disimpan dalam database. Untuk detailnya, lihat Log pekerjaan di database.
Sebarkan bagian sapmnt yang terpisah untuk setiap sistem SAP.
Jangan gunakan berbagi sapmnt untuk aktivitas lain, seperti antarmuka.
Jangan gunakan berbagi saptrans untuk aktivitas lain, seperti antarmuka.
Hindari mengonsolidasikan pembagian untuk sistem SAP yang terlalu banyak dalam satu akun penyimpanan. Ada juga target skalabilitas dan performa untuk akun penyimpanan. Berhati-hatilah agar tidak melebihi batas untuk akun penyimpanan juga.
Secara umum, jangan mengonsolidasikan berbagi untuk lebih dari lima sistem SAP dalam satu akun penyimpanan. Pedoman ini membantu Anda menghindari melebihi batas akun penyimpanan dan menyederhanakan analisis performa.
Secara umum, hindari mencampur pembagian seperti sapmnt untuk sistem SAP non-produksi dan produksi di akun penyimpanan yang sama.
Kami menyarankan Anda untuk menyebarkan pada SLES 15 SP2 atau yang lebih baru untuk mendapatkan keuntungan dari peningkatan klien NFS.
Gunakan titik akhir privat. Jika terjadi kegagalan zonal, sesi NFS Anda secara otomatis beralih ke zona yang sehat. Anda tidak perlu memasang ulang pembagian NFS di mesin virtual Anda.
Jika Anda menyebarkan mesin virtual di seluruh zona ketersediaan, gunakan akun penyimpanan dengan ZRS di wilayah Azure yang mendukung ZRS.
Azure Files saat ini tidak mendukung replikasi lintas wilayah otomatis untuk skenario pemulihan bencana.

Sebarkan sumber daya Azure NetApp Files

Periksa apakah layanan Azure NetApp Files tersedia di wilayah Azure pilihan Anda.
Membuat akun NetApp di wilayah Azure yang dipilih. Ikuti petunjuk berikut.
Siapkan kumpulan kapasitas Azure NetApp Files. Ikuti petunjuk berikut.

Arsitektur SAP NetWeaver yang disajikan dalam artikel ini menggunakan kumpulan kapasitas Azure NetApp Files tunggal, SKU Premium. Kami merekomendasikan SKU Premium Azure NetApp Files untuk beban kerja aplikasi SAP NetWeaver di Azure.
Delegasikan subnet ke Azure NetApp Files, seperti yang dijelaskan dalam petunjuk ini.
Sebarkan volume Azure NetApp Files dengan mengikuti petunjuk ini. Sebarkan volume di subnet Azure NetApp Files yang ditunjuk. Alamat IP volume Azure NetApp ditetapkan secara otomatis.

Perlu diingat bahwa sumber daya Azure NetApp Files dan VM Azure harus berada di jaringan virtual Azure yang sama atau di jaringan virtual Azure yang diserekan. Contoh ini menggunakan dua volume Azure NetApp Files: sapnw1 dan trans. Jalur file yang dipasang ke titik pemasangan yang sesuai adalah:
- Volume sapnw1 (nfs://10.27.1.5/sapnw1/sapmntNW1)
- Volume sapnw1 (nfs://10.27.1.5/sapnw1/usrsapNW1)
- Volume trans (nfs://10.27.1.5/trans)

Sistem file SAP yang tidak perlu dibagikan juga dapat disebarkan di penyimpanan disk Azure. Misalnya, /usr/sap/NW1/D02 dan /usr/sap/NW1/D03 dapat disebarkan sebagai penyimpanan disk Azure.

Pertimbangan penting untuk NFS di Azure NetApp Files

Saat Anda mempertimbangkan Azure NetApp Files untuk arsitektur ketersediaan tinggi SAP NetWeaver, perhatikan pertimbangan penting berikut ini:

Kumpulan kapasitas minimum adalah 4 tebibyte (TiB). Anda dapat meningkatkan ukuran kumpulan kapasitas dengan tahapan 1-TiB.
Volume minimum adalah 100 GiB.
Azure NetApp Files dan semua mesin virtual tempat volume Azure NetApp Files akan dipasang harus berada di jaringan virtual Azure yang sama atau di jaringan virtual yang di-peering di wilayah yang sama. Akses Azure NetApp Files melalui peering jaringan virtual di wilayah yang sama didukung. Akses Azure NetApp Files melalui peering global belum didukung.
Jaringan virtual yang dipilih harus memiliki subnet yang diserahkan ke Azure NetApp Files.
Karakteristik throughput dan performa volume Azure NetApp Files adalah fungsi dari kuota volume dan tingkat layanan, seperti yang didokumentasikan dalam Tingkat layanan untuk Azure NetApp Files. Saat Anda mengukur volume Azure NetApp Files untuk SAP, pastikan throughput yang dihasilkan memenuhi persyaratan aplikasi.
Azure NetApp Files menawarkan kebijakan ekspor. Anda dapat mengontrol klien yang diizinkan dan jenis akses (misalnya, baca/tulis atau baca-saja).
Azure NetApp Files belum mengenali zona. Saat ini, Azure NetApp Files tidak disebarkan di semua zona ketersediaan di wilayah Azure. Waspadai potensi implikasi latensi di beberapa wilayah Azure.
Volume Azure NetApp Files dapat disebarkan sebagai volume NFSv3 atau NFSv4.1. Kedua protokol didukung untuk lapisan aplikasi SAP (ASCS/ERS, server aplikasi SAP).

Menyiapkan ASCS

Selanjutnya, Anda akan menyiapkan dan menginstal instans SAP ASCS dan ERS.

Membuat kluster Pacemaker

Ikuti langkah-langkah dalam Menyiapkan Pacemaker di SUSE Linux Enterprise Server di Azure untuk membuat kluster Pacemaker dasar untuk SAP ASCS.

Bersiap untuk penginstalan

Item berikut dimulai dengan:

[A]: Berlaku untuk semua node.
[1]: Hanya berlaku untuk node 1.
[2]: Hanya berlaku untuk node 2.

[A] Menginstal konektor SUSE versi terbaru.

sudo zypper install sap-suse-cluster-connector

[A] Menginstal sapstartsrv agen sumber daya.

sudo zypper install sapstartsrv-resource-agents

[A] Memperbarui agen sumber daya SAP.

Untuk menggunakan konfigurasi yang dijelaskan dalam artikel ini, Anda memerlukan patch untuk paket agen sumber daya. Untuk memeriksa apakah patch sudah diinstal, gunakan perintah berikut.
```
sudo grep 'parameter name="IS_ERS"' /usr/lib/ocf/resource.d/heartbeat/SAPInstance
```
Outputnya harus mirip dengan contoh berikut.
```
<parameter name="IS_ERS" unique="0" required="0">;
```
Jika perintah grep tidak menemukan parameter IS_ERS, Anda perlu memasang patch yang tercantum di halaman unduhan SUSE.

Penting

Anda perlu menginstal setidaknya sapstartsrv-resource-agents versi 0.91 dan resource-agents 4.x mulai November 2021.

[A] Menyiapkan resolusi nama host.

Anda dapat menggunakan server DNS atau memodifikasi /etc/hosts pada semua node. Contoh ini memperlihatkan cara menggunakan file /etc/hosts.

sudo vi /etc/hosts

Sisipkan baris berikut ke /etc/hosts. Mengubah alamat IP dan nama host agar sesuai dengan lingkungan Anda.

 # IP address of cluster node 1
 10.27.0.6    sap-cl1
 # IP address of cluster node 2
 10.27.0.7     sap-cl2
 # IP address of the load balancer's front-end configuration for SAP NetWeaver ASCS
 10.27.0.9   sapascs
 # IP address of the load balancer's front-end configuration for SAP NetWeaver ERS
 10.27.0.10    sapers

[A] Konfigurasikan file SWAP.

sudo vi /etc/waagent.conf

# Check if the ResourceDisk.Format property is already set to y, and if not, set it.
ResourceDisk.Format=y

# Set the ResourceDisk.EnableSwap property to y.
# Create and use the SWAP file on the resource disk.
ResourceDisk.EnableSwap=y

# Set the size of the SWAP file with the ResourceDisk.SwapSizeMB property.
# The free space of resource disk varies by virtual machine size. Don't set a value that's too big. You can check the SWAP space by using the swapon command.
ResourceDisk.SwapSizeMB=2000

Mulai ulang Agen untuk mengaktifkan perubahan.

sudo service waagent restart

Siapkan direktori SAP jika Anda menggunakan NFS di Azure Files

[1] Membuat direktori SAP pada NFS bersama.

Pasang sementara berbagi NFS sapnw1 ke salah satu mesin virtual dan buat direktori SAP yang akan digunakan sebagai titik pemasangan berlapis.

# Temporarily mount the volume.
sudo mkdir -p /saptmp
sudo mount -t nfs sapnfsafs.file.core.windows.net:/sapnfsafs/sapnw1 /saptmp -o noresvport,vers=4,minorversion=1,sec=sys
# Create the SAP directories.
sudo cd /saptmp
sudo mkdir -p sapmntNW1
sudo mkdir -p usrsapNW1
# Unmount the volume and delete the temporary directory.
cd ..
sudo umount /saptmp
sudo rmdir /saptmp

[A] Membuat direktori bersama.

sudo mkdir -p /sapmnt/NW1
sudo mkdir -p /usr/sap/NW1
sudo mkdir -p /usr/sap/trans

sudo chattr +i /sapmnt/NW1
sudo chattr +i /usr/sap/NW1
sudo chattr +i /usr/sap/trans

[A] Memasang sistem file.

Dengan konfigurasi pemasangan yang sederhana, kluster Pacemaker tidak mengontrol sistem file.

echo "sapnfsafs.file.core.windows.net:/sapnfsafs/sapnw1/sapmntNW1 /sapmnt/NW1 nfs noresvport,vers=4,minorversion=1,sec=sys  0  0" >> /etc/fstab
echo "sapnfsafs.file.core.windows.net:/sapnfsafs/sapnw1/usrsapNW1/ /usr/sap/NW1 nfs noresvport,vers=4,minorversion=1,sec=sys  0  0" >> /etc/fstab
echo "sapnfsafs.file.core.windows.net:/sapnfsafs/saptrans /usr/sap/trans nfs noresvport,vers=4,minorversion=1,sec=sys  0  0" >> /etc/fstab   
# Mount the file systems.
mount -a

Siapkan direktori SAP jika Anda menggunakan NFS di Azure NetApp Files

Petunjuk di bagian ini hanya berlaku jika Anda menggunakan volume Azure NetApp Files dengan protokol NFSv4.1. Lakukan konfigurasi pada semua mesin virtual tempat volume Azure NetApp Files NFSv4.1 akan dipasang.

[A] Nonaktifkan pemetaan ID.

Verifikasi pengaturan domain NFS. Pastikan domain dikonfigurasi sebagai domain default Azure NetApp Files, defaultv4iddomain.com. Verifikasi juga bahwa pemetaan diatur ke nobody.

sudo cat /etc/idmapd.conf
# Examplepython-azure-mgmt-compute
[General]
Verbosity = 0
Pipefs-Directory = /var/lib/nfs/rpc_pipefs
Domain = defaultv4iddomain.com
[Mapping]
Nobody-User = nobody
Nobody-Group = nobody

Verifikasi nfs4_disable_idmapping. Harus diatur ke Y.

Untuk membuat struktur direktori tempat nfs4_disable_idmapping berada, jalankan perintah mount. Anda tidak akan dapat membuat direktori secara manual di bawah /sys/modules, karena akses dicadangkan untuk kernel dan driver.

# Check nfs4_disable_idmapping. 
cat /sys/module/nfs/parameters/nfs4_disable_idmapping
# If you need to set nfs4_disable_idmapping to Y:
mkdir /mnt/tmp
mount 10.27.1.5:/sapnw1 /mnt/tmp
umount  /mnt/tmp
echo "Y" > /sys/module/nfs/parameters/nfs4_disable_idmapping
# Make the configuration permanent.
echo "options nfs nfs4_disable_idmapping=Y" >> /etc/modprobe.d/nfs.conf

[1] Pasang sementara volume Azure NetApp Files di salah satu mesin virtual dan buat direktori SAP (jalur file).

# Temporarily mount the volume.
sudo mkdir -p /saptmp
# If you're using NFSv3:
sudo mount -t nfs -o rw,hard,rsize=65536,wsize=65536,nfsvers=3,tcp 10.27.1.5:/sapnw1 /saptmp
# If you're using NFSv4.1:
sudo mount -t nfs -o rw,hard,rsize=65536,wsize=65536,nfsvers=4.1,sec=sys,tcp 10.27.1.5:/sapnw1 /saptmp
# Create the SAP directories.
sudo cd /saptmp
sudo mkdir -p sapmntNW1
sudo mkdir -p usrsapNW1
# Unmount the volume and delete the temporary directory.
sudo cd ..
sudo umount /saptmp
sudo rmdir /saptmp

[A] Membuat direktori bersama.

sudo mkdir -p /sapmnt/NW1
sudo mkdir -p /usr/sap/NW1
sudo mkdir -p /usr/sap/trans

sudo chattr +i /sapmnt/NW1
sudo chattr +i /usr/sap/NW1
sudo chattr +i /usr/sap/trans

[A] Memasang sistem file.

Dengan konfigurasi pemasangan yang sederhana, kluster Pacemaker tidak mengontrol sistem file.

# If you're using NFSv3:
echo "10.27.1.5:/sapnw1/sapmntNW1 /sapmnt/NW1 nfs nfsvers=3,hard 0 0" >> /etc/fstab
echo "10.27.1.5:/sapnw1/usrsapNW1 /usr/sap/NW1 nfs nfsvers=3,hard 0 0" >> /etc/fstab
echo "10.27.1.5:/saptrans /usr/sap/trans nfs nfsvers=3,hard 0 0" >> /etc/fstab
# If you're using NFSv4.1:
echo "10.27.1.5:/sapnw1/sapmntNW1 /sapmnt/NW1 nfs nfsvers=4.1,sec=sys,hard 0 0" >> /etc/fstab
echo "10.27.1.5:/sapnw1/usrsapNW1 /usr/sap/NW1 nfs nfsvers=4.1,sec=sys,hard 0 0" >> /etc/fstab
echo "10.27.1.5:/saptrans /usr/sap/trans nfs nfsvers=4.1,sec=sys,hard 0 0" >> /etc/fstab
# Mount the file systems.
mount -a

Instal SAP NetWeaver ASCS dan ERS

[1] Membuat sumber daya IP virtual dan memeriksa kesehatan untuk instans ASCS.

Penting

Sebaiknya gunakan azure-lb agen sumber daya, yang merupakan bagian dari paket agen sumber daya dengan versi minimum resource-agents-4.3.0184.6ee15eb2-4.13.1.

sudo crm node standby sap-cl2   
sudo crm configure primitive vip_NW1_ASCS IPaddr2 \
  params ip=10.27.0.9 \
  op monitor interval=10 timeout=20

sudo crm configure primitive nc_NW1_ASCS azure-lb port=62000 \
  op monitor timeout=20s interval=10

sudo crm configure group g-NW1_ASCS nc_NW1_ASCS vip_NW1_ASCS \
  meta resource-stickiness=3000

Pastikan bahwa status kluster baik-baik saja dan semua sumber daya dimulai. Tidak penting node mana sumber daya berjalan.

sudo crm_mon -r
# Node sap-cl2: standby
# Online: [ sap-cl1 ]
#
# Full list of resources:
#
# stonith-sbd     (stonith:external/sbd): Started sap-cl1
# Resource Group: g-NW1_ASCS
#  nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started sap-cl1
#  vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started sap-cl1

[1] Menginstal SAP NetWeaver ASCS sebagai root pada node pertama.

Gunakan nama host virtual yang memetakan ke alamat IP konfigurasi front-end load balancer untuk ASCS (misalnya, sapascs, 10.27.0.9) dan nomor instans yang Anda gunakan untuk pemeriksaan load balancer (misalnya, 00).

Anda dapat menggunakan sapinst parameter SAPINST_REMOTE_ACCESS_USER untuk mengizinkan pengguna non-root tersambung ke sapinst. Anda dapat menggunakan parameter SAPINST_USE_HOSTNAME untuk menginstal SAP dengan menggunakan nama host virtual.
```
sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=<virtual_hostname>
```
Jika penginstalan gagal membuat subfolder di /usr/sap/NW1/ASCS00, atur pemilik dan grup folder ASCS00 dan coba lagi.
```
chown nw1adm /usr/sap/NW1/ASCS00
chgrp sapsys /usr/sap/NW1/ASCS00
```

[1] Buat sumber daya IP virtual dan pemeriksaan kesehatan untuk instans ERS.

sudo crm node online sap-cl2
sudo crm node standby sap-cl1

sudo crm configure primitive vip_NW1_ERS IPaddr2 \
  params ip=10.27.0.10 \
  op monitor interval=10 timeout=20

sudo crm configure primitive nc_NW1_ERS azure-lb port=62101 \
  op monitor timeout=20s interval=10

sudo crm configure group g-NW1_ERS nc_NW1_ERS vip_NW1_ERS

Pastikan bahwa status kluster baik-baik saja dan semua sumber daya dimulai. Tidak penting node mana sumber daya berjalan.

sudo crm_mon -r

# Node sap-cl1: standby
# Online: [ sap-cl2 ]
# 
# Full list of resources:
#
# stonith-sbd     (stonith:external/sbd): Started sap-cl2
#  Resource Group: g-NW1_ASCS
#      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started sap-cl2
#      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started sap-cl2
#  Resource Group: g-NW1_ERS
#      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started sap-cl2
#      vip_NW1_ERS  (ocf::heartbeat:IPaddr2):     Started sap-cl2

[2] Menginstal SAP NetWeaver ERS sebagai root pada node kedua.

Gunakan nama host virtual yang memetakan ke alamat IP konfigurasi front-end load balancer untuk ERS (misalnya, sapers, 10.27.0.10) dan nomor instans yang Anda gunakan untuk pemeriksaan load balancer (misalnya, 01).

Anda dapat menggunakan parameter SAPINST_REMOTE_ACCESS_USER untuk mengizinkan pengguna non-root tersambung ke sapinst. Anda dapat menggunakan parameter SAPINST_USE_HOSTNAME untuk menginstal SAP dengan menggunakan nama host virtual.
```
<swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
```
Catatan

Menggunakan SWPM SP 20 PL 05 atau yang lebih baru. Versi sebelumnya tidak mengatur izin dengan benar, dan menyebabkan penginstalan gagal.

Jika penginstalan gagal membuat subfolder di /usr/sap/NW1/ERS01, atur pemilik dan grup folder ERS01 dan coba lagi.
```
chown nw1adm /usr/sap/NW1/ERS01
chgrp sapsys /usr/sap/NW1/ERS01
```

[1] Menyesuaikan profil instans ASCS.

sudo vi /sapmnt/NW1/profile/NW1_ASCS00_sapascs

# Change the restart command to a start command.
# Restart_Program_01 = local $(_EN) pf=$(_PF).
Start_Program_01 = local $(_EN) pf=$(_PF)

# Add the following lines.
service/halib = $(DIR_CT_RUN)/saphascriptco.so
service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector

# Add the keepalive parameter, if you're using ENSA1.
enque/encni/set_so_keepalive = true

Untuk Server Antrean Mandiri 1 dan 2 (ENSA1 dan ENSA2), pastikan bahwa keepalive parameter OS diatur seperti yang dijelaskan dalam Catatan SAP 1410736.

Sekarang sesuaikan profil instans ERS.

sudo vi /sapmnt/NW1/profile/NW1_ERS01_sapers

# Change the restart command to a start command.
# Restart_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID).
Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)

# Add the following lines.
service/halib = $(DIR_CT_RUN)/saphascriptco.so
service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector

# Remove Autostart from the ERS profile.
# Autostart = 1

[A] Konfigurasikan keepalive.

Komunikasi antara server aplikasi SAP NetWeaver dan ASCS dirutekan melalui load balancer perangkat lunak. Penyeimbang beban memutuskan koneksi tidak aktif setelah waktu habis yang dapat dikonfigurasi.

Untuk mencegah pemutusan ini, Anda perlu mengatur parameter di profil SAP NetWeaver ASCS, jika Anda menggunakan ENSA1. Ubah pengaturan keepalive sistem Linux di semua server SAP untuk ENSA1 dan ENSA2. Untuk informasi lebih lanjut, baca Catatan SAP1410736.
```
# Change the Linux system configuration.
sudo sysctl net.ipv4.tcp_keepalive_time=300
```

[A] Konfigurasikan pengguna SAP setelah penginstalan.

# Add sidadm to the haclient group.
sudo usermod -aG haclient nw1adm

[1] Tambahkan layanan ASCS dan ERS SAP ke file sapservice.

Tambahkan entri layanan ASCS ke node kedua, dan salin entri layanan ERS ke node pertama.

cat /usr/sap/sapservices | grep ASCS00 | sudo ssh sap-cl2 "cat >>/usr/sap/sapservices"
sudo ssh sap-cl2 "cat /usr/sap/sapservices" | grep ERS01 | sudo tee -a /usr/sap/sapservices

[A] Mengaktifkan sapping dan sappong. Agen sapping berjalan sebuah sapinit untuk menyembunyikan file /usr/sap/sapservices. Agen sappong berjalan setelah sapinit untuk memunculkan file sapservices selama boot mesin virtual. SAPStartSrv tidak dimulai secara otomatis untuk instans SAP pada waktu boot, karena dikelola oleh kluster Pacemaker.
```
sudo systemctl enable sapping
sudo systemctl enable sappong
```

[1] Membuat sumber daya kluster SAP.

Bergantung pada apakah Anda menjalankan sistem ENSA1 atau ENSA2, pilih tab masing-masing untuk menentukan sumber daya. SAP memperkenalkan dukungan untuk ENSA2, termasuk replikasi, di SAP NetWeaver 7.52. Dimulai dengan ABAP Platform 1809, ENSA2 dipasang secara default. Untuk dukungan ENSA2, lihat Catatan SAP 2630416.

ENSA1
ENSA2

sudo crm configure property maintenance-mode="true"

sudo crm configure primitive rsc_sapstartsrv_NW1_ASCS00 ocf:suse:SAPStartSrv \
 params InstanceName=NW1_ASCS00_sapascs

sudo crm configure primitive rsc_sapstartsrv_NW1_ERS01 ocf:suse:SAPStartSrv \
 params InstanceName=NW1_ERS01_sapers

# If you're using NFS on Azure Files or NFSv3 on Azure NetApp Files:
sudo crm configure primitive rsc_sap_NW1_ASCS00 SAPInstance \
 op monitor interval=11 timeout=60 on-fail=restart \
 params InstanceName=NW1_ASCS00_sapascs START_PROFILE="/sapmnt/NW1/profile/NW1_ASCS00_sapascs" \
 AUTOMATIC_RECOVER=false MINIMAL_PROBE=true \
 meta resource-stickiness=5000 failure-timeout=60 migration-threshold=1 priority=10

# If you're using NFS on Azure Files or NFSv3 on Azure NetApp Files:
sudo crm configure primitive rsc_sap_NW1_ERS01 SAPInstance \
 op monitor interval=11 timeout=60 on-fail=restart \
 params InstanceName=NW1_ERS01_sapers START_PROFILE="/sapmnt/NW1/profile/NW1_ERS01_sapers" \
 AUTOMATIC_RECOVER=false IS_ERS=true MINIMAL_PROBE=true \
 meta priority=1000

# If you're using NFSv4.1 on Azure NetApp Files:
sudo crm configure primitive rsc_sap_NW1_ASCS00 SAPInstance \
 op monitor interval=11 timeout=105 on-fail=restart \
 params InstanceName=NW1_ASCS00_sapascs START_PROFILE="/sapmnt/NW1/profile/NW1_ASCS00_sapascs" \
 AUTOMATIC_RECOVER=false MINIMAL_PROBE=true \
 meta resource-stickiness=5000 failure-timeout=60 migration-threshold=1 priority=10

# If you're using NFSv4.1 on Azure NetApp Files:
sudo crm configure primitive rsc_sap_NW1_ERS01 SAPInstance \
 op monitor interval=11 timeout=105 on-fail=restart \
 params InstanceName=NW1_ERS01_sapers START_PROFILE="/sapmnt/NW1/profile/NW1_ERS01_sapers" \
 AUTOMATIC_RECOVER=false IS_ERS=true MINIMAL_PROBE=true \
 meta priority=1000

sudo crm configure modgroup g-NW1_ASCS add rsc_sapstartsrv_NW1_ASCS00
sudo crm configure modgroup g-NW1_ASCS add rsc_sap_NW1_ASCS00
sudo crm configure modgroup g-NW1_ERS add rsc_sapstartsrv_NW1_ERS01
sudo crm configure modgroup g-NW1_ERS add rsc_sap_NW1_ERS01

sudo crm configure colocation col_sap_NW1_no_both -5000: g-NW1_ERS g-NW1_ASCS
sudo crm configure location loc_sap_NW1_failover_to_ers rsc_sap_NW1_ASCS00 rule 2000: runs_ers_NW1 eq 1
sudo crm configure order ord_sap_NW1_first_start_ascs Optional: rsc_sap_NW1_ASCS00:start rsc_sap_NW1_ERS01:stop symmetrical=false

sudo crm_attribute --delete --name priority-fencing-delay

sudo crm node online sap-cl1
sudo crm configure property maintenance-mode="false"

Catatan

Jika Anda memiliki kluster dua node yang menjalankan ENSA2, Anda memiliki opsi untuk mengonfigurasi properti kluster priority-fencing-delay. Properti ini memperkenalkan penundaan tambahan dalam pemagaran simpul yang memiliki prioritas total resoure yang lebih tinggi ketika skenario split-brain terjadi. Untuk informasi selengkapnya, lihat Panduan administrasi ekstensi ketersediaan tinggi SUSE Linux Enteprise Server.

Properti priority-fencing-delay hanya berlaku untuk ENSA2 yang berjalan pada kluster dua node. Untuk informasi selengkapnya, lihat Kluster Enqueue Replication 2 Ketersediaan Tinggi dengan pemasangan sederhana

sudo crm configure property maintenance-mode="true"

sudo crm configure property priority-fencing-delay=30

sudo crm configure primitive rsc_sapstartsrv_NW1_ASCS00 ocf:suse:SAPStartSrv \
 params InstanceName=NW1_ASCS00_sapascs

sudo crm configure primitive rsc_sapstartsrv_NW1_ERS01 ocf:suse:SAPStartSrv \
 params InstanceName=NW1_ERS01_sapers

# If you're using NFS on Azure Files or NFSv3 on Azure NetApp Files:
sudo crm configure primitive rsc_sap_NW1_ASCS00 SAPInstance \
 op monitor interval=11 timeout=60 on-fail=restart \
 params InstanceName=NW1_ASCS00_sapascs START_PROFILE="/sapmnt/NW1/profile/NW1_ASCS00_sapascs" \
 AUTOMATIC_RECOVER=false MINIMAL_PROBE=true \
 meta resource-stickiness=5000 priority=100

# If you're using NFS on Azure Files or NFSv3 on Azure NetApp Files:   
sudo crm configure primitive rsc_sap_NW1_ERS01 SAPInstance \
 op monitor interval=11 timeout=60 on-fail=restart \
 params InstanceName=NW1_ERS01_sapers START_PROFILE="/sapmnt/NW1/profile/NW1_ERS01_sapers" \
 AUTOMATIC_RECOVER=false IS_ERS=true MINIMAL_PROBE=true

# If you're using NFSv4.1 on Azure NetApp Files:
sudo crm configure primitive rsc_sap_NW1_ASCS00 SAPInstance \
 op monitor interval=11 timeout=105 on-fail=restart \
 params InstanceName=NW1_ASCS00_sapascs START_PROFILE="/sapmnt/NW1/profile/NW1_ASCS00_sapascs" \
 AUTOMATIC_RECOVER=false MINIMAL_PROBE=true \
 meta resource-stickiness=5000 priority=100

# If you're using NFSv4.1 on Azure NetApp Files:   
sudo crm configure primitive rsc_sap_NW1_ERS01 SAPInstance \
 op monitor interval=11 timeout=105 on-fail=restart \
 params InstanceName=NW1_ERS01_sapers START_PROFILE="/sapmnt/NW1/profile/NW1_ERS01_sapers" \
 AUTOMATIC_RECOVER=false IS_ERS=true MINIMAL_PROBE=true

sudo crm configure modgroup g-NW1_ASCS add rsc_sapstartsrv_NW1_ASCS00
sudo crm configure modgroup g-NW1_ASCS add rsc_sap_NW1_ASCS00
sudo crm configure modgroup g-NW1_ERS add rsc_sapstartsrv_NW1_ERS01
sudo crm configure modgroup g-NW1_ERS add rsc_sap_NW1_ERS01

sudo crm configure colocation col_sap_NW1_no_both -5000: g-NW1_ERS g-NW1_ASCS
sudo crm configure order ord_sap_NW1_first_start_ascs Optional: rsc_sap_NW1_ASCS00:start rsc_sap_NW1_ERS01:stop symmetrical=false

sudo crm node online sap-cl1
sudo crm configure property maintenance-mode="false"

Jika Anda meningkatkan dari versi yang lebih lama dan beralih ke ENSA2, lihat Catatan SAP 2641019.

Pastikan bahwa status kluster baik-baik saja dan semua sumber daya dimulai. Tidak penting node mana sumber daya berjalan.

sudo crm_mon -r
# Full list of resources:
# 
# stonith-sbd     (stonith:external/sbd): Started sap-cl2
#  Resource Group: g-NW1_ASCS
#      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started sap-cl1
#      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started sap-cl1
#      rsc_sapstartsrv_NW1_ASCS00 (ocf::suse:SAPStartSrv):        Started sap-cl1
#      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started sap-cl1
#  Resource Group: g-NW1_ERS
#      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started sap-cl2
#      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started sap-cl2
#      rsc_sapstartsrv_NW1_ERS01  (ocf::suse:SAPStartSrv):        Started sap-cl2
#      rsc_sap_NW1_ERS01  (ocf::heartbeat:SAPInstance):   Started sap-cl1

Menyiapkan server aplikasi SAP

Beberapa database mengharuskan Anda untuk menjalankan penginstalan database pada server aplikasi. Siapkan mesin virtual server aplikasi untuk dapat menjalankan penginstalan database.

Langkah-langkah umum berikut mengasumsikan bahwa Anda menginstal server aplikasi di server yang berbeda dari server ASCS dan HANA:

Menyiapkan resolusi nama host.

Anda dapat menggunakan server DNS atau memodifikasi /etc/hosts pada semua node. Contoh ini memperlihatkan cara menggunakan file /etc/hosts.

sudo vi /etc/hosts

Sisipkan baris berikut ke /etc/hosts. Mengubah alamat IP dan nama host agar sesuai dengan lingkungan Anda.

10.27.0.6   sap-cl1
10.27.0.7   sap-cl2
# IP address of the load balancer's front-end configuration for SAP NetWeaver ASCS
10.27.0.9   sapascs
# IP address of the load balancer's front-end configuration for SAP NetWeaver ERS
10.27.0.10  sapers
10.27.0.8   sapa01
10.27.0.12  sapa02

Mengonfigurasikan file SWAP.

sudo vi /etc/waagent.conf

# Set the ResourceDisk.EnableSwap property to y.
# Create and use the SWAP file on the resource disk.
ResourceDisk.EnableSwap=y

# Set the size of the SWAP file by using the ResourceDisk.SwapSizeMB property.
# The free space of the resource disk varies by virtual machine size. Don't set a value that's too big. You can check the SWAP space by using the swapon command.
ResourceDisk.SwapSizeMB=2000

Mulai ulang Agen untuk mengaktifkan perubahan.

sudo service waagent restart

Menyiapkan direktori SAP

Jika Anda menggunakan NFS di Azure Files, gunakan instruksi berikut untuk menyiapkan direktori SAP di mesin virtual server aplikasi SAP:

Membuat titik pemasangan.

sudo mkdir -p /sapmnt/NW1
sudo mkdir -p /usr/sap/trans

sudo chattr +i /sapmnt/NW1
sudo chattr +i /usr/sap/trans

Memasang sistem file.

echo "sapnfsafs.file.core.windows.net:/sapnfsafs/sapnw1/sapmntNW1 /sapmnt/NW1  nfs noresvport,vers=4,minorversion=1,sec=sys  0  0" >> /etc/fstab
echo "sapnfsafs.file.core.windows.net:/sapnfsafs/saptrans /usr/sap/trans  nfs noresvport,vers=4,minorversion=1,sec=sys  0  0" >> /etc/fstab   
# Mount the file systems.
mount -a

Jika Anda menggunakan NFS di Azure NetApp Files, gunakan instruksi berikut untuk menyiapkan direktori SAP di mesin virtual server aplikasi SAP:

Membuat titik pemasangan.

sudo mkdir -p /sapmnt/NW1
sudo mkdir -p /usr/sap/trans

sudo chattr +i /sapmnt/NW1
sudo chattr +i /usr/sap/trans

Memasang sistem file.

# If you're using NFSv3:
echo "10.27.1.5:/sapnw1/sapmntNW1 /sapmnt/NW1 nfs nfsvers=3,hard 0 0" >> /etc/fstab
echo "10.27.1.5:/saptrans /usr/sap/trans nfs nfsvers=3, hard 0 0" >> /etc/fstab
# If you're using NFSv4.1:
echo "10.27.1.5:/sapnw1/sapmntNW1 /sapmnt/NW1 nfs nfsvers=4.1,sec=sys,hard 0 0" >> /etc/fstab    
echo "10.27.1.5:/saptrans /usr/sap/trans nfs nfsvers=4.1,sec=sys,hard 0 0" >> /etc/fstab
# Mount the file systems.
mount -a

Menginstal database

Dalam contoh ini, SAP NetWeaver dipasang pada SAP Hana. Anda dapat menggunakan setiap database yang didukung untuk penginstalan ini. Untuk informasi selengkapnya tentang cara menginstal SAP HANA di Azure, lihat High availability SAP HANA di mesin virtual Azure. Untuk daftar database yang didukung, lihat Catatan SAP 1928533.

Instal instans database SAP NetWeaver sebagai root dengan menggunakan nama host virtual yang memetakan ke alamat IP konfigurasi front-end load balancer untuk database. Anda dapat menggunakan parameter SAPINST_REMOTE_ACCESS_USER untuk mengizinkan pengguna non-root tersambung ke sapinst.

sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin

Menginstal server aplikasi SAP NetWeaver

Ikuti langkah-langkah ini untuk menginstal server aplikasi SAP:

[A] Menyiapkan server aplikasi.

Ikuti langkah-langkah dalam persiapan server aplikasi SAP NetWeaver.
[A] Menginstal server aplikasi SAP NetWeaver utama atau tambahan.

Anda dapat menggunakan parameter SAPINST_REMOTE_ACCESS_USER untuk mengizinkan pengguna non-root tersambung ke sapinst.
```
sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin
```
[A] Memperbarui penyimpanan aman SAP HANA untuk menunjuk ke nama virtual penyiapan replikasi sistem SAP HANA.

Jalankan perintah berikut untuk mencantumkan entri.
```
hdbuserstore List
```
Perintah harus mencantumkan semua entri dan harus terlihat mirip dengan contoh ini.
```
DATA FILE       : /home/nw1adm/.hdb/sapa01/SSFS_HDB.DAT
KEY FILE        : /home/nw1adm/.hdb/sapa01/SSFS_HDB.KEY

KEY DEFAULT 
  ENV : 10.27.0.4:30313
  USER: SAPABAP1
  DATABASE: NW1
```
Dalam contoh ini, alamat IP dari titik masuk default ke mesin virtual, bukan penyeimbang beban. Mengubah entri untuk merujuk ke nama host virtual load balancer. Pastikan untuk menggunakan port dan nama database yang sama. Misalnya, gunakan 30313 dan NW1 dalam sampel output.
```
su - nw1adm
hdbuserstore SET DEFAULT nw1db:30313@NW1 SAPABAP1 <password of ABAP schema>
```

Uji penyiapan kluster Anda

Uji kluster Pacemaker Anda secara menyeluruh. Jalankan pengujian failover umum.

SAP NetWeaver dengan high availability dengan pemasangan sederhana dan NFS pada SLES untuk mesin virtual Aplikasi SAP

Prasyarat

Gambaran Umum

Siapkan infrastruktur

Sebarkan Linux VM secara manual melalui portal Azure

Mengonfigurasi load balancer Azure

Menyebarkan NFS

Menyebarkan akun penyimpanan Azure Files dan berbagi NFS

Pertimbangan penting untuk NFS pada pembagian Azure Files

Sebarkan sumber daya Azure NetApp Files

Pertimbangan penting untuk NFS di Azure NetApp Files

Menyiapkan ASCS

Membuat kluster Pacemaker

Bersiap untuk penginstalan

Siapkan direktori SAP jika Anda menggunakan NFS di Azure Files

Siapkan direktori SAP jika Anda menggunakan NFS di Azure NetApp Files

Instal SAP NetWeaver ASCS dan ERS

Menyiapkan server aplikasi SAP

Menyiapkan direktori SAP

Menginstal database

Menginstal server aplikasi SAP NetWeaver

Uji penyiapan kluster Anda

Langkah berikutnya

Sumber Daya Tambahan: