Ketersediaan tinggi untuk SAP Hana di Azure VM di SUSE Linux Enterprise Server

Untuk menetapkan ketersediaan tinggi dalam penyebaran SAP Hana lokal, Anda dapat menggunakan replikasi sistem SAP Hana atau penyimpanan bersama.

Saat ini pada komputer virtual (VM) Azure, replikasi sistem SAP Hana di Azure adalah satu-satunya fungsi ketersediaan tinggi yang didukung.

Replikasi sistem SAP Hana terdiri dari satu simpul utama dan setidaknya satu simpul sekunder. Perubahan pada data di node utama direplikasi ke node sekunder secara sinkron atau asinkron.

Artikel ini menjelaskan cara menyebarkan dan mengonfigurasi VM, menginstal kerangka kerja kluster, dan menginstal dan mengonfigurasi replikasi sistem SAP Hana.

Sebelum memulai, baca Catatan dan makalah SAP berikut:

• Catatan SAP 1928533. Catatan tersebut meliputi:
  • Daftar ukuran komputer virtual Azure yang didukung untuk penyebaran perangkat lunak SAP.
  • Informasi kapasitas penting untuk ukuran komputer virtual Azure.
  • Perangkat lunak SAP yang didukung, sistem operasi (OS), dan kombinasi database.
  • Versi kernel SAP yang diperlukan untuk Windows dan Linux di Microsoft Azure.
• Catatan SAP 2015553 mencantumkan prasyarat untuk penyebaran perangkat lunak SAP yang didukung SAP di Azure.
• SAP Note 2205917 telah merekomendasikan pengaturan OS untuk SUSE Linux Enterprise Server 12 (SLES 12) untuk Aplikasi SAP.
• Catatan SAP 2684254 telah merekomendasikan pengaturan OS untuk SUSE Linux Enterprise Server 15 (SLES 15) untuk Aplikasi SAP.
• Catatan SAP 2235581 memiliki sistem Operasi yang didukung SAP Hana
• Catatan SAP 2178632 memiliki informasi terperinci tentang semua metrik pemantauan yang dilaporkan untuk SAP di Azure.
• Catatan SAP 2191498 memiliki versi agen host SAP yang diperlukan untuk Linux di Azure.
• Catatan SAP 2243692 memiliki informasi tentang lisensi SAP untuk Linux di Azure.
• Catatan SAP 1984787 memiliki informasi umum tentang SUSE Linux Enterprise Server 12.
• Catatan SAP 1999351 memiliki lebih banyak informasi pemecahan masalah bagi ekstensi Azure Enhanced Monitoring untuk SAP.
• Catatan SAP 401162 memiliki informasi tentang cara menghindari kesalahan "alamat yang sudah digunakan" saat Anda menyiapkan replikasi sistem HANA.
• Wiki Dukungan Komunitas SAP memiliki semua Catatan SAP yang diperlukan untuk Linux.
• Platform IaaS Bersertifikat SAP Hana.
• Panduan Perencanaan dan penerapan Azure Virtual Machines untuk SAP di Linux.
• Penyebaran Azure Virtual Machines untuk panduan SAP di Linux .
• Panduan Penyebaran Azure Virtual Machines DBMS untuk SAP di Linux.
• Panduan praktik terbaik SUSE Linux Enterprise Server for SAP Applications 15 dan panduan praktik terbaik SUSE Linux Enterprise Server for SAP Applications 12:
  • Menyiapkan Infrastruktur yang Dioptimalkan Performa SAP Hana SR (SLES untuk Aplikasi SAP). Panduan ini berisi semua informasi yang diperlukan untuk menyiapkan replikasi sistem SAP Hana untuk pengembangan lokal. Gunakan panduan ini sebagai garis besar.
  • Menyiapkan Infrastruktur yang Dioptimalkan Biaya SAP Hana SR (SLES untuk Aplikasi SAP).

Rencanakan ketersediaan tinggi SAP Hana

Untuk mencapai ketersediaan tinggi, instal SAP Hana pada dua VM. Data direplikasi dengan menggunakan replikasi sistem HANA.

Penyiapan replikasi sistem SAP Hana menggunakan nama host virtual khusus dan alamat IP virtual. Di Azure, Anda memerlukan load balancer untuk menyebarkan alamat IP virtual.

Gambar sebelumnya menunjukkan contoh load balancer yang memiliki konfigurasi ini:

• Alamat IP front-end: 10.0.0.13 untuk HN1-db
• Port probe: 62503

Siapkan infrastruktur

Agen sumber daya untuk SAP HANA termasuk dalam SUSE Linux Enterprise Server untuk SAP Applications. Gambar untuk SUSE Linux Enterprise Server untuk Aplikasi SAP 12 atau 15 tersedia di Marketplace Azure. Anda dapat menggunakan gambar untuk menyebarkan VM baru.

Sebarkan Linux VM secara manual melalui portal Azure

Dokumen ini mengasumsikan bahwa Anda telah menyebarkan grup sumber daya, Azure Virtual Network, dan subnet.

Menyebarkan komputer virtual untuk SAP Hana. Pilih gambar SLES yang sesuai yang didukung untuk sistem HANA. Anda dapat menyebarkan VM di salah satu opsi ketersediaan - set skala komputer virtual, zona ketersediaan, atau set ketersediaan.

Penting

Pastikan BAHWA OS yang Anda pilih bersertifikat SAP untuk SAP Hana pada jenis VM tertentu yang Anda rencanakan untuk digunakan dalam penyebaran Anda. Anda dapat mencari jenis VM bersertifikat SAP Hana dan rilis OS mereka di Platform IaaS Bersertifikat SAP Hana. Pastikan Anda melihat detail jenis VM untuk mendapatkan daftar lengkap rilis OS yang didukung SAP Hana untuk jenis VM tertentu.

Mengonfigurasi load balancer Azure

Selama konfigurasi VM, Anda memiliki opsi untuk membuat atau memilih keluar dari load balancer di bagian jaringan. Ikuti langkah-langkah di bawah ini, untuk menyiapkan load balancer standar untuk penyiapan ketersediaan tinggi database HANA.

Portal Azure

Ikuti langkah-langkah dalam Membuat load balancer untuk menyiapkan load balancer standar untuk sistem SAP ketersediaan tinggi dengan menggunakan portal Azure. Selama penyiapan load balancer, pertimbangkan poin-poin berikut:

1. Konfigurasi IP Frontend: Buat IP front-end. Pilih jaringan virtual dan nama subnet yang sama dengan komputer virtual database Anda.
2. Kumpulan Backend: Buat kumpulan back-end dan tambahkan VM database.
3. Aturan masuk: Buat aturan penyeimbangan beban. Ikuti langkah yang sama untuk kedua aturan penyeimbangan beban.
   • Alamat IP frontend: Pilih IP front-end.
   • Kumpulan backend: Pilih kumpulan back-end.
   • Port ketersediaan tinggi: Pilih opsi ini.
   • Protokol: Pilih TCP.
   • Pemeriksaan Kesehatan: Buat pemeriksaan kesehatan dengan detail berikut:
     • Protokol: Pilih TCP.
     • Port: Misalnya, 625<instance-no.>.
     • Interval: Masukkan 5.
     • Ambang Probe: Masukkan 2.
   • Batas waktu menganggur (menit): Masukkan 30.
   • Aktifkan IP Mengambang: Pilih opsi ini.

Catatan

Properti numberOfProbeskonfigurasi pemeriksaan kesehatan , atau dikenal sebagai Ambang tidak sehat di portal, tidak dihormati. Untuk mengontrol jumlah pemeriksaan berturut-turut yang berhasil atau gagal, atur properti probeThreshold ke 2. Saat ini tidak dimungkinkan untuk mengatur properti ini dengan menggunakan portal Azure, jadi gunakan perintah Azure CLI atau PowerShell.

Azure CLI

# Create the load balancer resource with frontend IP. Allocation of private IP address is dynamic using below command. If you want to pass static IP address, include parameter --private-ip-address.
az network lb create -g MyResourceGroup -n MyLB --sku Standard --vnet-name MyVMsVirtualNetwork --subnet MyVMsSubnet --backend-pool-name MyBackendPool --frontend-ip-name MyDBFrontendIpName

# Create the health probe
az network lb probe create -g MyResourceGroup --lb-name MyLB -n MyDBHealthProbe --protocol tcp --port MyDBHealthProbePort --interval 5 --probe-threshold 2
 
# Create load balancing rule
az network lb rule create -g MyResourceGroup --lb-name MyLB -n MyDBRuleName --protocol All --frontend-ip-name MyDBFrontendIpName --frontend-port 0 --backend-pool-name MyBackendPool --backend-port 0 --probe-name MyDBHealthProbe --idle-timeout-in-minutes 30 --enable-floating-ip 

# Add database VMs in backend pool
az network nic ip-config address-pool add --address-pool MyBackendPool --ip-config-name DBVm1IpConfigName --nic-name DBVm1NicName -g MyResourceGroup --lb-name MyLB
az network nic ip-config address-pool add --address-pool MyBackendPool --ip-config-name DBVm2IpConfigName --nic-name DBVm2NicName -g MyResourceGroup --lb-name MyLB

Perluas untuk melihat kode CLI lengkap

# Define variables for Resource Group, and Database VMs.

rg_name="resourcegroup-name"
vm1_name="db1-name"
vm2_name="db2-name"

# Define variables for the load balancer that will be utilized in the creation of the load balancer resource.

lb_name="sap-db-sid-ilb"
bkp_name="db-backendpool"
db_fip_name="db-frontendip"

db_hp_name="db-healthprobe"
db_hp_port="625<instance-no>"

db_rule_name="db-lb-rule"
 
# Command to get VMs network information like primary NIC name, primary IP configuration name, virtual network name, and subnet name. 
 
vm1_primary_nic=$(az vm nic list -g $rg_name --vm-name $vm1_name --query "[?primary == \`true\`].{id:id} || [?primary == \`null\`].{id:id}" -o tsv)
vm1_nic_name=$(basename $vm1_primary_nic)
vm1_ipconfig=$(az network nic ip-config list -g $rg_name --nic-name $vm1_nic_name --query "[?primary == \`true\`].name" -o tsv)
 
vm2_primary_nic=$(az vm nic list -g $rg_name --vm-name $vm2_name --query "[?primary == \`true\`].{id:id} || [?primary == \`null\`].{id:id}" -o tsv)
vm2_nic_name=$(basename $vm2_primary_nic)
vm2_ipconfig=$(az network nic ip-config list -g $rg_name --nic-name $vm2_nic_name --query "[?primary == \`true\`].name" -o tsv)
 
vnet_subnet_id=$(az network nic show -g $rg_name -n $vm1_nic_name --query ipConfigurations[0].subnet.id -o tsv)
vnet_name=$(basename $(dirname $(dirname $vnet_subnet_id)))
subnet_name=$(basename $vnet_subnet_id)
 
# Create the load balancer resource with frontend IP.
# Allocation of private IP address is dynamic using below command. If you want to pass static IP address, include parameter --private-ip-address. 
  
az network lb create -g $rg_name -n $lb_name --sku Standard --vnet-name $vnet_name --subnet $subnet_name --backend-pool-name $bkp_name --frontend-ip-name $db_fip_name
 
# Create the health probe
 
az network lb probe create -g $rg_name --lb-name $lb_name -n $db_hp_name --protocol tcp --port $db_hp_port --interval 5 --probe-threshold 2
 
# Create load balancing rule
  
az network lb rule create -g $rg_name --lb-name $lb_name -n  $db_rule_name --protocol All --frontend-ip-name $db_fip_name --frontend-port 0 --backend-pool-name $bkp_name --backend-port 0 --probe-name $db_hp_name --idle-timeout-in-minutes 30 --enable-floating-ip 
 
# Add database VMs in backend pool
 
az network nic ip-config address-pool add --address-pool $bkp_name --ip-config-name $vm1_ipconfig --nic-name $vm1_nic_name -g $rg_name --lb-name $lb_name
az network nic ip-config address-pool add --address-pool $bkp_name --ip-config-name $vm2_ipconfig --nic-name $vm2_nic_name -g $rg_name --lb-name $lb_name

# [OPTIONAL] Change the assignment of frontend IP address from dynamic to static
dbfip=$(az network lb frontend-ip show --lb-name $lb_name -g $rg_name -n $db_fip_name --query "{privateIPAddress:privateIPAddress}" -o tsv)
az network lb frontend-ip update --lb-name $lb_name -g $rg_name -n $db_fip_name --private-ip-address $dbfip

PowerShell

# Create frontend IP configurations
$db_fip = New-AzLoadBalancerFrontendIpConfig -Name MyDBFrontendIpName -SubnetId MyDBSubnetName

# Create backend pool
$bePool = New-AzLoadBalancerBackendAddressPoolConfig -Name MyBackendPool

# Create health probe
$db_healthprobe = New-AzLoadBalancerProbeConfig -Name MyDBHealthProbe -Protocol 'tcp' -Port MyDBHealthProbePort -IntervalInSeconds 5 -ProbeThreshold 2 -ProbeCount 1

# Create load balancing rule
$db_rule = New-AzLoadBalancerRuleConfig -Name MyDBRuleName -Probe $db_healthprobe -Protocol 'All' -IdleTimeoutInMinutes 30 -FrontendIpConfiguration $db_fip -BackendAddressPool $bePool -EnableFloatingIP

# Create the load balancer resource
$lb = New-AzLoadBalancer -ResourceGroupName MyResourceGroup -Name MyLB -Location MyRegion -Sku 'Standard' -FrontendIpConfiguration $db_fip -BackendAddressPool $bePool -LoadBalancingRule $db_rule -Probe $db_healthprobe

Perluas untuk menampilkan kode PowerShell lengkap

# Define variables for Resource Group, and Database VMs.

$rg_name = 'resourcegroup-name'
$vm1_name = 'db1-name'
$vm2_name = 'db2-name'

# Define variables for the load balancer that will be utilized in the creation of the load balancer resource.

$lb_name = 'sap-db-sid-ilb'
$bkp_name = 'db-backendpool'
$db_fip_name = 'db-frontendip'
 
$db_hp_name = 'db-healthprobe'
$db_hp_port = '625<instance-no>'
 
$db_rule_name = 'db-lb-rule'
 
# Command to get VMs network information like primary NIC name, primary IP configuration name, virtual network name, and subnet name.
 
$vm1 = Get-AzVM -ResourceGroupName $rg_name -Name $vm1_name
$vm1_primarynic = $vm1.NetworkProfile.NetworkInterfaces | Where-Object {($_.Primary -eq "True") -or ($_.Primary -eq $null)}
$vm1_nic_name = $vm1_primarynic.Id.Split('/')[-1]
 
$vm1_nic_info = Get-AzNetworkInterface -Name $vm1_nic_name -ResourceGroupName $rg_name
$vm1_primaryip = $vm1_nic_info.IpConfigurations | Where-Object -Property Primary -EQ -Value "True"
$vm1_ipconfig_name = ($vm1_primaryip).Name
 
$vm2 = Get-AzVM -ResourceGroupName $rg_name -Name $vm2_name
$vm2_primarynic = $vm2.NetworkProfile.NetworkInterfaces | Where-Object {($_.Primary -eq "True") -or ($_.Primary -eq $null)}
$vm2_nic_name = $vm2_primarynic.Id.Split('/')[-1]
 
$vm2_nic_info = Get-AzNetworkInterface -Name $vm2_nic_name -ResourceGroupName $rg_name
$vm2_primaryip = $vm2_nic_info.IpConfigurations | Where-Object -Property Primary -EQ -Value "True"
$vm2_ipconfig_name = ($vm2_primaryip).Name
 
$vnet_name = $vm1_primaryip.Subnet.Id.Split('/')[-3]
$subnet_name = $vm1_primaryip.Subnet.Id.Split('/')[-1]
$location = $vm1.Location
 
# Create frontend IP resource.
# Allocation of private IP address is dynamic using below command. If you want to pass static IP address, include parameter -PrivateIpAddress
 
$db_lb_fip = @{
    Name = $db_fip_name
    SubnetId = $vm1_primaryip.Subnet.Id
}
$db_fip = New-AzLoadBalancerFrontendIpConfig @db_lb_fip

# Create backend pool
 
$bepool = New-AzLoadBalancerBackendAddressPoolConfig -Name $bkp_name

# Create the health probe
 
$db_probe = @{
    Name = $db_hp_name
    Protocol = 'tcp'
    Port = $db_hp_port
    IntervalInSeconds = '5'
    ProbeThreshold = '2'
    ProbeCount = '1'
}
$db_healthprobe = New-AzLoadBalancerProbeConfig @db_probe
    
# Create load balancing rule
 
$db_lbrule = @{
    Name = $db_rule_name
    Probe = $db_healthprobe
    Protocol = 'All'
    IdleTimeoutInMinutes = '30'
    FrontendIpConfiguration = $db_fip
    BackendAddressPool = $bePool 
} 
$db_rule = New-AzLoadBalancerRuleConfig @db_lbrule -EnableFloatingIP 
 
# Create the load balancer resource
 
$loadbalancer = @{
    ResourceGroupName = $rg_name
    Name = $lb_name
    Location = $location
    Sku = 'Standard'
    FrontendIpConfiguration = $db_fip
    BackendAddressPool = $bePool
    LoadBalancingRule = $db_rule
    Probe = $db_healthprobe
} 
$lb = New-AzLoadBalancer @loadbalancer

# Add DB VMs in backend pool
 
$vm1_primaryip.LoadBalancerBackendAddressPools.Add($lb.BackendAddressPools[0])
$vm2_primaryip.LoadBalancerBackendAddressPools.Add($lb.BackendAddressPools[0])
$vm1_nic_info | Set-AzNetworkInterface
$vm2_nic_info | Set-AzNetworkInterface

Untuk informasi selengkapnya tentang port yang diperlukan untuk SAP Hana, baca bab Koneksi ke Database Penyewa di panduan Database Penyewa SAP Hana atau Catatan SAP 2388694.

Penting

Alamat IP mengambang tidak didukung pada konfigurasi IP sekunder kartu antarmuka jaringan (NIC) dalam skenario penyeimbangan beban. Untuk detailnya, lihat batasan Azure Load Balancer. Jika Anda memerlukan alamat IP lain untuk VM, sebarkan NIC kedua.

Catatan

Ketika VM yang tidak memiliki alamat IP publik ditempatkan di kumpulan back-end instans standar internal (tanpa alamat IP publik) Azure Load Balancer, konfigurasi default bukanlah konektivitas internet keluar. Anda dapat mengambil langkah tambahan untuk mengizinkan perutean ke titik akhir publik. Untuk detail tentang cara mencapai konektivitas keluar, lihat Konektivitas titik akhir publik untuk VM dengan menggunakan Azure Standard Load Balancer dalam skenario ketersediaan tinggi SAP.

Penting

• Jangan aktifkan tanda waktu TCP pada Azure VM yang ditempatkan di belakang Azure Load Balancer. Mengaktifkan tanda waktu TCP akan menyebabkan pemeriksaan kesehatan gagal. Atur parameter net.ipv4.tcp_timestamps ke 0. Untuk detailnya, lihat Pemeriksaan kesehatan Load Balancer atau catatan SAP 2382421.
• Untuk mencegah saptune mengubah nilai yang diatur net.ipv4.tcp_timestamps secara manual dari 0 kembali ke 1, perbarui versi saptune ke 3.1.1 atau yang lebih tinggi. Untuk detail selengkapnya, lihat saptune 3.1.1 – Apakah Saya Perlu Memperbarui?.

Membuat kluster Pacemaker

Ikuti langkah-langkah dalam Menyiapkan Pacemaker di SUSE Linux Enterprise Server di Azure untuk membuat kluster Pacemaker dasar untuk server HANA ini. Anda dapat menggunakan kluster Pacemaker yang sama untuk SAP HANA dan SAP NetWeaver (A)SCS.

Memasang SAP Hana

Langkah-langkah di bagian ini menggunakan awalan berikut:

• [A]: Langkah ini berlaku untuk semua simpul.
• [1]: Langkah ini hanya berlaku untuk simpul 1.
• [2]: Langkah ini hanya berlaku untuk node 2 dari kluster Pacemaker.

Ganti <placeholders> dengan nilai untuk penginstalan SAP Hana Anda.

1. [A] Menyiapkan tata letak disk dengan menggunakan Logical Volume Manager (LVM).

   Sebaiknya gunakan LVM untuk volume yang menyimpan file log dan data. Contoh berikut mengasumsikan bahwa VM memiliki empat disk data terlampir yang digunakan untuk membuat dua volume.

   1. Jalankan perintah ini untuk mencantumkan semua disk yang tersedia:

      /dev/disk/azure/scsi1/lun*
      

      Contoh output:

      /dev/disk/azure/scsi1/lun0  /dev/disk/azure/scsi1/lun1  /dev/disk/azure/scsi1/lun2  /dev/disk/azure/scsi1/lun3
      

   2. Buat volume fisik untuk semua disk yang ingin Anda gunakan:

      sudo pvcreate /dev/disk/azure/scsi1/lun0
      sudo pvcreate /dev/disk/azure/scsi1/lun1
      sudo pvcreate /dev/disk/azure/scsi1/lun2
      sudo pvcreate /dev/disk/azure/scsi1/lun3
      

   3. Buat grup volume untuk file data. Gunakan satu grup volume untuk file log dan satu grup volume untuk direktori bersama SAP Hana:

      sudo vgcreate vg_hana_data_<HANA SID> /dev/disk/azure/scsi1/lun0 /dev/disk/azure/scsi1/lun1
      sudo vgcreate vg_hana_log_<HANA SID> /dev/disk/azure/scsi1/lun2
      sudo vgcreate vg_hana_shared_<HANA SID> /dev/disk/azure/scsi1/lun3
      

   4. Buat volume logis.

      Volume linier dibuat saat Anda menggunakan lvcreate tanpa switch -i. Kami sarankan Anda membuat volume bergaris untuk kinerja I/O yang lebih baik. Sejajarkan ukuran stripe ke nilai yang dijelaskan dalam konfigurasi penyimpanan VM SAP Hana. Argumen -i harus berupa jumlah volume fisik yang mendasarinya, dan -I argumennya adalah ukuran garis.

      Misalnya, jika dua volume fisik digunakan untuk volume data, -i argumen switch diatur ke 2, dan ukuran stripe untuk volume data adalah 256KiB. Satu volume fisik digunakan untuk volume log, jadi tidak ada switch -i atau -I yang secara eksplisit digunakan untuk perintah volume log.

      Penting

      Saat Anda menggunakan lebih dari satu volume fisik untuk setiap volume data, volume log, atau volume bersama, gunakan -i sakelar dan atur jumlah volume fisik yang mendasar. Saat Anda membuat volume bergaris, gunakan sakelar -I untuk menentukan ukuran garis.

      Untuk konfigurasi penyimpanan yang direkomendasikan, termasuk ukuran stripe dan jumlah disk, lihat konfigurasi penyimpanan VM SAP Hana.

      sudo lvcreate <-i number of physical volumes> <-I stripe size for the data volume> -l 100%FREE -n hana_data vg_hana_data_<HANA SID>
      sudo lvcreate -l 100%FREE -n hana_log vg_hana_log_<HANA SID>
      sudo lvcreate -l 100%FREE -n hana_shared vg_hana_shared_<HANA SID>
      sudo mkfs.xfs /dev/vg_hana_data_<HANA SID>/hana_data
      sudo mkfs.xfs /dev/vg_hana_log_<HANA SID>/hana_log
      sudo mkfs.xfs /dev/vg_hana_shared_<HANA SID>/hana_shared
      

   5. Buat direktori pemasangan dan salin pengidentifikasi unik universal (UUID) dari semua volume logis:

      sudo mkdir -p /hana/data/<HANA SID>
      sudo mkdir -p /hana/log/<HANA SID>
      sudo mkdir -p /hana/shared/<HANA SID>
      # Write down the ID of /dev/vg_hana_data_<HANA SID>/hana_data, /dev/vg_hana_log_<HANA SID>/hana_log, and /dev/vg_hana_shared_<HANA SID>/hana_shared
      sudo blkid
      

   6. Edit file /etc/fstab untuk membuat fstab entri untuk tiga volume logis:

      sudo vi /etc/fstab
      

   7. Sisipkan baris berikut dalam file /etc/fstab :

      /dev/disk/by-uuid/<UUID of /dev/mapper/vg_hana_data_<HANA SID>-hana_data> /hana/data/<HANA SID> xfs  defaults,nofail  0  2
      /dev/disk/by-uuid/<UUID of /dev/mapper/vg_hana_log_<HANA SID>-hana_log> /hana/log/<HANA SID> xfs  defaults,nofail  0  2
      /dev/disk/by-uuid/<UUID of /dev/mapper/vg_hana_shared_<HANA SID>-hana_shared> /hana/shared/<HANA SID> xfs  defaults,nofail  0  2
      

   8. Pasang volume baru:

      sudo mount -a
      

2. [A] Siapkan tata letak disk dengan menggunakan disk biasa.

   Untuk sistem demo, Anda dapat menempatkan file log dan data Hana pada satu disk.

   1. Buat partisi pada /dev/disk/azure/scsi1/lun0 dan format dengan menggunakan XFS:

      sudo sh -c 'echo -e "n\n\n\n\n\nw\n" | fdisk /dev/disk/azure/scsi1/lun0'
      sudo mkfs.xfs /dev/disk/azure/scsi1/lun0-part1
      
      # Write down the ID of /dev/disk/azure/scsi1/lun0-part1
      sudo /sbin/blkid
      sudo vi /etc/fstab
      

   2. Masukkan baris ini dalam file /etc/fstab:

      /dev/disk/by-uuid/<UUID> /hana xfs  defaults,nofail  0  2
      

   3. Buat direktori target dan pasang disk:

      sudo mkdir /hana
      sudo mount -a
      

3. [A] Siapkan resolusi nama host untuk semua host.

   Anda dapat menggunakan server DNS atau mengubah file /etc/hosts pada semua simpul. Contoh ini menunjukkan kepada Anda cara menggunakan file /etc/hosts . Ganti alamat IP dan nama host dalam perintah berikut.

   1. Edit file /etc/hosts:

      sudo vi /etc/hosts
      

   2. Sisipkan baris berikut dalam file /etc/hosts . Ubah alamat IP dan nama host agar sesuai dengan lingkungan Anda.

      10.0.0.5 hn1-db-0
      10.0.0.6 hn1-db-1
      

4. [A] Instal paket ketersediaan tinggi SAP Hana:

   • Jalankan perintah berikut untuk menginstal paket ketersediaan tinggi:

     sudo zypper install SAPHanaSR
     

   Untuk menginstal replikasi sistem SAP Hana, tinjau bab 4 dalam panduan Skenario Yang Dioptimalkan Performa SAP Hana SR.

5. [A] Jalankan program hdblcm dari media penginstalan HANA.

   Saat Diminta, masukkan nilai berikut:

   1. Pilih pemasangan: Masukkan 1.
   2. Pilih komponen tambahan untuk pemasangan: Masukkan 1.
   3. Masukkan jalur penginstalan: Masukkan /hana/shared dan pilih Enter.
   4. Masukkan nama host lokal: Masukkan .. dan pilih Enter.
   5. Apakah Anda ingin menambahkan host tambahan ke sistem? (y/n): Masukkan n dan pilih Enter.
   6. Masukkan ID sistem SAP Hana: Masukkan HANA SID Anda.
   7. Masukkan nomor instans: Masukkan nomor instans HANA. Jika Anda menyebarkan dengan menggunakan templat Azure atau jika Anda mengikuti bagian penyebaran manual dari artikel ini, masukkan 03.
   8. Pilih mode database / Masukkan indeks: Masukkan atau pilih 1 dan pilih Enter.
   9. Pilih penggunaan sistem / Masukkan indeks: Pilih nilai penggunaan sistem 4.
   10. Masukkan lokasi volume data: Masukkan /hana/data/<HANA SID> dan pilih Enter.
   11. Masukkan lokasi volume log: Masukkan /hana/log/<HANA SID> dan pilih Enter.
   12. Batasi alokasi memori maksimum?: Masukkan n dan pilih Enter.
   13. Masukkan nama host sertifikat untuk host: Masukkan ... dan pilih Enter.
   14. Masukkan kata sandi pengguna agen host SAP (sapadm): Masukkan kata sandi pengguna agen host, lalu pilih Enter.
   15. Konfirmasikan kata sandi pengguna agen host SAP (sapadm): Masukkan kata sandi pengguna agen host lagi, lalu pilih Enter.
   16. Masukkan kata sandi administrator sistem (hdbadm): Masukkan kata sandi administrator sistem, lalu pilih Enter.
   17. Konfirmasikan kata sandi administrator sistem (hdbadm): Masukkan kata sandi administrator sistem lagi, lalu pilih Enter.
   18. Masukkan direktori beranda administrator sistem: Masukkan /usr/sap/<HANA SID>/home dan pilih Enter.
   19. Masukkan shell masuk administrator sistem: Masukkan /bin/sh dan pilih Enter.
   20. Masukkan ID pengguna administrator sistem: Masukkan 1001 dan pilih Enter.
   21. Masukkan ID grup pengguna (sapsys): Masukkan 79 dan pilih Enter.
   22. Masukkan kata sandi pengguna database (SYSTEM): Masukkan kata sandi pengguna database, lalu pilih Enter.
   23. Konfirmasikan kata sandi pengguna database (SYSTEM): Masukkan kata sandi pengguna database lagi, lalu pilih Enter.
   24. Mulai ulang sistem setelah reboot komputer? (y/n): Masukkan n dan pilih Enter.
   25. Apakah Anda ingin melanjutkan? (y/n): Validasi ringkasan. Masukkan y untuk melanjutkan.

6. [A] Tingkatkan agen host SAP.

   Unduh arsip agen host SAP terbaru dari Pusat Perangkat Lunak SAP. Jalankan perintah berikut untuk meningkatkan agen. Ganti jalur ke arsip untuk menunjuk ke file yang Anda unduh.

   sudo /usr/sap/hostctrl/exe/saphostexec -upgrade -archive <path to SAP host agent SAR>
   

Mengonfigurasi replikasi Sistem SAP Hana 2.0

Langkah-langkah di bagian ini menggunakan awalan berikut:

• [A]: Langkah ini berlaku untuk semua simpul.
• [1]: Langkah ini hanya berlaku untuk simpul 1.
• [2]: Langkah ini hanya berlaku untuk node 2 dari kluster Pacemaker.

Ganti <placeholders> dengan nilai untuk penginstalan SAP Hana Anda.

1. [1] Buat database penyewa.

   Jika Anda menggunakan SAP Hana 2.0 atau SAP Hana MDC, buat database penyewa untuk sistem SAP NetWeaver Anda.

   Jalankan perintah berikut sebagai <adm HANA SID>:

   hdbsql -u SYSTEM -p "<password>" -i <instance number> -d SYSTEMDB 'CREATE DATABASE <SAP SID> SYSTEM USER PASSWORD "<password>"'
   

2. [1] Konfigurasikan replikasi sistem pada simpul pertama:

   Pertama, cadangkan database sebagai <adm HANA SID>:

   hdbsql -d SYSTEMDB -u SYSTEM -p "<password>" -i <instance number> "BACKUP DATA USING FILE ('<name of initial backup file for SYS>')"
   hdbsql -d <HANA SID> -u SYSTEM -p "<password>" -i <instance number> "BACKUP DATA USING FILE ('<name of initial backup file for HANA SID>')"
   hdbsql -d <SAP SID> -u SYSTEM -p "<password>" -i <instance number> "BACKUP DATA USING FILE ('<name of initial backup file for SAP SID>')"
   

   Kemudian, salin file infrastruktur kunci umum (PKI) sistem ke situs sekunder:

   scp /usr/sap/<HANA SID>/SYS/global/security/rsecssfs/data/SSFS_<HANA SID>.DAT   hn1-db-1:/usr/sap/<HANA SID>/SYS/global/security/rsecssfs/data/
   scp /usr/sap/<HANA SID>/SYS/global/security/rsecssfs/key/SSFS_<HANA SID>.KEY  hn1-db-1:/usr/sap/<HANA SID>/SYS/global/security/rsecssfs/key/
   

   Buat situs utama:

   hdbnsutil -sr_enable --name=<site 1>
   

3. [2] Konfigurasikan replikasi sistem pada simpul kedua:

   Daftarkan simpul kedua untuk memulai replikasi sistem.

   Jalankan perintah berikut sebagai <adm HANA SID>:

   sapcontrol -nr <instance number> -function StopWait 600 10
   hdbnsutil -sr_register --remoteHost=hn1-db-0 --remoteInstance=<instance number> --replicationMode=sync --name=<site 2> 
   

Mengonfigurasi replikasi sistem SAP Hana 1.0

Langkah-langkah di bagian ini menggunakan awalan berikut:

• [A]: Langkah ini berlaku untuk semua simpul.
• [1]: Langkah ini hanya berlaku untuk simpul 1.
• [2]: Langkah ini hanya berlaku untuk node 2 dari kluster Pacemaker.

Ganti <placeholders> dengan nilai untuk penginstalan SAP Hana Anda.

1. [1] Buat pengguna yang diperlukan.

   Jalankan perintah berikut sebagai root:

   PATH="$PATH:/usr/sap/<HANA SID>/HDB<instance number>/exe"
   hdbsql -u system -i <instance number> 'CREATE USER hdbhasync PASSWORD "<password>"'
   hdbsql -u system -i <instance number> 'GRANT DATA ADMIN TO hdbhasync'
   hdbsql -u system -i <instance number> 'ALTER USER hdbhasync DISABLE PASSWORD LIFETIME'
   

2. [A] Buat entri keystore.

   Jalankan perintah berikut sebagai root untuk membuat entri keystore baru:

   PATH="$PATH:/usr/sap/<HANA SID>/HDB<instance number>/exe"
   hdbuserstore SET hdbhaloc localhost:3<instance number>15 hdbhasync <password>
   

3. [1] Cadangkan database.

   Cadangkan database sebagai root:

   PATH="$PATH:/usr/sap/<HANA SID>/HDB<instance number>/exe"
   hdbsql -d SYSTEMDB -u system -i <instance number> "BACKUP DATA USING FILE ('<name of initial backup file>')"
   

   Jika Anda menggunakan pemasangan multipenyewa, cadangkan juga database penyewa:

   hdbsql -d <HANA SID> -u system -i <instance number> "BACKUP DATA USING FILE ('<name of initial backup file>')"
   

4. [1] Konfigurasikan replikasi sistem pada simpul pertama.

   Buat situs utama sebagai <adm HANA SID>:

   su - hdbadm
   hdbnsutil -sr_enable --name=<site 1>
   

5. [2] Konfigurasikan replikasi sistem pada simpul sekunder.

   Daftarkan situs sekunder sebagai <adm HANA SID>:

   sapcontrol -nr <instance number> -function StopWait 600 10
   hdbnsutil -sr_register --remoteHost=<HANA SID>-db-<database 1> --remoteInstance=<instance number> --replicationMode=sync --name=<site 2> 
   

Menerapkan kait HANA SAPHanaSR dan susChkSrv

Dalam langkah penting ini, Anda mengoptimalkan integrasi dengan kluster dan meningkatkan deteksi ketika failover kluster diperlukan. Kami sangat menyarankan Anda mengonfigurasi kait Python SAPHanaSR. Untuk HANA 2.0 SP5 dan yang lebih baru, kami sarankan Anda menerapkan kait SAPHanaSR dan hook susChkSrv.

Hook susChkSrv memperluas fungsionalitas penyedia SAPHanaSR HA utama. Ini bertindak ketika proses HANA hdbindexserver crash. Jika satu proses crash, HANA biasanya mencoba memulai ulang. Memulai ulang proses server indeks dapat memakan waktu lama, di mana database HANA tidak responsif.

Dengan susChkSrv diimplementasikan, tindakan segera dan dapat dikonfigurasi dijalankan. Tindakan ini memicu failover dalam periode batas waktu yang dikonfigurasi alih-alih menunggu proses hdbindexserver dimulai ulang pada node yang sama.

1. [A] Pasang kait replikasi sistem HANA. Kait harus diinstal pada kedua node database HANA.

   Tip

   Kait SAPHanaSR Python hanya dapat diimplementasikan untuk HANA 2.0. Paket SAPHanaSR harus setidaknya versi 0.153.

   Hook susChkSrv Python memerlukan SAP HANA 2.0 SP5, dan versi SAPHanaSR 0.161.1_BF atau yang lebih baru harus diinstal.

   1. Hentikan Hana di kedua simpul.

      Jalankan kode berikut sebagai <adm sapsid>:

      sapcontrol -nr <instance number> -function StopSystem
      

   2. Sesuaikan global.ini pada setiap node kluster. Jika persyaratan untuk hook susChkSrv tidak terpenuhi, hapus seluruh [ha_dr_provider_suschksrv] blok dari parameter berikut.

      Anda dapat menyesuaikan perilaku susChkSrv dengan menggunakan action_on_lost parameter . Nilai yang valid adalah [ ignorekillfence | stop | | ].

      # add to global.ini
      [ha_dr_provider_SAPHanaSR]
      provider = SAPHanaSR
      path = /usr/share/SAPHanaSR
      execution_order = 1
      
      [ha_dr_provider_suschksrv]
      provider = susChkSrv
      path = /usr/share/SAPHanaSR
      execution_order = 3
      action_on_lost = fence
      
      [trace]
      ha_dr_saphanasr = info
      

      Jika Anda menunjuk ke lokasi standar /usr/share/SAPHanaSR , kode hook Python diperbarui secara otomatis melalui pembaruan OS atau pembaruan paket. HANA menggunakan pembaruan kode kait saat berikutnya dimulai ulang. Dengan jalur opsional sendiri seperti /hana/shared/myHooks, Anda dapat memisahkan pembaruan OS dari versi hook yang Anda gunakan.

2. [A] Kluster memerlukan konfigurasi sudoers pada setiap node kluster untuk <adm SAP SID>. Dalam contoh ini, itu dicapai dengan membuat file baru.

   Jalankan perintah berikut sebagai root:

    cat << EOF > /etc/sudoers.d/20-saphana
    # Needed for SAPHanaSR and susChkSrv Python hooks
    hn1adm ALL=(ALL) NOPASSWD: /usr/sbin/crm_attribute -n hana_hn1_site_srHook_*
    hn1adm ALL=(ALL) NOPASSWD: /usr/sbin/SAPHanaSR-hookHelper --sid=HN1 --case=fenceMe
    EOF
   

   Untuk detail tentang menerapkan kait replikasi sistem SAP Hana, lihat Menyiapkan penyedia HANA/DR.

3. [A] Mulai SAP Hana di kedua simpul.

   Jalankan perintah berikut sebagai <adm SAP SID>:

    sapcontrol -nr <instance number> -function StartSystem 
   

4. [1] Verifikasi pemasangan pengait.

   Jalankan perintah berikut sebagai <adm SAP SID>di situs replikasi sistem HANA aktif:

    cdtrace
    awk '/ha_dr_SAPHanaSR.*crm_attribute/ \
    { printf "%s %s %s %s\n",$2,$3,$5,$16 }' nameserver_*
    # Example output
    # 2021-04-08 22:18:15.877583 ha_dr_SAPHanaSR SFAIL
    # 2021-04-08 22:18:46.531564 ha_dr_SAPHanaSR SFAIL
    # 2021-04-08 22:21:26.816573 ha_dr_SAPHanaSR SOK
   

   Verifikasi instalasi kait susChkSrv.

   Jalankan perintah berikut sebagai <adm SAP SID>di semua VM HANA:

    cdtrace
    egrep '(LOST:|STOP:|START:|DOWN:|init|load|fail)' nameserver_suschksrv.trc
    # Example output
    # 2022-11-03 18:06:21.116728  susChkSrv.init() version 0.7.7, parameter info: action_on_lost=fence stop_timeout=20 kill_signal=9
    # 2022-11-03 18:06:27.613588  START: indexserver event looks like graceful tenant start
    # 2022-11-03 18:07:56.143766  START: indexserver event looks like graceful tenant start (indexserver started)
   

Membuat sumber daya kluster SAP Hana

Pertama, buat topologi HANA.

Jalankan perintah berikut pada salah satu simpul kluster Pacemaker:

sudo crm configure property maintenance-mode=true

# Replace <placeholders> with your instance number and HANA system ID

sudo crm configure primitive rsc_SAPHanaTopology_<HANA SID>_HDB<instance number> ocf:suse:SAPHanaTopology \
  operations \$id="rsc_sap2_<HANA SID>_HDB<instance number>-operations" \
  op monitor interval="10" timeout="600" \
  op start interval="0" timeout="600" \
  op stop interval="0" timeout="300" \
  params SID="<HANA SID>" InstanceNumber="<instance number>"

sudo crm configure clone cln_SAPHanaTopology_<HANA SID>_HDB<instance number> rsc_SAPHanaTopology_<HANA SID>_HDB<instance number> \
  meta clone-node-max="1" target-role="Started" interleave="true"

Selanjutnya, buat sumber daya HANA:

Penting

Dalam pengujian baru-baru ini, netcat berhenti menanggapi permintaan karena backlog dan karena keterbatasannya hanya menangani satu koneksi. Sumber netcat daya berhenti mendengarkan permintaan Azure Load Balancer, dan IP mengambang menjadi tidak tersedia.

Untuk kluster Pacemaker yang ada, kami sebelumnya menyarankan agar Anda mengganti netcat dengan socat. Saat ini, kami sarankan Anda menggunakan azure-lb agen sumber daya, yang merupakan bagian dari paket resource-agents. Versi paket berikut diperlukan:

• Untuk SLES 12 SP4/SP5, versi setidaknya harus resource-agents-4.3.018.a7fb5035-3.30.1.
• Untuk SLES 15/15 SP1, versi harus setidaknya agen sumber daya-4.3.0184.6ee15eb2-4.13.1.

Membuat perubahan ini membutuhkan waktu henti singkat.

Untuk kluster Pacemaker yang ada, jika konfigurasi Anda sudah diubah untuk digunakan socat seperti yang dijelaskan dalam Pengerasan Deteksi Azure Load Balancer, Anda tidak perlu segera beralih ke azure-lb agen sumber daya.

Catatan

Artikel ini berisi referensi ke istilah yang tidak lagi digunakan Microsoft. Ketika istilah ini dihapus dari perangkat lunak, kami akan menghapusnya dari artikel ini.

# Replace <placeholders> with your instance number, HANA system ID, and the front-end IP address of the Azure load balancer. 

sudo crm configure primitive rsc_SAPHana_<HANA SID>_HDB<instance number> ocf:suse:SAPHana \
  operations \$id="rsc_sap_<HANA SID>_HDB<instance number>-operations" \
  op start interval="0" timeout="3600" \
  op stop interval="0" timeout="3600" \
  op promote interval="0" timeout="3600" \
  op monitor interval="60" role="Master" timeout="700" \
  op monitor interval="61" role="Slave" timeout="700" \
  params SID="<HANA SID>" InstanceNumber="<instance number>" PREFER_SITE_TAKEOVER="true" \
  DUPLICATE_PRIMARY_TIMEOUT="7200" AUTOMATED_REGISTER="false"

sudo crm configure ms msl_SAPHana_<HANA SID>_HDB<instance number> rsc_SAPHana_<HANA SID>_HDB<instance number> \
  meta notify="true" clone-max="2" clone-node-max="1" \
  target-role="Started" interleave="true"

sudo crm resource meta msl_SAPHana_<HANA SID>_HDB<instance number> set priority 100

sudo crm configure primitive rsc_ip_<HANA SID>_HDB<instance number> ocf:heartbeat:IPaddr2 \
  meta target-role="Started" \
  operations \$id="rsc_ip_<HANA SID>_HDB<instance number>-operations" \
  op monitor interval="10s" timeout="20s" \
  params ip="<front-end IP address>"

sudo crm configure primitive rsc_nc_<HANA SID>_HDB<instance number> azure-lb port=625<instance number> \
  op monitor timeout=20s interval=10 \
  meta resource-stickiness=0

sudo crm configure group g_ip_<HANA SID>_HDB<instance number> rsc_ip_<HANA SID>_HDB<instance number> rsc_nc_<HANA SID>_HDB<instance number>

sudo crm configure colocation col_saphana_ip_<HANA SID>_HDB<instance number> 4000: g_ip_<HANA SID>_HDB<instance number>:Started \
  msl_SAPHana_<HANA SID>_HDB<instance number>:Master  

sudo crm configure order ord_SAPHana_<HANA SID>_HDB<instance number> Optional: cln_SAPHanaTopology_<HANA SID>_HDB<instance number> \
  msl_SAPHana_<HANA SID>_HDB<instance number>

# Clean up the HANA resources. The HANA resources might have failed because of a known issue.
sudo crm resource cleanup rsc_SAPHana_<HANA SID>_HDB<instance number>

sudo crm configure property priority-fencing-delay=30

sudo crm configure property maintenance-mode=false
sudo crm configure rsc_defaults resource-stickiness=1000
sudo crm configure rsc_defaults migration-threshold=5000

Penting

Kami menyarankan agar Anda mengatur AUTOMATED_REGISTER ke false hanya saat Anda menyelesaikan pengujian failover menyeluruh, untuk mencegah instans utama yang gagal mendaftar secara otomatis sebagai sekunder. Ketika pengujian failover berhasil diselesaikan, atur AUTOMATED_REGISTER ke true, sehingga setelah pengamanan, replikasi sistem secara otomatis dilanjutkan.

Pastikan bahwa status kluster adalah OK dan bahwa semua sumber daya dimulai. Tidak masalah node mana sumber daya berjalan.

sudo crm_mon -r

# Online: [ hn1-db-0 hn1-db-1 ]
#
# Full list of resources:
#
# stonith-sbd     (stonith:external/sbd): Started hn1-db-0
# Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03]
#     Started: [ hn1-db-0 hn1-db-1 ]
# Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03]
#     Masters: [ hn1-db-0 ]
#     Slaves: [ hn1-db-1 ]
# Resource Group: g_ip_HN1_HDB03
#     rsc_ip_HN1_HDB03   (ocf::heartbeat:IPaddr2):       Started hn1-db-0
#     rsc_nc_HN1_HDB03   (ocf::heartbeat:azure-lb):      Started hn1-db-0

Mengonfigurasi replikasi sistem aktif/baca HANA dalam kluster Pacemaker

Di SAP Hana 2.0 SPS 01 dan versi yang lebih baru, SAP memungkinkan penyiapan aktif/berkemampuan baca untuk replikasi sistem SAP Hana. Dalam skenario ini, sistem sekunder replikasi sistem SAP Hana dapat secara aktif digunakan untuk beban kerja intensif baca.

Untuk mendukung penyiapan ini dalam kluster, alamat IP virtual kedua diperlukan sehingga klien dapat mengakses database SAP Hana sekunder yang diaktifkan baca. Untuk memastikan bahwa situs replikasi sekunder masih dapat diakses setelah pengamanan, kluster perlu memindahkan alamat IP virtual dengan sekunder sumber daya SAPHana.

Bagian ini menjelaskan langkah-langkah tambahan yang diperlukan untuk mengelola replikasi sistem aktif/baca hana di kluster ketersediaan tinggi SUSE yang menggunakan alamat IP virtual kedua.

Sebelum melanjutkan, pastikan Anda telah sepenuhnya mengonfigurasi kluster ketersediaan tinggi SUSE yang mengelola database SAP Hana seperti yang dijelaskan di bagian sebelumnya.

Menyiapkan load balancer untuk replikasi sistem aktif/baca-aktif

Untuk melanjutkan langkah tambahan untuk menyediakan IP virtual kedua, pastikan Anda mengonfigurasi Azure Load Balancer seperti yang dijelaskan dalam Menyebarkan VM Linux secara manual melalui portal Azure.

Untuk load balancer standar , selesaikan langkah tambahan ini pada load balancer yang sama dengan yang Anda buat sebelumnya.

1. Buat kumpulan IP front-end kedua:
   1. Buka penyeimbang beban, pilih kumpulan IP front-end,dan pilihTambahkan.
   2. Masukkan nama kumpulan IP ujung-depan kedua (misalnya, hana-secondaryIP).
   3. Atur Penugasan ke Statik dan masukkan alamat IP (misalnya, 10.0.0.14).
   4. Pilih OK.
   5. Setelah kumpulan IP front-end baru dibuat, perhatikan alamat IP front-end.
2. Buat pemeriksaan kesehatan:
   1. Di load balancer, pilih pemeriksaan kesehatan, dan pilih Tambahkan.
   2. Masukkan nama pemeriksaan kesehatan baru (misalnya, hana-secondaryhp).
   3. Pilih TCP sebagai protokol dan nomor> instans port 626<. Pertahankan nilai Interval diatur ke 5, dan nilai Ambang tidak sehat diatur ke 2.
   4. Pilih OK.
3. Buat aturan penyeimbangan beban:
   1. Di load balancer, pilih aturan penyeimbangan beban, dan pilih Tambahkan.
   2. Masukkan nama aturan penyeimbang beban baru (misalnya, hana-secondarylb).
   3. Pilih alamat IP front-end, kumpulan back-end, dan pemeriksaan kesehatan yang Anda buat sebelumnya (misalnya, hana-secondaryIP, hana-backend, dan hana-secondaryhp).
   4. Pilih Port HA.
   5. Tingkatkan batas waktu diam menjadi 30 menit.
   6. Pastikan Anda mengaktifkan IP mengambang.
   7. Pilih OK.

Menyiapkan replikasi sistem aktif/baca-aktif HANA

Langkah-langkah untuk mengonfigurasi replikasi sistem HANA dijelaskan dalam Mengonfigurasi replikasi sistem SAP Hana 2.0. Jika Anda menyebarkan skenario sekunder yang diaktifkan baca, saat Anda menyiapkan replikasi sistem pada simpul kedua, jalankan perintah berikut sebagai <adm HANA SID>:

sapcontrol -nr <instance number> -function StopWait 600 10 

hdbnsutil -sr_register --remoteHost=hn1-db-0 --remoteInstance=<instance number> --replicationMode=sync --name=<site 2> --operationMode=logreplay_readaccess 

Menambahkan sumber daya alamat IP virtual sekunder

Anda dapat menyiapkan IP virtual kedua dan batasan kolokasi yang sesuai dengan menggunakan perintah berikut:

crm configure property maintenance-mode=true

crm configure primitive rsc_secip_<HANA SID>_HDB<instance number> ocf:heartbeat:IPaddr2 \
 meta target-role="Started" \
 operations \$id="rsc_secip_<HANA SID>_HDB<instance number>-operations" \
 op monitor interval="10s" timeout="20s" \
 params ip="<secondary IP address>"

crm configure primitive rsc_secnc_<HANA SID>_HDB<instance number> azure-lb port=626<instance number> \
 op monitor timeout=20s interval=10 \
 meta resource-stickiness=0

crm configure group g_secip_<HANA SID>_HDB<instance number> rsc_secip_<HANA SID>_HDB<instance number> rsc_secnc_<HANA SID>_HDB<instance number>

crm configure colocation col_saphana_secip_<HANA SID>_HDB<instance number> 4000: g_secip_<HANA SID>_HDB<instance number>:Started \
 msl_SAPHana_<HANA SID>_HDB<instance number>:Slave 

crm configure property maintenance-mode=false

Pastikan bahwa status kluster adalah OK dan bahwa semua sumber daya dimulai. IP virtual kedua berjalan di situs sekunder bersama dengan sumber daya sekunder SAPHana.

sudo crm_mon -r

# Online: [ hn1-db-0 hn1-db-1 ]
#
# Full list of resources:
#
# stonith-sbd     (stonith:external/sbd): Started hn1-db-0
# Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03]
#     Started: [ hn1-db-0 hn1-db-1 ]
# Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03]
#     Masters: [ hn1-db-0 ]
#     Slaves: [ hn1-db-1 ]
# Resource Group: g_ip_HN1_HDB03
#     rsc_ip_HN1_HDB03   (ocf::heartbeat:IPaddr2):       Started hn1-db-0
#     rsc_nc_HN1_HDB03   (ocf::heartbeat:azure-lb):      Started hn1-db-0
# Resource Group: g_secip_HN1_HDB03:
#     rsc_secip_HN1_HDB03       (ocf::heartbeat:IPaddr2):        Started hn1-db-1
#     rsc_secnc_HN1_HDB03       (ocf::heartbeat:azure-lb):       Started hn1-db-1

Bagian berikutnya menjelaskan serangkaian pengujian failover yang khas untuk dijalankan.

Pertimbangan saat Anda menguji kluster HANA yang dikonfigurasi dengan sekunder yang diaktifkan baca:

• Saat Anda memigrasikan SAPHana_<HANA SID>_HDB<instance number> sumber daya kluster ke hn1-db-1, IP virtual kedua berpindah ke hn1-db-0. Jika Anda telah mengonfigurasi AUTOMATED_REGISTER="false" dan replikasi sistem HANA tidak terdaftar secara otomatis, IP virtual kedua berjalan karena hn1-db-0 server tersedia dan layanan kluster online.

• Saat Anda menguji crash server, sumber daya IP virtual kedua (rsc_secip_<HANA SID>_HDB<instance number>) dan sumber daya port load balancer Azure (rsc_secnc_<HANA SID>_HDB<instance number>) berjalan di server utama bersama sumber daya IP virtual utama. Saat server sekunder tidak berfungsi, aplikasi yang terhubung ke database HANA yang diaktifkan baca tersambung ke database HANA utama. Perilaku ini diharapkan karena Anda tidak ingin aplikasi yang terhubung ke database HANA berkemampuan baca tidak dapat diakses saat server sekunder tidak tersedia.

• Ketika server sekunder tersedia dan layanan kluster online, IP virtual kedua dan sumber daya port secara otomatis pindah ke server sekunder, meskipun replikasi sistem HANA mungkin tidak terdaftar sebagai sekunder. Pastikan Anda mendaftarkan database HANA sekunder sebagai yang diaktifkan baca sebelum Anda memulai layanan kluster di server tersebut. Anda dapat mengonfigurasi sumber daya kluster instans HANA untuk mendaftarkan sekunder secara otomatis dengan mengatur parameter AUTOMATED_REGISTER="true".

• Selama failover dan fallback, koneksi yang ada untuk aplikasi, yang kemudian menggunakan IP virtual kedua untuk terhubung ke database HANA, mungkin terganggu.

Menguji penyiapan kluster

Bagian ini menjelaskan bagaimana Anda dapat menguji penyiapan Anda. Setiap pengujian mengasumsikan bahwa Anda masuk sebagai root dan bahwa master SAP Hana berjalan pada hn1-db-0 VM.

Menguji migrasi

Sebelum Anda memulai pengujian, pastikan bahwa Pacemaker tidak memiliki tindakan yang gagal (jalankan crm_mon -r), bahwa tidak ada batasan lokasi yang tidak terduga (misalnya, sisa pengujian migrasi), dan bahwa HANA dalam status sinkronisasi, misalnya, dengan menjalankan SAPHanaSR-showAttr.

hn1-db-0:~ # SAPHanaSR-showAttr
Sites    srHook
----------------
SITE2    SOK
Global cib-time
--------------------------------
global Mon Aug 13 11:26:04 2018
Hosts    clone_state lpa_hn1_lpt node_state op_mode   remoteHost    roles                            score site  srmode sync_state version                vhost
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------
hn1-db-0 PROMOTED    1534159564  online     logreplay nws-hana-vm-1 4:P:master1:master:worker:master 150   SITE1 sync   PRIM       2.00.030.00.1522209842 nws-hana-vm-0
hn1-db-1 DEMOTED     30          online     logreplay nws-hana-vm-0 4:S:master1:master:worker:master 100   SITE2 sync   SOK        2.00.030.00.1522209842 nws-hana-vm-1

Anda dapat memigrasikan simpul master SAP Hana dengan menjalankan perintah berikut:

crm resource move msl_SAPHana_<HANA SID>_HDB<instance number> hn1-db-1 force

Kluster akan memigrasikan simpul master SAP Hana dan grup yang berisi alamat IP virtual ke hn1-db-1.

Setelah migrasi selesai, crm_mon -r output terlihat seperti contoh ini:

Online: [ hn1-db-0 hn1-db-1 ]

Full list of resources:
stonith-sbd     (stonith:external/sbd): Started hn1-db-1
 Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03]
     Started: [ hn1-db-0 hn1-db-1 ]
 Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03]
     Masters: [ hn1-db-1 ]
     Stopped: [ hn1-db-0 ]
 Resource Group: g_ip_HN1_HDB03
     rsc_ip_HN1_HDB03   (ocf::heartbeat:IPaddr2):       Started hn1-db-1
     rsc_nc_HN1_HDB03   (ocf::heartbeat:azure-lb):      Started hn1-db-1
Failed Actions:
* rsc_SAPHana_HN1_HDB03_start_0 on hn1-db-0 'not running' (7): call=84, status=complete, exitreason='none',
    last-rc-change='Mon Aug 13 11:31:37 2018', queued=0ms, exec=2095ms

Dengan AUTOMATED_REGISTER="false", kluster tidak akan memulai ulang database HANA yang gagal atau mendaftarkannya terhadap primer baru pada hn1-db-0. Dalam hal ini, konfigurasikan instans HANA sebagai sekunder dengan menjalankan perintah ini:

su - <hana sid>adm

# Stop the HANA instance, just in case it is running
hn1adm@hn1-db-0:/usr/sap/HN1/HDB03> sapcontrol -nr <instance number> -function StopWait 600 10
hn1adm@hn1-db-0:/usr/sap/HN1/HDB03> hdbnsutil -sr_register --remoteHost=hn1-db-1 --remoteInstance=<instance number> --replicationMode=sync --name=<site 1>

Migrasi membuat batasan lokasi yang perlu dihapus lagi:

# Switch back to root and clean up the failed state
exit
hn1-db-0:~ # crm resource clear msl_SAPHana_<HANA SID>_HDB<instance number>

Anda juga perlu menghapus status sumber daya simpul sekunder:

hn1-db-0:~ # crm resource cleanup msl_SAPHana_<HANA SID>_HDB<instance number> hn1-db-0

Pantau status sumber daya HANA dengan menggunakan crm_mon -r. Ketika HANA dimulai pada hn1-db-0, output terlihat seperti contoh ini:

Online: [ hn1-db-0 hn1-db-1 ]

Full list of resources:
stonith-sbd     (stonith:external/sbd): Started hn1-db-1
 Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03]
     Started: [ hn1-db-0 hn1-db-1 ]
 Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03]
     Masters: [ hn1-db-1 ]
     Slaves: [ hn1-db-0 ]
 Resource Group: g_ip_HN1_HDB03
     rsc_ip_HN1_HDB03   (ocf::heartbeat:IPaddr2):       Started hn1-db-1
     rsc_nc_HN1_HDB03   (ocf::heartbeat:azure-lb):      Started hn1-db-1

Memblokir komunikasi jaringan

Status sumber daya sebelum memulai pengujian:

Online: [ hn1-db-0 hn1-db-1 ]

Full list of resources:
stonith-sbd     (stonith:external/sbd): Started hn1-db-1
 Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03]
     Started: [ hn1-db-0 hn1-db-1 ]
 Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03]
     Masters: [ hn1-db-1 ]
     Slaves: [ hn1-db-0 ]
 Resource Group: g_ip_HN1_HDB03
     rsc_ip_HN1_HDB03   (ocf::heartbeat:IPaddr2):       Started hn1-db-1
     rsc_nc_HN1_HDB03   (ocf::heartbeat:azure-lb):      Started hn1-db-1

Jalankan aturan firewall untuk memblokir komunikasi pada salah satu simpul.

# Execute iptable rule on hn1-db-1 (10.0.0.6) to block the incoming and outgoing traffic to hn1-db-0 (10.0.0.5)
iptables -A INPUT -s 10.0.0.5 -j DROP; iptables -A OUTPUT -d 10.0.0.5 -j DROP

Ketika node kluster tidak dapat berkomunikasi satu sama lain, ada risiko skenario split-brain. Dalam situasi seperti itu, node kluster akan mencoba memagari satu sama lain secara bersamaan, menghasilkan perlombaan pagar.

Saat mengonfigurasi perangkat anggar, disarankan untuk mengonfigurasi pcmk_delay_max properti. Jadi, jika terjadi skenario split-brain, kluster memperkenalkan penundaan acak hingga pcmk_delay_max nilai , hingga tindakan pagar pada setiap simpul. Simpul dengan penundaan terpendek akan dipilih untuk anggar.

Selain itu, untuk memastikan bahwa node yang menjalankan master HANA mengambil prioritas dan memenangkan perlombaan pagar dalam skenario split brain, disarankan untuk mengatur priority-fencing-delay properti dalam konfigurasi kluster. Dengan mengaktifkan properti priority-fencing-delay, kluster dapat memperkenalkan penundaan tambahan dalam tindakan pagar khususnya pada node yang menghosting sumber daya master HANA, memungkinkan simpul untuk memenangkan perlombaan pagar.

Jalankan perintah di bawah ini untuk menghapus aturan firewall.

# If the iptables rule set on the server gets reset after a reboot, the rules will be cleared out. In case they have not been reset, please proceed to remove the iptables rule using the following command.
iptables -D INPUT -s 10.0.0.5 -j DROP; iptables -D OUTPUT -d 10.0.0.5 -j DROP

Menguji anggar SBD

Anda dapat menguji penyiapan SBD dengan membunuh proses inquisitor:

hn1-db-0:~ # ps aux | grep sbd
root       1912  0.0  0.0  85420 11740 ?        SL   12:25   0:00 sbd: inquisitor
root       1929  0.0  0.0  85456 11776 ?        SL   12:25   0:00 sbd: watcher: /dev/disk/by-id/scsi-360014056f268462316e4681b704a9f73 - slot: 0 - uuid: 7b862dba-e7f7-4800-92ed-f76a4e3978c8
root       1930  0.0  0.0  85456 11776 ?        SL   12:25   0:00 sbd: watcher: /dev/disk/by-id/scsi-360014059bc9ea4e4bac4b18808299aaf - slot: 0 - uuid: 5813ee04-b75c-482e-805e-3b1e22ba16cd
root       1931  0.0  0.0  85456 11776 ?        SL   12:25   0:00 sbd: watcher: /dev/disk/by-id/scsi-36001405b8dddd44eb3647908def6621c - slot: 0 - uuid: 986ed8f8-947d-4396-8aec-b933b75e904c
root       1932  0.0  0.0  90524 16656 ?        SL   12:25   0:00 sbd: watcher: Pacemaker
root       1933  0.0  0.0 102708 28260 ?        SL   12:25   0:00 sbd: watcher: Cluster
root      13877  0.0  0.0   9292  1572 pts/0    S+   12:27   0:00 grep sbd

hn1-db-0:~ # kill -9 1912

Simpul <HANA SID>-db-<database 1> kluster di-boot ulang. Layanan Pacemaker mungkin tidak dimulai ulang. Pastikan Anda memulainya lagi.

Menguji failover manual

Anda dapat menguji failover manual dengan menghentikan layanan Pacemaker pada node hn1-db-0 :

service pacemaker stop

Setelah kegagalan, Anda dapat memulai layanan lagi. Jika Anda mengatur AUTOMATED_REGISTER="false", sumber daya SAP Hana pada simpul hn1-db-0 gagal dimulai sebagai sekunder.

Dalam hal ini, konfigurasikan instans HANA sebagai sekunder dengan menjalankan perintah ini:

service pacemaker start
su - <hana sid>adm

# Stop the HANA instance, just in case it is running
sapcontrol -nr <instance number> -function StopWait 600 10
hdbnsutil -sr_register --remoteHost=hn1-db-1 --remoteInstance=<instance number> --replicationMode=sync --name=<site 1> 

# Switch back to root and clean up the failed state
exit
crm resource cleanup msl_SAPHana_<HANA SID>_HDB<instance number> hn1-db-0

Pengujian SUSE

Penting

Pastikan BAHWA OS yang Anda pilih bersertifikat SAP untuk SAP Hana pada jenis VM tertentu yang Anda rencanakan untuk digunakan. Anda dapat mencari jenis VM bersertifikat SAP Hana dan rilis OS mereka di Platform IaaS Bersertifikat SAP Hana. Pastikan Anda melihat detail jenis VM yang Anda rencanakan untuk digunakan untuk mendapatkan daftar lengkap rilis OS yang didukung SAP Hana untuk jenis VM tersebut.

Jalankan semua kasus pengujian yang tercantum dalam panduan Skenario Yang Dioptimalkan Performa SAP Hana SR atau panduan Skenario Pengoptimalan Biaya SAP Hana SR, tergantung pada skenario Anda. Anda dapat menemukan panduan yang tercantum di SLES untuk praktik terbaik SAP.

Pengujian berikut adalah salinan deskripsi pengujian panduan SAP Hana SR Performance Optimized SUSE Linux Enterprise Server untuk Aplikasi SAP 12 SP1. Untuk versi terbaru, baca juga panduan itu sendiri. Selalu pastikan bahwa HANA sinkron sebelum Anda memulai pengujian, dan pastikan konfigurasi Pacemaker sudah benar.

Dalam deskripsi pengujian berikut, kami mengasumsikan PREFER_SITE_TAKEOVER="true" dan AUTOMATED_REGISTER="false".

Catatan

Pengujian berikut dirancang untuk dijalankan secara berurutan. Setiap pengujian tergantung pada status keluar dari pengujian sebelumnya.

1. Uji 1: Hentikan database utama pada simpul 1.

   Status sumber daya sebelum memulai pengujian:

   Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03]
      Started: [ hn1-db-0 hn1-db-1 ]
   Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03]
      Masters: [ hn1-db-0 ]
      Slaves: [ hn1-db-1 ]
   Resource Group: g_ip_HN1_HDB03
      rsc_ip_HN1_HDB03   (ocf::heartbeat:IPaddr2):       Started hn1-db-0
      rsc_nc_HN1_HDB03   (ocf::heartbeat:azure-lb):      Started hn1-db-0
   

   Jalankan perintah berikut sebagai <hana sid>adm pada simpul hn1-db-0 :

   hn1adm@hn1-db-0:/usr/sap/HN1/HDB03> HDB stop
   

   Pacemaker mendeteksi instans HANA yang dihentikan dan melakukan failover ke simpul lain. Setelah failover selesai, instans HANA pada simpul hn1-db-0 dihentikan karena Pacemaker tidak secara otomatis mendaftarkan simpul sebagai sekunder HANA.

   Jalankan perintah berikut untuk mendaftarkan simpul hn1-db-0 sebagai sekunder dan membersihkan sumber daya yang gagal:

   hn1adm@hn1-db-0:/usr/sap/HN1/HDB03> hdbnsutil -sr_register --remoteHost=hn1-db-1 --remoteInstance=<instance number> --replicationMode=sync --name=<site 1>
   
   # run as root
   hn1-db-0:~ # crm resource cleanup msl_SAPHana_<HANA SID>_HDB<instance number> hn1-db-0
   

   Status sumber daya setelah pengujian:

   Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03]
      Started: [ hn1-db-0 hn1-db-1 ]
   Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03]
      Masters: [ hn1-db-1 ]
      Slaves: [ hn1-db-0 ]
   Resource Group: g_ip_HN1_HDB03
      rsc_ip_HN1_HDB03   (ocf::heartbeat:IPaddr2):       Started hn1-db-1
      rsc_nc_HN1_HDB03   (ocf::heartbeat:azure-lb):      Started hn1-db-1
   

2. Uji 2: Hentikan database utama pada simpul 2.

   Status sumber daya sebelum memulai pengujian:

   Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03]
      Started: [ hn1-db-0 hn1-db-1 ]
   Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03]
      Masters: [ hn1-db-1 ]
      Slaves: [ hn1-db-0 ]
   Resource Group: g_ip_HN1_HDB03
      rsc_ip_HN1_HDB03   (ocf::heartbeat:IPaddr2):       Started hn1-db-1
      rsc_nc_HN1_HDB03   (ocf::heartbeat:azure-lb):      Started hn1-db-1
   

   Jalankan perintah berikut sebagai <hana sid>adm pada simpul hn1-db-1 :

   hn1adm@hn1-db-1:/usr/sap/HN1/HDB01> HDB stop
   

   Pacemaker mendeteksi instans HANA yang dihentikan dan melakukan failover ke simpul lain. Setelah failover selesai, instans HANA pada simpul hn1-db-1 dihentikan karena Pacemaker tidak secara otomatis mendaftarkan simpul sebagai sekunder HANA.

   Jalankan perintah berikut untuk mendaftarkan simpul hn1-db-1 sebagai sekunder dan membersihkan sumber daya yang gagal:

   hn1adm@hn1-db-1:/usr/sap/HN1/HDB03> hdbnsutil -sr_register --remoteHost=hn1-db-0 --remoteInstance=<instance number> --replicationMode=sync --name=<site 2>
   
   # run as root
   hn1-db-1:~ # crm resource cleanup msl_SAPHana_<HANA SID>_HDB<instance number> hn1-db-1
   

   Status sumber daya setelah pengujian:

   Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03]
      Started: [ hn1-db-0 hn1-db-1 ]
   Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03]
      Masters: [ hn1-db-0 ]
      Slaves: [ hn1-db-1 ]
   Resource Group: g_ip_HN1_HDB03
      rsc_ip_HN1_HDB03   (ocf::heartbeat:IPaddr2):       Started hn1-db-0
      rsc_nc_HN1_HDB03   (ocf::heartbeat:azure-lb):      Started hn1-db-0
   

3. Uji 3: Crash database utama pada simpul 1.

   Status sumber daya sebelum memulai pengujian:

   Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03]
      Started: [ hn1-db-0 hn1-db-1 ]
   Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03]
      Masters: [ hn1-db-0 ]
      Slaves: [ hn1-db-1 ]
   Resource Group: g_ip_HN1_HDB03
      rsc_ip_HN1_HDB03   (ocf::heartbeat:IPaddr2):       Started hn1-db-0
      rsc_nc_HN1_HDB03   (ocf::heartbeat:azure-lb):      Started hn1-db-0
   

   Jalankan perintah berikut sebagai <hana sid>adm pada simpul hn1-db-0 :

   hn1adm@hn1-db-0:/usr/sap/HN1/HDB03> HDB kill-9
   

   Pacemaker mendeteksi instans HANA yang mati dan melakukan failover ke simpul lain. Setelah failover selesai, instans HANA pada simpul hn1-db-0 dihentikan karena Pacemaker tidak secara otomatis mendaftarkan simpul sebagai sekunder HANA.

   Jalankan perintah berikut untuk mendaftarkan simpul hn1-db-0 sebagai sekunder dan membersihkan sumber daya yang gagal:

   hn1adm@hn1-db-0:/usr/sap/HN1/HDB03> hdbnsutil -sr_register --remoteHost=hn1-db-1 --remoteInstance=<instance number> --replicationMode=sync --name=<site 1>
   
   # run as root
   hn1-db-0:~ # crm resource cleanup msl_SAPHana_<HANA SID>_HDB<instance number> hn1-db-0
   

   Status sumber daya setelah pengujian:

   Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03]
      Started: [ hn1-db-0 hn1-db-1 ]
   Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03]
      Masters: [ hn1-db-1 ]
      Slaves: [ hn1-db-0 ]
   Resource Group: g_ip_HN1_HDB03
      rsc_ip_HN1_HDB03   (ocf::heartbeat:IPaddr2):       Started hn1-db-1
      rsc_nc_HN1_HDB03   (ocf::heartbeat:azure-lb):      Started hn1-db-1
   

4. Uji 4: Crash database utama pada simpul 2.

   Status sumber daya sebelum memulai pengujian:

   Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03]
      Started: [ hn1-db-0 hn1-db-1 ]
   Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03]
      Masters: [ hn1-db-1 ]
      Slaves: [ hn1-db-0 ]
   Resource Group: g_ip_HN1_HDB03
      rsc_ip_HN1_HDB03   (ocf::heartbeat:IPaddr2):       Started hn1-db-1
      rsc_nc_HN1_HDB03   (ocf::heartbeat:azure-lb):      Started hn1-db-1
   

   Jalankan perintah berikut sebagai <hana sid>adm pada simpul hn1-db-1 :

   hn1adm@hn1-db-1:/usr/sap/HN1/HDB03> HDB kill-9
   

   Pacemaker mendeteksi instans HANA yang mati dan melakukan failover ke simpul lain. Setelah failover selesai, instans HANA pada simpul hn1-db-1 dihentikan karena Pacemaker tidak secara otomatis mendaftarkan simpul sebagai sekunder HANA.

   Jalankan perintah berikut untuk mendaftarkan simpul hn1-db-1 sebagai sekunder dan bersihkan sumber daya yang gagal.

   hn1adm@hn1-db-1:/usr/sap/HN1/HDB03> hdbnsutil -sr_register --remoteHost=hn1-db-0 --remoteInstance=<instance number> --replicationMode=sync --name=<site 2>
   
   # run as root
   hn1-db-1:~ # crm resource cleanup msl_SAPHana_<HANA SID>_HDB<instance number> hn1-db-1
   

   Status sumber daya setelah pengujian:

   Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03]
      Started: [ hn1-db-0 hn1-db-1 ]
   Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03]
      Masters: [ hn1-db-0 ]
      Slaves: [ hn1-db-1 ]
   Resource Group: g_ip_HN1_HDB03
      rsc_ip_HN1_HDB03   (ocf::heartbeat:IPaddr2):       Started hn1-db-0
      rsc_nc_HN1_HDB03   (ocf::heartbeat:azure-lb):      Started hn1-db-0
   

5. Uji 5: Crash node situs utama (node 1).

   Status sumber daya sebelum memulai pengujian:

   Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03]
      Started: [ hn1-db-0 hn1-db-1 ]
   Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03]
      Masters: [ hn1-db-0 ]
      Slaves: [ hn1-db-1 ]
   Resource Group: g_ip_HN1_HDB03
      rsc_ip_HN1_HDB03   (ocf::heartbeat:IPaddr2):       Started hn1-db-0
      rsc_nc_HN1_HDB03   (ocf::heartbeat:azure-lb):      Started hn1-db-0
   

   Jalankan perintah berikut sebagai root pada simpul hn1-db-0 :

   hn1-db-0:~ #  echo 'b' > /proc/sysrq-trigger
   

   Pacemaker mendeteksi node kluster yang mati dan memagari simpul. Ketika node dibenamkan, Pacemaker memicu pengalihan instans HANA. Ketika simpul bergaris di-boot ulang, Pacemaker tidak dimulai secara otomatis.

   Jalankan perintah berikut untuk memulai Pacemaker, bersihkan pesan SBD untuk simpul hn1-db-0 , daftarkan hn1-db-0 simpul sebagai sekunder, dan bersihkan sumber daya yang gagal:

   # run as root
   # list the SBD device(s)
   hn1-db-0:~ # cat /etc/sysconfig/sbd | grep SBD_DEVICE=
   # SBD_DEVICE="/dev/disk/by-id/scsi-36001405772fe8401e6240c985857e116;/dev/disk/by-id/scsi-36001405034a84428af24ddd8c3a3e9e1;/dev/disk/by-id/scsi-36001405cdd5ac8d40e548449318510c3"
   
   hn1-db-0:~ # sbd -d /dev/disk/by-id/scsi-36001405772fe8401e6240c985857e116 -d /dev/disk/by-id/scsi-36001405034a84428af24ddd8c3a3e9e1 -d /dev/disk/by-id/scsi-36001405cdd5ac8d40e548449318510c3 message hn1-db-0 clear
   
   hn1-db-0:~ # systemctl start pacemaker
   
   # run as <hana sid>adm
   hn1adm@hn1-db-0:/usr/sap/HN1/HDB03> hdbnsutil -sr_register --remoteHost=hn1-db-1 --remoteInstance=<instance number> --replicationMode=sync --name=<site 1>
   
   # run as root
   hn1-db-0:~ # crm resource cleanup msl_SAPHana_<HANA SID>_HDB<instance number> hn1-db-0
   

   Status sumber daya setelah pengujian:

   Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03]
      Started: [ hn1-db-0 hn1-db-1 ]
   Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03]
      Masters: [ hn1-db-1 ]
      Slaves: [ hn1-db-0 ]
   Resource Group: g_ip_HN1_HDB03
      rsc_ip_HN1_HDB03   (ocf::heartbeat:IPaddr2):       Started hn1-db-1
      rsc_nc_HN1_HDB03   (ocf::heartbeat:azure-lb):      Started hn1-db-1
   

6. Uji 6: Crash node situs sekunder (node 2).

   Status sumber daya sebelum memulai pengujian:

   Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03]
      Started: [ hn1-db-0 hn1-db-1 ]
   Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03]
      Masters: [ hn1-db-1 ]
      Slaves: [ hn1-db-0 ]
   Resource Group: g_ip_HN1_HDB03
      rsc_ip_HN1_HDB03   (ocf::heartbeat:IPaddr2):       Started hn1-db-1
      rsc_nc_HN1_HDB03   (ocf::heartbeat:azure-lb):      Started hn1-db-1
   

   Jalankan perintah berikut sebagai root pada simpul hn1-db-1 :

   hn1-db-1:~ #  echo 'b' > /proc/sysrq-trigger
   

   Pacemaker mendeteksi node kluster yang mati dan memagari simpul. Ketika node dibenamkan, Pacemaker memicu pengalihan instans HANA. Ketika simpul bergaris di-boot ulang, Pacemaker tidak dimulai secara otomatis.

   Jalankan perintah berikut untuk memulai Pacemaker, bersihkan pesan SBD untuk simpul hn1-db-1 , daftarkan hn1-db-1 simpul sebagai sekunder, dan bersihkan sumber daya yang gagal:

   # run as root
   # list the SBD device(s)
   hn1-db-1:~ # cat /etc/sysconfig/sbd | grep SBD_DEVICE=
   # SBD_DEVICE="/dev/disk/by-id/scsi-36001405772fe8401e6240c985857e116;/dev/disk/by-id/scsi-36001405034a84428af24ddd8c3a3e9e1;/dev/disk/by-id/scsi-36001405cdd5ac8d40e548449318510c3"
   
   hn1-db-1:~ # sbd -d /dev/disk/by-id/scsi-36001405772fe8401e6240c985857e116 -d /dev/disk/by-id/scsi-36001405034a84428af24ddd8c3a3e9e1 -d /dev/disk/by-id/scsi-36001405cdd5ac8d40e548449318510c3 message hn1-db-1 clear
   
   hn1-db-1:~ # systemctl start pacemaker
   
   # run as <hana sid>adm
   hn1adm@hn1-db-1:/usr/sap/HN1/HDB03> hdbnsutil -sr_register --remoteHost=hn1-db-0 --remoteInstance=<instance number> --replicationMode=sync --name=<site 2>
   
   # run as root
   hn1-db-1:~ # crm resource cleanup msl_SAPHana_<HANA SID>_HDB<instance number> hn1-db-1
   

   Status sumber daya setelah pengujian:

   Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03]
      Started: [ hn1-db-0 hn1-db-1 ]
   Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03]
      Masters: [ hn1-db-0 ]
      Slaves: [ hn1-db-1 ]
   Resource Group: g_ip_HN1_HDB03
      rsc_ip_HN1_HDB03   (ocf::heartbeat:IPaddr2):       Started hn1-db-0
      rsc_nc_HN1_HDB03   (ocf::heartbeat:azure-lb):      Started hn1-db-0
   </code></pre>
   

7. Uji 7: Hentikan database sekunder pada simpul 2.

   Status sumber daya sebelum memulai pengujian:

   Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03]
      Started: [ hn1-db-0 hn1-db-1 ]
   Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03]
      Masters: [ hn1-db-0 ]
      Slaves: [ hn1-db-1 ]
   Resource Group: g_ip_HN1_HDB03
      rsc_ip_HN1_HDB03   (ocf::heartbeat:IPaddr2):       Started hn1-db-0
      rsc_nc_HN1_HDB03   (ocf::heartbeat:azure-lb):      Started hn1-db-0
   

   Jalankan perintah berikut sebagai <hana sid>adm pada simpul hn1-db-1 :

   hn1adm@hn1-db-1:/usr/sap/HN1/HDB03> HDB stop
   

   Pacemaker mendeteksi instans HANA yang dihentikan dan menandai sumber daya sebagai gagal pada simpul hn1-db-1 . Pacemaker secara otomatis memulai ulang instans HANA.

   Jalankan perintah berikut untuk membersihkan status gagal:

   # run as root
   hn1-db-1>:~ # crm resource cleanup msl_SAPHana_<HANA SID>_HDB<instance number> hn1-db-1
   

   Status sumber daya setelah pengujian:

   Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03]
      Started: [ hn1-db-0 hn1-db-1 ]
   Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03]
      Masters: [ hn1-db-0 ]
      Slaves: [ hn1-db-1 ]
   Resource Group: g_ip_HN1_HDB03
      rsc_ip_HN1_HDB03   (ocf::heartbeat:IPaddr2):       Started hn1-db-0
      rsc_nc_HN1_HDB03   (ocf::heartbeat:azure-lb):      Started hn1-db-0
   

8. Uji 8: Crash database sekunder pada node 2.

   Status sumber daya sebelum memulai pengujian:

   Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03]
      Started: [ hn1-db-0 hn1-db-1 ]
   Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03]
      Masters: [ hn1-db-0 ]
      Slaves: [ hn1-db-1 ]
   Resource Group: g_ip_HN1_HDB03
      rsc_ip_HN1_HDB03   (ocf::heartbeat:IPaddr2):       Started hn1-db-0
      rsc_nc_HN1_HDB03   (ocf::heartbeat:azure-lb):      Started hn1-db-0
   

   Jalankan perintah berikut sebagai <hana sid>adm pada simpul hn1-db-1 :

   hn1adm@hn1-db-1:/usr/sap/HN1/HDB03> HDB kill-9
   

   Pacemaker mendeteksi instans HANA yang mati dan menandai sumber daya sebagai gagal pada simpul hn1-db-1 . Jalankan perintah berikut untuk membersihkan status gagal. Pacemaker kemudian secara otomatis memulai ulang instans HANA.

   # run as root
   hn1-db-1:~ # crm resource cleanup msl_SAPHana_<HANA SID>_HDB<instance number> HN1-db-1
   

   Status sumber daya setelah pengujian:

   Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03]
      Started: [ hn1-db-0 hn1-db-1 ]
   Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03]
      Masters: [ hn1-db-0 ]
      Slaves: [ hn1-db-1 ]
   Resource Group: g_ip_HN1_HDB03
      rsc_ip_HN1_HDB03   (ocf::heartbeat:IPaddr2):       Started hn1-db-0
      rsc_nc_HN1_HDB03   (ocf::heartbeat:azure-lb):      Started hn1-db-0
   

9. Uji 9: Crash simpul situs sekunder (simpul 2) yang menjalankan database HANA sekunder.

   Status sumber daya sebelum memulai pengujian:

   Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03]
      Started: [ hn1-db-0 hn1-db-1 ]
   Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03]
      Masters: [ hn1-db-0 ]
      Slaves: [ hn1-db-1 ]
   Resource Group: g_ip_HN1_HDB03
      rsc_ip_HN1_HDB03   (ocf::heartbeat:IPaddr2):       Started hn1-db-0
      rsc_nc_HN1_HDB03   (ocf::heartbeat:azure-lb):      Started hn1-db-0
   

   Jalankan perintah berikut sebagai root pada simpul hn1-db-1 :

   hn1-db-1:~ # echo b > /proc/sysrq-trigger
   

   Pacemaker mendeteksi node kluster yang mati dan memagari simpul. Ketika simpul bergaris di-boot ulang, Pacemaker tidak dimulai secara otomatis.

   Jalankan perintah berikut untuk memulai Pacemaker, bersihkan pesan SBD untuk simpul hn1-db-1 , dan bersihkan sumber daya yang gagal:

   # run as root
   # list the SBD device(s)
   hn1-db-1:~ # cat /etc/sysconfig/sbd | grep SBD_DEVICE=
   # SBD_DEVICE="/dev/disk/by-id/scsi-36001405772fe8401e6240c985857e116;/dev/disk/by-id/scsi-36001405034a84428af24ddd8c3a3e9e1;/dev/disk/by-id/scsi-36001405cdd5ac8d40e548449318510c3"
   
   hn1-db-1:~ # sbd -d /dev/disk/by-id/scsi-36001405772fe8401e6240c985857e116 -d /dev/disk/by-id/scsi-36001405034a84428af24ddd8c3a3e9e1 -d /dev/disk/by-id/scsi-36001405cdd5ac8d40e548449318510c3 message hn1-db-1 clear
   
   hn1-db-1:~ # systemctl start pacemaker  
   
   hn1-db-1:~ # crm resource cleanup msl_SAPHana_<HANA SID>_HDB<instance number> hn1-db-1
   

   Status sumber daya setelah pengujian:

   Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03]
      Started: [ hn1-db-0 hn1-db-1 ]
   Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03]
      Masters: [ hn1-db-0 ]
      Slaves: [ hn1-db-1 ]
   Resource Group: g_ip_HN1_HDB03
      rsc_ip_HN1_HDB03   (ocf::heartbeat:IPaddr2):       Started hn1-db-0
      rsc_nc_HN1_HDB03   (ocf::heartbeat:azure-lb):      Started hn1-db-0
   

10. Uji 10: Crash server indeks database utama

    Pengujian ini hanya relevan ketika Anda telah menyiapkan kait susChkSrv seperti yang diuraikan dalam Mengimplementasikan KAIT HANA SAPHanaSR dan susChkSrv.

    Status sumber daya sebelum memulai pengujian:

    Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03]
       Started: [ hn1-db-0 hn1-db-1 ]
    Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03]
       Masters: [ hn1-db-0 ]
       Slaves: [ hn1-db-1 ]
    Resource Group: g_ip_HN1_HDB03
       rsc_ip_HN1_HDB03   (ocf::heartbeat:IPaddr2):       Started hn1-db-0
       rsc_nc_HN1_HDB03   (ocf::heartbeat:azure-lb):      Started hn1-db-0
    

    Jalankan perintah berikut sebagai root pada simpul hn1-db-0 :

    hn1-db-0:~ # killall -9 hdbindexserver
    

    Ketika pengindeks dihentikan, kait susChkSrv mendeteksi peristiwa dan memicu tindakan untuk memagari node 'hn1-db-0' dan memulai proses pengamanan.

    Jalankan perintah berikut untuk mendaftarkan hn1-db-0 simpul sebagai sekunder dan bersihkan sumber daya yang gagal:

    # run as <hana sid>adm
    hn1adm@hn1-db-0:/usr/sap/HN1/HDB03> hdbnsutil -sr_register --remoteHost=hn1-db-1 --remoteInstance=<instance number> --replicationMode=sync --name=<site 1>
    
    # run as root
    hn1-db-0:~ # crm resource cleanup msl_SAPHana_<HANA SID>_HDB<instance number> hn1-db-0
    

    Status sumber daya setelah pengujian:

    Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03]
       Started: [ hn1-db-0 hn1-db-1 ]
    Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03]
       Masters: [ hn1-db-1 ]
       Slaves: [ hn1-db-0 ]
    Resource Group: g_ip_HN1_HDB03
       rsc_ip_HN1_HDB03   (ocf::heartbeat:IPaddr2):       Started hn1-db-1
       rsc_nc_HN1_HDB03   (ocf::heartbeat:azure-lb):      Started hn1-db-1
    

    Anda dapat menjalankan kasus pengujian yang sebanding dengan menyebabkan indexserver pada node sekunder mengalami crash. Jika terjadi crash indexserver, kait susChkSrv akan mengenali kemunculan dan memulai tindakan untuk memagari simpul sekunder.

Langkah berikutnya

• Perencanaan dan implementasi Azure Virtual Machine untuk SAP
• Penerapan Azure Virtual Machine untuk SAP
• Penyebaran Microsoft Azure Virtual Machines DBMS untuk SAP