Azure Virtual Machines HA untuk SAP NetWeaver di RHEL dengan Azure NetApp Files untuk aplikasi SAP

  • Artikel

Artikel ini menjelaskan cara menyebarkan komputer virtual (VM), mengonfigurasi VM, menginstal kerangka kerja kluster, dan menginstal sistem SAP NetWeaver 7.50 dengan menggunakan Azure NetApp Files. Dalam contoh konfigurasi dan perintah penginstalan, instans ASCS adalah nomor 00, instans ERS adalah nomor 01, instans Aplikasi Utama (PAS) adalah 02, dan instans Aplikasi (AAS) adalah 03. QAS ID Sistem SAP digunakan.

Lapisan database tidak dibahas secara detail dalam artikel ini.

Prasyarat

Baca makalah dan Catatan SAP berikut terlebih dahulu:

Gambaran Umum

Ketersediaan tinggi (HA) untuk layanan pusat SAP NetWeaver memerlukan penyimpanan bersama. Hingga saat ini untuk mencapai KETERSEDIAAN TINGGI di Red Hat Linux, perlu untuk membangun kluster GlusterFS terpisah yang sangat tersedia.

Sekarang dimungkinkan untuk mencapai SAP NetWeaver HA dengan menggunakan penyimpanan bersama yang disebarkan di Azure NetApp Files. Menggunakan Azure NetApp Files untuk penyimpanan bersama menghilangkan kebutuhan akan lebih banyak kluster GlusterFS. Pacemaker masih diperlukan untuk KETERSEDIAAN TINGGI layanan pusat SAP NetWeaver (ASCS/SCS).

Diagram that shows SAP NetWeaver high-availability overview.

Database SAP NetWeaver ASCS, SAP NetWeaver SCS, SAP NetWeaver ERS, dan SAP Hana menggunakan nama host virtual dan alamat IP virtual. Pada Azure, penyeimbang muatan diperlukan untuk menggunakan alamat IP virtual. Sebaiknya gunakan Azure Load Balancer Standard. Konfigurasi di sini menunjukkan load balancer dengan:

  • Alamat IP front-end 192.168.14.9 untuk ASCS.
  • Alamat IP front-end 192.168.14.10 untuk ERS.
  • Probe port 62000 untuk ASCS.
  • Port probe 62101 untuk ERS.

Menyiapkan infrastruktur Azure NetApp Files

SAP NetWeaver memerlukan penyimpanan berbagi untuk transportasi dan direktori profil. Sebelum Anda melanjutkan penyiapan untuk infrastruktur Azure NetApp Files, biasakan diri Anda dengan dokumentasi Azure NetApp Files. Periksa apakah wilayah Azure yang Anda pilih menawarkan Azure NetApp Files. Untuk ketersediaan Azure NetApp Files menurut wilayah Azure, lihat Ketersediaan Azure NetApp Files menurut wilayah Azure.

Azure NetApp Files tersedia di beberapa wilayah Azure.

Sebarkan sumber daya Azure NetApp Files

Langkah-langkah mengasumsikan bahwa Anda sudah menyebarkan Azure Virtual Network. Sumber daya Azure NetApp Files dan VM, tempat sumber daya Azure NetApp Files akan dipasang, harus disebarkan di jaringan virtual Azure yang sama atau di jaringan virtual Azure yang di-peering.

  1. Buat akun Azure NetApp Files di wilayah Azure yang dipilih dengan mengikuti instruksi untuk membuat akun Azure NetApp Files.

  2. Siapkan kumpulan kapasitas Azure NetApp Files dengan mengikuti instruksi tentang cara menyiapkan kumpulan kapasitas Azure NetApp Files. Arsitektur SAP NetWeaver yang disajikan dalam artikel ini menggunakan kumpulan kapasitas Azure NetApp Files tunggal, SKU Premium. Kami merekomendasikan SKU Premium Azure NetApp Files untuk beban kerja aplikasi SAP NetWeaver di Azure.

  3. Mendelegasikan subnet ke Azure NetApp Files seperti yang dijelaskan dalam instruksi tentang cara mendelegasikan subnet ke Azure NetApp Files.

  4. Sebarkan volume Azure NetApp Files dengan mengikuti instruksi untuk membuat volume untuk Azure NetApp Files. Sebarkan volume di subnet Azure NetApp Files yang ditunjuk. Alamat IP volume Azure NetApp ditetapkan secara otomatis. Sumber daya Azure NetApp Files dan Azure VM harus berada di jaringan virtual Azure yang sama atau di jaringan virtual Azure yang di-peering. Dalam contoh ini, kami menggunakan dua volume Azure NetApp Files: sapQAS dan transSAP. Jalur file yang dipasang ke titik pemasangan yang sesuai adalah /usrsapqas/sapmntQAS dan /usrsapqas/usrsapQASsys.

    1. Volume sapQAS (QAS nfs://192.168.24.5/usrsap/sapmntQAS)
    2. Volume sapQAS (nfs://192.168.24.5/usrsapqas/usrsapQASascs)
    3. Volume sapQAS (nfs://192.168.24.5/usrsapqas/usrsapQASsys)
    4. Volume sapQAS (nfs://192.168.24.5/usrsapqas/usrsapQASers)
    5. TransSAP volume (nfs://192.168.24.4/transSAP)
    6. Volume sapQAS (nfs://192.168.24.5/usrsapqas/usrsapQASpas)
    7. Volume sapQAS (nfs://192.168.24.5/usrsapqas/usrsapQASaas)

Dalam contoh ini, kami menggunakan Azure NetApp Files untuk semua sistem file SAP NetWeaver untuk menunjukkan bagaimana Anda dapat menggunakan Azure NetApp Files. Sistem file SAP yang tidak perlu dipasang melalui NFS juga dapat disebarkan sebagai penyimpanan disk Azure. Dalam contoh ini, a-e harus berada di Azure NetApp Files dan f-g (yaitu, /usr/sap/QAS/D02 dan /usr/sap/QAS/D03) dapat disebarkan sebagai penyimpanan disk Azure.

Pertimbangan penting

Ketika Anda mempertimbangkan Azure NetApp Files untuk arsitektur SAP NetWeaver di RHEL HA, perhatikan pertimbangan penting berikut:

  • Kapasitas minimum kumpulan adalah 4 TiB. Anda dapat meningkatkan ukuran kumpulan kapasitas dalam kenaikan 1-TiB.
  • Volume minimum adalah 100 GiB.
  • Azure NetApp Files dan semua VM, tempat volume Azure NetApp Files akan dipasang, harus berada di jaringan virtual Azure yang sama atau di jaringan virtual yang di-peering di wilayah yang sama. Akses Azure NetApp Files melalui peering jaringan virtual di wilayah yang sama sekarang didukung. Akses Azure NetApp Files melalui peering global belum didukung.
  • Jaringan virtual yang dipilih harus memiliki subnet yang didelegasikan ke Azure NetApp Files.
  • Karakteristik throughput dan performa volume Azure NetApp Files adalah fungsi dari kuota volume dan tingkat layanan. Untuk informasi selengkapnya, lihat Tingkat layanan untuk Azure NetApp Files. Saat Anda mengukur volume SAP Azure NetApp, pastikan throughput yang dihasilkan memenuhi persyaratan aplikasi.
  • Azure NetApp Files menawarkan kebijakan ekspor. Anda dapat mengontrol klien yang diizinkan dan jenis akses (seperti Baca/Tulis dan Baca Saja).
  • Fitur Azure NetApp Files belum sadar zona. Saat ini, fitur Azure NetApp Files tidak disebarkan di semua zona ketersediaan di wilayah Azure. Waspadai potensi implikasi latensi di beberapa wilayah Azure.
  • Anda dapat menyebarkan volume Azure NetApp Files sebagai volume NFSv3 atau NFSv4.1. Kedua protokol didukung untuk lapisan aplikasi SAP (ASCS/ERS, server aplikasi SAP).

Siapkan infrastruktur

Marketplace Azure berisi gambar yang memenuhi syarat untuk SAP dengan add-on Ketersediaan Tinggi, yang dapat Anda gunakan untuk menyebarkan VM baru dengan menggunakan berbagai versi Red Hat.

Menyebarkan VM Linux secara manual melalui portal Azure

Dokumen ini mengasumsikan bahwa Anda sudah menyebarkan jaringan virtual Azure, subnet, dan grup sumber daya.

Sebarkan VM untuk server SAP ASCS, ERS, dan Aplikasi. Pilih gambar RHEL yang sesuai yang didukung untuk sistem SAP. Anda dapat menyebarkan VM di salah satu opsi ketersediaan: set skala komputer virtual, zona ketersediaan, atau set ketersediaan.

Mengonfigurasi load balancer Azure

Selama konfigurasi VM, Anda memiliki opsi untuk membuat atau memilih keluar dari load balancer di bagian jaringan. Ikuti langkah-langkah di bawah ini untuk mengonfigurasi load balancer standar untuk penyiapan ketersediaan tinggi SAP ASCS dan SAP ERS.

Ikuti panduan buat load balancer untuk menyiapkan load balancer standar untuk sistem SAP ketersediaan tinggi menggunakan portal Azure. Selama penyiapan load balancer, pertimbangkan poin berikut.

  1. Konfigurasi IP Frontend: Buat dua IP frontend, satu untuk ASCS dan satu lagi untuk ERS. Pilih jaringan virtual dan subnet yang sama dengan komputer virtual ASCS/ERS Anda.
  2. Kumpulan Backend: Buat kumpulan backend dan tambahkan ASCS dan ERS VM.
  3. Aturan masuk: Buat dua aturan penyeimbangan beban, satu untuk ASCS dan satu lagi untuk ERS. Ikuti langkah yang sama untuk kedua aturan penyeimbangan beban.
    • Alamat IP frontend: Pilih IP frontend
    • Kumpulan backend: Pilih kumpulan backend
    • Periksa "Port ketersediaan tinggi"
    • Protocol: TCP
    • Pemeriksaan Kesehatan: Buat pemeriksaan kesehatan dengan detail di bawah ini (berlaku untuk ASCS atau ERS)
      • Protocol: TCP
      • Port: [misalnya: 620<Instance-no.> untuk ASCS, 621<Instance-no.> untuk ERS]
      • Interval: 5
      • Ambang Probe: 2
    • Batas waktu diam (menit): 30
    • Periksa "Aktifkan IP Mengambang"

Catatan

Nomor properti konfigurasi pemeriksaan kesehatanOfProbes, atau dikenal sebagai "Ambang tidak sehat" di Portal, tidak dihormati. Jadi untuk mengontrol jumlah pemeriksaan berturut-turut yang berhasil atau gagal, atur properti "probeThreshold" ke 2. Saat ini tidak dimungkinkan untuk mengatur properti ini menggunakan portal Azure, jadi gunakan perintah Azure CLI atau PowerShell.

Penting

Floating IP tidak didukung pada konfigurasi IP sekunder NIC dalam skenario penyeimbangan beban. Untuk informasi selengkapnya, lihat Batasan Azure Load Balancer. Jika Anda memerlukan lebih banyak alamat IP untuk VM, sebarkan NIC kedua.

Catatan

Ketika VM tanpa alamat IP publik ditempatkan di kumpulan back-end penyeimbang muatan standar internal (tanpa alamat IP publik), tidak ada konektivitas internet keluar kecuali lebih banyak konfigurasi dilakukan untuk memungkinkan perutean ke titik akhir publik. Untuk informasi selengkapnya tentang cara mencapai konektivitas keluar, lihat Konektivitas titik akhir publik untuk VM dengan menggunakan Azure Standard Load Balancer dalam skenario ketersediaan tinggi SAP.

Penting

Jangan aktifkan tanda waktu TCP pada VM Azure yang ditempatkan di belakang Azure Load Balancer. Mengaktifkan tanda waktu TCP dapat menyebabkan pemeriksaan kesehatan gagal. Atur parameter net.ipv4.tcp_timestamps ke 0. Untuk informasi selengkapnya, lihat Pemeriksaan kesehatan Azure Load Balancer.

Menonaktifkan pemetaan ID (jika Anda menggunakan NFSv4.1)

Instruksi di bagian ini hanya berlaku jika Anda menggunakan volume Azure NetApp Files dengan protokol NFSv4.1. Lakukan konfigurasi pada semua mesin virtual tempat volume Azure NetApp Files NFSv4.1 akan dipasang.

  1. Verifikasi pengaturan domain NFS. Pastikan bahwa domain dikonfigurasi sebagai domain Azure NetApp Files default, yaitu, defaultv4iddomain.com, dan pemetaan diatur ke tidak ada.

    Penting

    Pastikan untuk menyetel domain NFS di /etc/idmapd.conf pada VM agar sesuai dengan konfigurasi domain default di Azure NetApp Files: defaultv4iddomain.com. Jika ada ketidakcocokan antara konfigurasi domain pada klien NFS (yaitu, VM) dan server NFS (yaitu, konfigurasi Azure NetApp), maka izin untuk file pada volume Azure NetApp yang dipasang pada VM ditampilkan sebagai nobody.

    sudo cat /etc/idmapd.conf

# Example
[General]
Domain = defaultv4iddomain.com
[Mapping]
Nobody-User = nobody
Nobody-Group = nobody

Awalan [A] berikut berlaku untuk PAS dan AAS.

  1. [A] Verifikasi nfs4_disable_idmapping. Ini harus diatur ke Y. Untuk membuat struktur direktori tempat nfs4_disable_idmapping berada, jalankan perintah mount. Anda tidak akan dapat membuat direktori secara manual karena /sys/modules akses dicadangkan untuk kernel dan driver.

    # Check nfs4_disable_idmapping 
cat /sys/module/nfs/parameters/nfs4_disable_idmapping

# If you need to set nfs4_disable_idmapping to Y
mkdir /mnt/tmp
mount 192.168.24.5:/sapQAS
umount  /mnt/tmp
echo "Y" > /sys/module/nfs/parameters/nfs4_disable_idmapping

# Make the configuration permanent
echo "options nfs nfs4_disable_idmapping=Y" >> /etc/modprobe.d/nfs.conf

Menyiapkan (A)SCS

Selanjutnya, Anda akan menyiapkan dan menginstal instans SAP ASCS dan ERS.

Membuat kluster Pacemaker

Ikuti langkah-langkah dalam Menyiapkan Pacemaker di Red Hat Enterprise Linux di Azure untuk membuat kluster Pacemaker dasar untuk server (A)SCS ini.

Bersiap untuk penginstalan SAP NetWeaver

Item berikut diawali dengan:

  • [A]: Berlaku untuk semua simpul
  • [1]: Hanya berlaku untuk simpul 1
  • [2]: Hanya berlaku untuk simpul 2

  1. [A] Siapkan resolusi nama host.

    Anda bisa menggunakan server DNS atau mengubah /etc/hosts file pada semua simpul. Contoh ini memperlihatkan cara menggunakan file /etc/hosts. Ganti alamat IP dan nama host dalam perintah berikut:

    sudo vi /etc/hosts

    Sisipkan baris berikut ke /etc/hosts. Ubah alamat IP dan nama host agar sesuai dengan lingkungan Anda.

    # IP address of cluster node 1
192.168.14.5    anftstsapcl1
# IP address of cluster node 2
192.168.14.6     anftstsapcl2
# IP address of the load balancer frontend configuration for SAP Netweaver ASCS
192.168.14.9    anftstsapvh
# IP address of the load balancer frontend configuration for SAP Netweaver ERS
192.168.14.10    anftstsapers

  2. [1] Buat direktori SAP dalam volume Azure NetApp Files. Pasang volume Azure NetApp Files untuk sementara di salah satu VM dan buat direktori SAP (jalur file).

    # mount temporarily the volume
sudo mkdir -p /saptmp

# If using NFSv3
sudo mount -t nfs -o rw,hard,rsize=65536,wsize=65536,nfsvers=3,tcp 192.168.24.5:/sapQAS /saptmp

# If using NFSv4.1
sudo mount -t nfs -o rw,hard,rsize=65536,wsize=65536,nfsvers=4.1,sec=sys,tcp 192.168.24.5:/sapQAS /saptmp

# create the SAP directories
sudo cd /saptmp
sudo mkdir -p sapmntQAS
sudo mkdir -p usrsapQASascs
sudo mkdir -p usrsapQASers
sudo mkdir -p usrsapQASsys
sudo mkdir -p usrsapQASpas
sudo mkdir -p usrsapQASaas

# unmount the volume and delete the temporary directory
sudo cd ..
sudo umount /saptmp
sudo rmdir /saptmp

  3. [A] Membuat direktori bersama.

    sudo mkdir -p /sapmnt/QAS
sudo mkdir -p /usr/sap/trans
sudo mkdir -p /usr/sap/QAS/SYS
sudo mkdir -p /usr/sap/QAS/ASCS00
sudo mkdir -p /usr/sap/QAS/ERS01

sudo chattr +i /sapmnt/QAS
sudo chattr +i /usr/sap/trans
sudo chattr +i /usr/sap/QAS/SYS
sudo chattr +i /usr/sap/QAS/ASCS00
sudo chattr +i /usr/sap/QAS/ERS01

  4. [A] Instal klien NFS dan persyaratan lainnya.

    sudo yum -y install nfs-utils resource-agents resource-agents-sap

  5. [A] Periksa versi resource-agents-sap.

    Pastikan versi paket yang diinstal resource-agents-sap setidaknya 3.9.5-124.el7.

    sudo yum info resource-agents-sap

# Loaded plugins: langpacks, product-id, search-disabled-repos
# Repodata is over 2 weeks old. Install yum-cron? Or run: yum makecache fast
# Installed Packages
# Name        : resource-agents-sap
# Arch        : x86_64
# Version     : 3.9.5
# Release     : 124.el7
# Size        : 100 k
# Repo        : installed
# From repo   : rhel-sap-for-rhel-7-server-rpms
# Summary     : SAP cluster resource agents and connector script
# URL         : https://github.com/ClusterLabs/resource-agents
# License     : GPLv2+
# Description : The SAP resource agents and connector script interface with
#          : Pacemaker to allow SAP instances to be managed in a cluster
#          : environment.

  6. [A] Tambahkan entri pemasangan.

    Jika Anda menggunakan NFSv3:

    sudo vi /etc/fstab

# Add the following lines to fstab, save and exit
192.168.24.5:/sapQAS/sapmntQAS /sapmnt/QAS nfs rw,hard,rsize=65536,wsize=65536,nfsvers=3
192.168.24.5:/sapQAS/usrsapQASsys /usr/sap/QAS/SYS nfs rw,hard,rsize=65536,wsize=65536,nfsvers=3
192.168.24.4:/transSAP /usr/sap/trans nfs rw,hard,rsize=65536,wsize=65536,nfsvers=3

    Jika Anda menggunakan NFSv4.1:

    sudo vi /etc/fstab

# Add the following lines to fstab, save and exit
192.168.24.5:/sapQAS/sapmntQAS /sapmnt/QAS nfs rw,hard,rsize=65536,wsize=65536,nfsvers=4.1,sec=sys
192.168.24.5:/sapQAS/usrsapQASsys /usr/sap/QAS/SYS nfs rw,hard,rsize=65536,wsize=65536,nfsvers=4.1,sec=sys
192.168.24.4:/transSAP /usr/sap/trans nfs rw,hard,rsize=65536,wsize=65536,nfsvers=4.1,sec=sys

    Catatan

    Pastikan untuk mencocokkan versi protokol NFS volume Azure NetApp Files saat Anda memasang volume. Jika volume Azure NetApp Files dibuat sebagai volume NFSv3, gunakan konfigurasi NFSv3 terkait. Jika volume Azure NetApp Files dibuat sebagai volume NFSv4.1, ikuti petunjuk untuk menonaktifkan pemetaan ID dan pastikan untuk menggunakan konfigurasi NFSv4.1 yang sesuai. Dalam contoh ini, volume Azure NetApp Files dibuat sebagai volume NFSv3.

    Pasang berbagi baru.

    sudo mount -a

  7. [A] Konfigurasikan file SWAP.

    sudo vi /etc/waagent.conf

# Set the property ResourceDisk.EnableSwap to y
# Create and use swapfile on resource disk.
ResourceDisk.EnableSwap=y

# Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
# The free space of resource disk varies by VM size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
# Size of the swapfile.
ResourceDisk.SwapSizeMB=2000

    Mulai ulang Agen untuk mengaktifkan perubahan.

    sudo service waagent restart

  8. [A] Lakukan konfigurasi RHEL OS.

    Berdasarkan versi RHEL, lakukan konfigurasi yang disebutkan dalam SAP Note 2002167, 2772999, atau 3108316.

Menginstal SAP NetWeaver ASCS/ERS

  1. [1] Konfigurasikan properti default kluster.

    pcs resource defaults resource-stickiness=1
pcs resource defaults migration-threshold=3

  2. [1] Membuat sumber daya IP virtual dan memeriksa kesehatan untuk instans ASCS.

    sudo pcs node standby anftstsapcl2

# If using NFSv3
sudo pcs resource create fs_QAS_ASCS Filesystem device='192.168.24.5:/sapQAS/usrsapQASascs' \
  directory='/usr/sap/QAS/ASCS00' fstype='nfs' force_unmount=safe \
  op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=40 \
  --group g-QAS_ASCS

# If using NFSv4.1
sudo pcs resource create fs_QAS_ASCS Filesystem device='192.168.24.5:/sapQAS/usrsapQASascs' \
  directory='/usr/sap/QAS/ASCS00' fstype='nfs' force_unmount=safe options='sec=sys,nfsvers=4.1' \
  op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=105 \
  --group g-QAS_ASCS

sudo pcs resource create vip_QAS_ASCS IPaddr2 \
  ip=192.168.14.9 \
  --group g-QAS_ASCS

sudo pcs resource create nc_QAS_ASCS azure-lb port=62000 \
  --group g-QAS_ASCS

    Pastikan status kluster baik-baik saja dan semua sumber daya dimulai. Simpul mana yang dijalankan sumber daya tidak penting.

    sudo pcs status

# Node anftstsapcl2: standby
# Online: [ anftstsapcl1 ]
#
# Full list of resources:
#
# rsc_st_azure    (stonith:fence_azure_arm):      Started anftstsapcl1
#  Resource Group: g-QAS_ASCS
#      fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
#      nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
#      vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1

  3. [1] Memasang SAP NetWeaver ASCS.

    Instal SAP NetWeaver ASCS sebagai akar pada simpul pertama dengan menggunakan nama host virtual yang memetakan ke alamat IP konfigurasi front-end load balancer untuk ASCS, misalnya, anftstsapvh, 192.168.14.9, dan nomor instans yang Anda gunakan untuk pemeriksaan load balancer, misalnya, 00.

    Anda dapat menggunakan sapinst parameter SAPINST_REMOTE_ACCESS_USER untuk memungkinkan pengguna nonroot tersambung ke sapinst.

    # Allow access to SWPM. This rule is not permanent. If you reboot the machine, you have to run the command again.
sudo firewall-cmd --zone=public  --add-port=4237/tcp

sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=<virtual_hostname>

    Jika penginstalan gagal membuat subfolder di /usr/sap/QAS/ASCS00, coba atur pemilik dan grup folder ASCS00 lalu coba lagi.

    sudo chown qasadm /usr/sap/QAS/ASCS00
sudo chgrp sapsys /usr/sap/QAS/ASCS00

  4. [1] Buat sumber daya IP virtual dan pemeriksaan kesehatan untuk instans ERS.

    sudo pcs node unstandby anftstsapcl2
sudo pcs node standby anftstsapcl1

# If using NFSv3
sudo pcs resource create fs_QAS_AERS Filesystem device='192.168.24.5:/sapQAS/usrsapQASers' \
  directory='/usr/sap/QAS/ERS01' fstype='nfs' force_unmount=safe \
  op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=40 \
 --group g-QAS_AERS

# If using NFSv4.1
sudo pcs resource create fs_QAS_AERS Filesystem device='192.168.24.5:/sapQAS/usrsapQASers' \
  directory='/usr/sap/QAS/ERS01' fstype='nfs' force_unmount=safe options='sec=sys,nfsvers=4.1' \
  op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=105 \
 --group g-QAS_AERS

sudo pcs resource create vip_QAS_AERS IPaddr2 \
  ip=192.168.14.10 \
 --group g-QAS_AERS

sudo pcs resource create nc_QAS_AERS azure-lb port=62101 \
 --group g-QAS_AERS

    Pastikan status kluster baik-baik saja dan semua sumber daya dimulai. Simpul mana yang dijalankan sumber daya tidak penting.

    sudo pcs status

# Node anftstsapcl1: standby
# Online: [ anftstsapcl2 ]
#
# Full list of resources:
#
# rsc_st_azure    (stonith:fence_azure_arm):      Started anftstsapcl2
#  Resource Group: g-QAS_ASCS
#      fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
#      nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2<
#      vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
#  Resource Group: g-QAS_AERS
#      fs_QAS_AERS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
#      nc_QAS_AERS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
#      vip_QAS_AERS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2

  5. [2] Memasang SAP NetWeaver ERS.

    Instal SAP NetWeaver ERS sebagai akar pada simpul kedua dengan menggunakan nama host virtual yang memetakan ke alamat IP konfigurasi front-end load balancer untuk ERS, misalnya, anftstsapers, 192.168.14.10, dan nomor instans yang Anda gunakan untuk pemeriksaan load balancer, misalnya, 01.

    Anda dapat menggunakan sapinst parameter SAPINST_REMOTE_ACCESS_USER untuk memungkinkan pengguna nonroot tersambung ke sapinst.

    # Allow access to SWPM. This rule is not permanent. If you reboot the machine, you have to run the command again.
sudo firewall-cmd --zone=public  --add-port=4237/tcp

sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=<virtual_hostname>

    Jika penginstalan gagal membuat subfolder di /usr/sap/QAS/ERS01, coba atur pemilik dan grup folder ERS01 lalu coba lagi.

    sudo chown qaadm /usr/sap/QAS/ERS01
sudo chgrp sapsys /usr/sap/QAS/ERS01

  6. [1] Sesuaikan profil instans ASCS/SCS dan ERS.

    • Profil ASCS/SCS

      sudo vi /sapmnt/QAS/profile/QAS_ASCS00_anftstsapvh

# Change the restart command to a start command
#Restart_Program_01 = local $(_EN) pf=$(_PF)
Start_Program_01 = local $(_EN) pf=$(_PF)

# Add the keep alive parameter, if using ENSA1
enque/encni/set_so_keepalive = true

      Untuk ENSA1 dan ENSA2, pastikan parameter OS diatur seperti yang keepalive dijelaskan dalam Catatan SAP 1410736.

    • Profil ERS

      sudo vi /sapmnt/QAS/profile/QAS_ERS01_anftstsapers

# Change the restart command to a start command
#Restart_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)

# remove Autostart from ERS profile
# Autostart = 1

  7. [A] Konfigurasikan Tetap Hidup.

    Komunikasi antara server aplikasi SAP NetWeaver dan ASCS / SCS dirutekan melalui penyeimbang beban perangkat lunak. Penyeimbang beban memutuskan koneksi tidak aktif setelah waktu habis yang dapat dikonfigurasi. Untuk mencegah tindakan ini, atur parameter di profil SAP NetWeaver ASCS/SCS, jika Anda menggunakan ENSA1, dan ubah pengaturan sistem keepalive Linux di semua server SAP untuk ENSA1/ENSA2. Untuk informasi selengkapnya, lihat Catatan SAP 1410736.

    # Change the Linux system configuration
sudo sysctl net.ipv4.tcp_keepalive_time=300

  8. [A] Perbarui /usr/sap/sapservices file.

    Untuk mencegah dimulainya instans oleh sapinit skrip startup, semua instans yang dikelola oleh Pacemaker harus dikomentari dari /usr/sap/sapservices file.

    sudo vi /usr/sap/sapservices

# Depending on whether the SAP Startup framework is integrated with systemd, you will observe one of the two entries on the ASCS node. You should comment out the line(s). 
# LD_LIBRARY_PATH=/usr/sap/QAS/ASCS00/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/QAS/ASCS00/exe/sapstartsrv pf=/usr/sap/QAS/SYS/profile/QAS_ASCS00_anftstsapvh -D -u qasadm
# systemctl --no-ask-password start SAPQAS_00 # sapstartsrv pf=/usr/sap/QAS/SYS/profile/QAS_ASCS00_anftstsapvh

# Depending on whether the SAP Startup framework is integrated with systemd, you will observe one of the two entries on the ASCS node. You should comment out the line(s). 
# LD_LIBRARY_PATH=/usr/sap/QAS/ERS01/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/QAS/ERS01/exe/sapstartsrv pf=/usr/sap/QAS/ERS01/profile/QAS_ERS01_anftstsapers -D -u qasadm
# systemctl --no-ask-password start SAPQAS_01 # sapstartsrv pf=/usr/sap/QAS/ERS01/profile/QAS_ERS01_anftstsapers

    Penting

    Dengan SAP Startup Framework berbasis sistemd, instans SAP sekarang dapat dikelola oleh systemd. Versi Red Hat Enterprise Linux (RHEL) minimum yang diperlukan adalah RHEL 8 untuk SAP. Seperti yang dijelaskan dalam SAP Note 3115048, penginstalan baru kernel SAP dengan dukungan SAP Startup Framework berbasis systemd terintegrasi akan selalu menghasilkan instans SAP yang dikontrol secara sistem. Setelah peningkatan kernel SAP dari penginstalan SAP yang ada ke kernel yang memiliki dukungan SAP Startup Framework berbasis sistem, namun, beberapa langkah manual harus dilakukan seperti yang didokumentasikan di Catatan SAP 3115048 untuk mengonversi lingkungan startup SAP yang ada menjadi yang dikontrol secara sistem.

    Saat menggunakan layanan Red Hat HA untuk SAP (konfigurasi kluster) untuk mengelola instans server aplikasi SAP seperti SAP ASCS dan SAP ERS, modifikasi tambahan akan diperlukan untuk memastikan kompatibilitas antara agen sumber daya SAPInstance dan kerangka kerja startup SAP berbasis sistem baru. Jadi setelah instans server aplikasi SAP diinstal atau dialihkan ke SAP Kernel yang diaktifkan sistem sesuai 3115048 Catatan SAP, langkah-langkah yang disebutkan dalam Red Hat KBA 6884531 harus berhasil diselesaikan pada semua node kluster.

  9. [1] Membuat sumber daya kluster SAP.

    Bergantung pada apakah Anda menjalankan sistem ENSA1 atau ENSA2, pilih tab masing-masing untuk menentukan sumber daya. SAP memperkenalkan dukungan untuk ENSA2, termasuk replikasi, di SAP NetWeaver 7.52. Dimulai dengan ABAP Platform 1809, ENSA2 dipasang secara default. Untuk dukungan ENSA2. Lihat 2630416 Catatan SAP untuk dukungan server antrean 2.

    Jika Anda menggunakan arsitektur server antrean 2 (ENSA2), instal resource-agents-sap-4.1.1-12.el7.x86_64 atau yang lebih baru dan tentukan sumber daya seperti yang ditunjukkan di sini:

    sudo pcs property set maintenance-mode=true

# If using NFSv3
sudo pcs resource create rsc_sap_QAS_ASCS00 SAPInstance \
InstanceName=QAS_ASCS00_anftstsapvh START_PROFILE="/sapmnt/QAS/profile/QAS_ASCS00_anftstsapvh" \
AUTOMATIC_RECOVER=false \
meta resource-stickiness=5000 migration-threshold=1 failure-timeout=60 \
op monitor interval=20 on-fail=restart timeout=60 \
op start interval=0 timeout=600 op stop interval=0 timeout=600 \
--group g-QAS_ASCS

# If using NFSv4.1
sudo pcs resource create rsc_sap_QAS_ASCS00 SAPInstance \
InstanceName=QAS_ASCS00_anftstsapvh START_PROFILE="/sapmnt/QAS/profile/QAS_ASCS00_anftstsapvh" \
AUTOMATIC_RECOVER=false \
meta resource-stickiness=5000 migration-threshold=1 failure-timeout=60 \
op monitor interval=20 on-fail=restart timeout=105 \
op start interval=0 timeout=600 op stop interval=0 timeout=600 \
--group g-QAS_ASCS

sudo pcs resource meta g-QAS_ASCS resource-stickiness=3000

# If using NFSv3
sudo pcs resource create rsc_sap_QAS_ERS01 SAPInstance \
InstanceName=QAS_ERS01_anftstsapers START_PROFILE="/sapmnt/QAS/profile/QAS_ERS01_anftstsapers" \
AUTOMATIC_RECOVER=false IS_ERS=true \
op monitor interval=20 on-fail=restart timeout=60 op start interval=0 timeout=600 op stop interval=0 timeout=600 \
--group g-QAS_AERS

# If using NFSv4.1
sudo pcs resource create rsc_sap_QAS_ERS01 SAPInstance \
InstanceName=QAS_ERS01_anftstsapers START_PROFILE="/sapmnt/QAS/profile/QAS_ERS01_anftstsapers" \
AUTOMATIC_RECOVER=false IS_ERS=true \
op monitor interval=20 on-fail=restart timeout=105 op start interval=0 timeout=600 op stop interval=0 timeout=600 \
--group g-QAS_AERS

sudo pcs constraint colocation add g-QAS_AERS with g-QAS_ASCS -5000
sudo pcs constraint location rsc_sap_QAS_ASCS00 rule score=2000 runs_ers_QAS eq 1
sudo pcs constraint order start g-QAS_ASCS then stop g-QAS_AERS kind=Optional symmetrical=false

sudo pcs node unstandby anftstsapcl1
sudo pcs property set maintenance-mode=false

    Jika Anda memutakhirkan dari versi yang lebih lama dan beralih ke server antrean 2, lihat Catatan SAP 2641322.

    Catatan

    Batas waktu yang lebih tinggi yang disarankan ketika Anda menggunakan NFSv4.1 diperlukan karena jeda khusus protokol, yang terkait dengan perpanjangan sewa NFSv4.1. Untuk informasi selengkapnya, lihat NFS di praktik terbaik NetApp. Batas waktu dalam konfigurasi sebelumnya hanyalah contoh dan mungkin perlu disesuaikan dengan penyiapan SAP tertentu.

    Pastikan status kluster baik-baik saja dan semua sumber daya dimulai. Simpul mana yang dijalankan sumber daya tidak penting.

    sudo pcs status

# Online: [ anftstsapcl1 anftstsapcl2 ]
#
# Full list of resources:
#
# rsc_st_azure    (stonith:fence_azure_arm):      Started anftstsapcl2
#  Resource Group: g-QAS_ASCS
#      fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
#      nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
#      vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
#      rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
#  Resource Group: g-QAS_AERS
#      fs_QAS_AERS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
#      nc_QAS_AERS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
#      vip_QAS_AERS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
#      rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl1

  10. [1] Jalankan langkah berikut untuk mengonfigurasi priority-fencing-delay (hanya berlaku pada pacemaker-2.0.4-6.el8 atau yang lebih tinggi).

    Catatan

    Jika Anda memiliki kluster dua node, Anda memiliki opsi untuk mengonfigurasi priority-fencing-delay properti kluster. Properti ini memperkenalkan lebih banyak penundaan dalam pemagaran simpul yang memiliki prioritas total sumber daya yang lebih tinggi ketika skenario split-brain terjadi. Untuk informasi selengkapnya, lihat Dapatkah Pacemaker memagari node kluster dengan sumber daya terkecil yang berjalan?.

    Properti priority-fencing-delay ini berlaku untuk versi pacemaker-2.0.4-6.el8 atau yang lebih tinggi. Jika Anda menyiapkan priority-fencing-delay pada kluster yang ada, pastikan untuk menghapus pcmk_delay_max pengaturan di perangkat anggar.

    sudo pcs resource defaults update priority=1
sudo pcs resource update rsc_sap_QAS_ASCS00 meta priority=10

sudo pcs property set priority-fencing-delay=15s

  11. [A] Tambahkan aturan firewall untuk ASCS dan ERS pada kedua node.

    # Probe Port of ASCS
sudo firewall-cmd --zone=public --add-port={62000,3200,3600,3900,8100,50013,50014,50016}/tcp --permanent
sudo firewall-cmd --zone=public --add-port={62000,3200,3600,3900,8100,50013,50014,50016}/tcp
# Probe Port of ERS
sudo firewall-cmd --zone=public --add-port={62101,3201,3301,50113,50114,50116}/tcp --permanent
sudo firewall-cmd --zone=public --add-port={62101,3201,3301,50113,50114,50116}/tcp

Persiapan server aplikasi SAP NetWeaver

Beberapa database mengharuskan penginstalan instans database berjalan di server aplikasi. Siapkan VM server aplikasi untuk dapat menggunakannya dalam kasus ini.

Langkah-langkah berikut mengasumsikan bahwa Anda menginstal server aplikasi di server yang berbeda dari server ASCS/SCS dan HANA. Jika tidak, beberapa langkah (seperti mengonfigurasi resolusi nama host) tidak diperlukan.

Item berikut diawali dengan:

  • [A]: Berlaku untuk PAS dan AAS
  • [P]: Hanya berlaku untuk PAS
  • [S]: Hanya berlaku untuk AAS

  1. [A] Siapkan resolusi nama host.

    Anda bisa menggunakan server DNS atau mengubah /etc/hosts file pada semua simpul. Contoh ini memperlihatkan cara menggunakan file /etc/hosts. Ganti alamat IP dan nama host dalam perintah berikut:

    sudo vi /etc/hosts

    Sisipkan baris berikut ke /etc/hosts. Ubah alamat IP dan nama host agar sesuai dengan lingkungan Anda.

    # IP address of the load balancer frontend configuration for SAP NetWeaver ASCS
192.168.14.9 anftstsapvh
# IP address of the load balancer frontend configuration for SAP NetWeaver ASCS ERS
192.168.14.10 anftstsapers
192.168.14.7 anftstsapa01
192.168.14.8 anftstsapa02

  2. [A] Buat sapmnt direktori.

    sudo mkdir -p /sapmnt/QAS
sudo mkdir -p /usr/sap/trans

sudo chattr +i /sapmnt/QAS
sudo chattr +i /usr/sap/trans

  3. [A] Instal klien NFS dan persyaratan lainnya.

    sudo yum -y install nfs-utils uuidd

  4. [A] Tambahkan entri pemasangan.

    Jika Anda menggunakan NFSv3:

    sudo vi /etc/fstab

# Add the following lines to fstab, save and exit
192.168.24.5:/sapQAS/sapmntQAS /sapmnt/QAS nfs rw,hard,rsize=65536,wsize=65536,nfsvers=3
192.168.24.4:/transSAP /usr/sap/trans nfs rw,hard,rsize=65536,wsize=65536,nfsvers=3

    Jika Anda menggunakan NFSv4.1:

    sudo vi /etc/fstab

# Add the following lines to fstab, save and exit
192.168.24.5:/sapQAS/sapmntQAS /sapmnt/QAS nfs rw,hard,rsize=65536,wsize=65536,nfsvers=4.1,sec=sys
192.168.24.4:/transSAP /usr/sap/trans nfs rw,hard,rsize=65536,wsize=65536,nfsvers=4.1,sec=sys

    Pasang berbagi baru.

    sudo mount -a

  5. [P] Buat dan pasang direktori PAS.

    Jika Anda menggunakan NFSv3:

    sudo mkdir -p /usr/sap/QAS/D02
sudo chattr +i /usr/sap/QAS/D02

sudo vi /etc/fstab
# Add the following line to fstab
92.168.24.5:/sapQAS/usrsapQASpas /usr/sap/QAS/D02 nfs rw,hard,rsize=65536,wsize=65536,nfsvers=3

# Mount
sudo mount -a

    Jika Anda menggunakan NFSv4.1:

    sudo mkdir -p /usr/sap/QAS/D02
sudo chattr +i /usr/sap/QAS/D02

sudo vi /etc/fstab
# Add the following line to fstab
92.168.24.5:/sapQAS/usrsapQASpas /usr/sap/QAS/D02 nfs rw,hard,rsize=65536,wsize=65536,nfsvers=4.1,sec=sys

# Mount
sudo mount -a

  6. [S] Buat dan pasang direktori AAS.

    Jika Anda menggunakan NFSv3:

    sudo mkdir -p /usr/sap/QAS/D03
sudo chattr +i /usr/sap/QAS/D03

sudo vi /etc/fstab
# Add the following line to fstab
92.168.24.5:/sapQAS/usrsapQASaas /usr/sap/QAS/D03 nfs rw,hard,rsize=65536,wsize=65536,nfsvers=3

# Mount
sudo mount -a

    Jika Anda menggunakan NFSv4.1:

    sudo mkdir -p /usr/sap/QAS/D03
sudo chattr +i /usr/sap/QAS/D03

sudo vi /etc/fstab
# Add the following line to fstab
92.168.24.5:/sapQAS/usrsapQASaas /usr/sap/QAS/D03 nfs rw,hard,rsize=65536,wsize=65536,nfsvers=4.1,sec=sys

# Mount
sudo mount -a

  7. [A] Konfigurasikan file SWAP.

    sudo vi /etc/waagent.conf

# Set the property ResourceDisk.EnableSwap to y
# Create and use swapfile on resource disk.
ResourceDisk.EnableSwap=y

# Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
# The free space of resource disk varies by VM size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
# Size of the swapfile.
ResourceDisk.SwapSizeMB=2000

    Mulai ulang Agen untuk mengaktifkan perubahan.

    sudo service waagent restart

Menginstal database

Dalam contoh ini, SAP NetWeaver dipasang pada SAP Hana. Anda dapat menggunakan setiap database yang didukung untuk penginstalan ini. Untuk informasi selengkapnya tentang cara memasang SAP Hana pada Azure, lihat Ketersediaan Tinggi SAP Hana pada komputer virtual Azure di Red Hat Enterprise Linux. Untuk daftar database yang didukung, lihat Catatan SAP 1928533.

  • Jalankan penginstalan instans database SAP.

    Instal instans database SAP NetWeaver sebagai root dengan menggunakan nama host virtual yang memetakan ke alamat IP konfigurasi front-end load balancer untuk database.

    Anda dapat menggunakan sapinst parameter SAPINST_REMOTE_ACCESS_USER untuk memungkinkan pengguna nonroot tersambung ke sapinst.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin

Pemasangan server aplikasi SAP NetWeaver

Ikuti langkah-langkah ini untuk memasang server aplikasi SAP.

  1. Siapkan server aplikasi.

    Ikuti langkah-langkah di bagian sebelumnya persiapan server aplikasi SAP NetWeaver untuk menyiapkan server aplikasi.

  2. Instal server aplikasi SAP NetWeaver.

    Pasang server aplikasi SAP NetWeaver utama atau tambahan.

    Anda dapat menggunakan sapinst parameter SAPINST_REMOTE_ACCESS_USER untuk memungkinkan pengguna nonroot tersambung ke sapinst.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin

  3. Perbarui penyimpanan aman SAP Hana.

    Perbarui penyimpanan aman SAP Hana agar menunjuk ke nama virtual penyiapan SAP Hana System Replication.

    Jalankan perintah berikut untuk mencantumkan entri sebagai <sapsid>adm.

    hdbuserstore List

    Semua entri harus dicantumkan dan terlihat mirip dengan:

    DATA FILE       : /home/qasadm/.hdb/anftstsapa01/SSFS_HDB.DAT
KEY FILE        : /home/qasadm/.hdb/anftstsapa01/SSFS_HDB.KEY

KEY DEFAULT
  ENV : 192.168.14.4:30313
  USER: SAPABAP1
  DATABASE: QAS

    Output menunjukkan bahwa alamat IP entri default menunjuk ke VM dan bukan ke alamat IP load balancer. Anda perlu mengubah entri ini untuk menunjuk ke nama host virtual load balancer. Pastikan untuk menggunakan port yang sama (30313 dalam output sebelumnya) dan nama database (QAS dalam output sebelumnya).

    su - qasadm
hdbuserstore SET DEFAULT qasdb:30313@QAS SAPABAP1 <password of ABAP schema>

Menguji penyiapan kluster

Uji kluster Pacemaker Anda secara menyeluruh. Untuk informasi selengkapnya, lihat Menjalankan pengujian failover umum.

Langkah berikutnya