Bagikan melalui

Ketersediaan tinggi untuk SAP NetWeaver di mesin virtual Azure dengan Red Hat Enterprise Linux untuk panduan multi-SID aplikasi SAP

  • Artikel

Artikel ini menjelaskan cara untuk menyebarkan beberapa sistem SAP NetWeaver dengan ketersediaan tinggi (yaitu, multi-SID) dalam dua kluster simpul di Azure VM dengan Red Hat Enterprise Linux untuk aplikasi SAP.

Dalam konfigurasi contoh, tiga sistem SAP NetWeaver 7.50 digunakan dalam satu kluster ketersediaan tinggi dengan dua simpul. SID sistem SAP adalah:

  • NW1: Nomor instans ASCS 00 dan nama host virtual msnw1ascs. Nomor instans ERS 02 dan nama host virtual msnw1ers.
  • NW2: Nomor instans ASCS 10 dan nama host virtual msnw2ascs. Nomor instans ERS 12 dan nama host virtual msnw2ers.
  • NW3: Nomor instans ASCS 20 dan nama host virtual msnw3ascs. Nomor instans ERS 22 dan nama host virtual msnw3ers.

Artikel ini tidak mencakup lapisan database dan penyebaran SAP NFS share.

Dalam contoh di artikel ini, kita menggunakan Azure NetApp Files volume sapMSID bagi berbagi NFS, dengan asumsi bahwa volume sudah disebarkan. Contoh mengasumsikan bahwa volume Azure NetApp Files telah disebarkan dengan protokol NFSv3. Mereka menggunakan jalur file berikut ini untuk sumber daya kluster untuk instans ASCS dan ERS dari sistem SAP NW1, NW2, dan NW3:

  • volume sapMSID (nfs://10.42.0.4/sapmntNW1)
  • volume sapMSID (nfs://10.42.0.4/usrsapNW1ascs)
  • volume sapMSID (nfs://10.42.0.4/usrsapNW1sys)
  • volume sapMSID (nfs://10.42.0.4/usrsapNW1ers)
  • volume sapMSID (nfs://10.42.0.4/sapmntNW2)
  • volume sapMSID (nfs://10.42.0.4/usrsapNW2ascs)
  • volume sapMSID (nfs://10.42.0.4/usrsapNW2sys)
  • volume sapMSID (nfs://10.42.0.4/usrsapNW2ers)
  • volume sapMSID (nfs://10.42.0.4/sapmntNW3)
  • volume sapMSID (nfs://10.42.0.4/usrsapNW3ascs)
  • volume sapMSID (nfs://10.42.0.4/usrsapNW3sys)
  • volume sapMSID (nfs://10.42.0.4/usrsapNW3ers)

Sebelum Anda memulai, lihat catatan dan makalah SAP berikut:

Gambaran Umum

Mesin virtual yang berpartisipasi dalam kluster harus berukuran untuk dapat menjalankan semua sumber daya jika terjadi failover. Setiap SAP SID dapat mengalami kegagalan secara independen secara satu sama lain di kluster ketersediaan tinggi multi-SID.

Untuk mencapai ketersediaan tinggi, SAP NetWeaver membutuhkan share dengan ketersediaan tinggi. Artikel ini menampilkan contoh pembagian SAP yang disebarkan pada Volume Azure NetApp Files NFS. Anda juga dapat menjadi host pembagian pada kluster GlusterFS dengan ketersediaan tinggi, yang dapat digunakan oleh beberapa sistem SAP.

Diagram menunjukkan gambaran umum Ketersediaan Tinggi S A P NetWeaver dengan kluster Pacemaker dan berbagi SAP NFS.

Penting

Dukungan untuk pengklusteran multi-SID SAP ASCS/ERS dengan Red Hat Linux sebagai sistem operasi tamu di Azure VM terbatas pada lima SID SAP pada kluster yang sama. Setiap SID baru meningkatkan kompleksitas. Campuran SAP Enqueue Replication Server 1 dan SAP Enqueue Replication Server 2 dalam kluster yang sama tidak didukung. Pengelompokan multi-SID menjelaskan instalasi beberapa instans SAP ASCS/ERS dengan SID yang berbeda dalam satu kluster Pacemaker. Saat ini pengelompokan multi-SID hanya didukung untuk ASCS/ERS.

Tip

Pengelompokan multi-SID SAP ASCS/ERS adalah solusi dengan kompleksitas yang lebih tinggi. Lebih kompleks untuk diterapkan. Hal ini juga melibatkan upaya administrasi yang lebih tinggi ketika menjalankan kegiatan pemeliharaan, seperti patching OS. Sebelum Anda memulai implementasi aktual, luangkan waktu untuk merencanakan penyebaran dengan hati-hati dan semua komponen yang terlibat seperti VM, dudukan NFS, VIP, konfigurasi penyeimbang beban, dan sebagainya.

SAP NetWeaver ASCS, SAP NetWeaver SCS, dan SAP NetWeaver ERS menggunakan nama host virtual serta alamat IP virtual. Pada Azure, penyeimbang muatan diperlukan untuk menggunakan alamat IP virtual. Kami sarankan untuk menggunakan Load balancer standar.

  • Alamat IP frontend bagi ASCS: 10.3.1.50 (NW1), 10.3.1.52 (NW2), dan 10.3.1.54 (NW3)
  • Alamat IP frontend bagi ERS: 10.3.1.51 (NW1), 10.3.1.53 (NW2), dan 10.3.1.55 (NW3)
  • Port probe 62000 bagi NW1 ASCS, 62010 bagi NW2 ASCS, dan 62020 bagi NW3 ASCS
  • Port probe 62102 bagi NW1 ASCS, 62112 bagi NW2 ASCS, dan 62122 bagi NW3 ASCS

Catatan

Ketika mesin virtual tanpa alamat IP publik ditempatkan di kumpulan backend internal (tanpa alamat IP publik) load balancer Azure Standar, tidak akan ada konektivitas internet keluar, kecuali dilakukan konfigurasi tambahan untuk memungkinkan perutean pada titik akhir publik. Untuk detail tentang cara mencapai konektivitas keluar lihat Publik titik akhir konektivitas untuk Virtual Machines menggunakan Azure Standard Load Balancer dalam SAP ketersediaan tinggi skenario.

Penting

Jangan aktifkan tanda waktu TCP pada Azure VM yang ditempatkan di belakang Azure Load Balancer. Mengaktifkan tanda waktu TCP akan menyebabkan pemeriksaan kesehatan gagal. Atur parameter net.ipv4.tcp_timestamps ke 0. Untuk informasi selengkapnya, lihat Pemeriksaan kesehatan Azure Load Balancer.

Share SAP

SAP NetWeaver memerlukan penyimpanan bersama untuk transportasi, direktori profil, dan sebagainya. Untuk sistem SAP dengan ketersediaan tinggi, penting untuk memiliki pembagian dengan ketersediaan tinggi. Anda harus memutuskan arsitektur untuk pembagian SAP Anda. Salah satu opsinya adalah dengan menyebarkan share pada volume NFS Azure NetApp Files. Dengan Azure NetApp Files, Anda akan mendapatkan ketersediaan tinggi bawaan untuk pembagian SAP NFS.

Pilihan lain adalah membangun GlusterFS di Azure VM di Red Hat Enterprise Linux untuk SAP NetWeaver, yang dapat dibagikan di antara beberapa sistem SAP.

Menyebarkan sistem SAP pertama dalam kluster

Sekarang setelah Anda memutuskan arsitektur untuk pembagian SAP, sebarkan sistem SAP pertama di kluster, mengikuti dokumentasi yang sesuai.

Artikel ini akan memandu Anda melalui langkah untuk menyiapkan infrastruktur yang diperlukan, membangun kluster, menyiapkan OS untuk menjalankan aplikasi SAP.

Tip

Selalu uji kegagalan fungsionalitas kluster setelah sistem pertama disebarkan, sebelum menambahkan SID SAP tambahan ke kluster. Dengan begitu Anda akan tahu bahwa fungsionalitas kluster telah berfungsi sebelum menambahkan kompleksitas sistem SAP tambahan ke kluster.

Sebarkan sistem SAP tambahan di dalam kluster

Dalam contoh ini, kami berasumsi bahwa sistem NW1 telah disebarkan dalam kluster. Contoh ini menunjukkan cara untuk menyebarkan sistem NW2 SAP dan NW3 di kluster.

Item berikut dimulai dengan:

  • [A] Berlaku bagi semua simpul
  • [1] Hanya berlaku bagi simpul 1
  • [2] Hanya berlaku bagi simpul 2

Prasyarat

Penting

Sebelum mengikuti instruksi untuk menyebarkan sistem SAP tambahan pada kluster, terlebih dahulu sebarkan sistem SAP pada kluster. Terdapat langkah yang hanya diperlukan selama penyebaran sistem pertama kali.

Artikel ini menganggap bahwa:

  • Kluster Pacemaker sudah dikonfigurasi dan dijalankan.
  • Setidaknya satu sistem SAP (instans ASCS / ERS) sudah disebarkan dan berjalan di kluster.
  • Fungsionalitas kegagalan kluster telah diuji.
  • Share NFS untuk semua sistem SAP disebarkan.

Mempersiapkan Penginstalan SAP NetWeaver

  1. Tambahkan konfigurasi untuk sistem yang baru disebarkan (yaitu, NW2 dan NW3) ke Azure Load Balancer yang ada, dengan mengikuti instruksi Sebarkan Azure Load Balancer secara manual melalui portal Microsoft Azure. Sesuaikan alamat IP, port probe kesehatan, serta aturan penyeimbangan beban untuk konfigurasi Anda.

  2. [A] Mengatur resolusi nama untuk lebih banyak sistem SAP. Anda dapat menggunakan server DNS atau memodifikasi /etc/hosts pada semua simpul. Contoh ini menunjukkan cara menggunakan file /etc/hosts. Sesuaikan alamat IP dan nama host dengan lingkungan Anda.

    sudo vi /etc/hosts
# IP address of the load balancer frontend configuration for NW2 ASCS
10.3.1.52 msnw2ascs
# IP address of the load balancer frontend configuration for NW3 ASCS
10.3.1.54 msnw3ascs
# IP address of the load balancer frontend configuration for NW2 ERS
10.3.1.53 msnw2ers
# IP address of the load balancer frontend configuration for NW3 ERS
10.3.1.55 msnw3ers

  3. [A] Buat direktori bersama untuk sistem SAP NW2 dan NW3 untuk disebarkan pada kluster.

    sudo mkdir -p /sapmnt/NW2
sudo mkdir -p /usr/sap/NW2/SYS
sudo mkdir -p /usr/sap/NW2/ASCS10
sudo mkdir -p /usr/sap/NW2/ERS12
sudo mkdir -p /sapmnt/NW3
sudo mkdir -p /usr/sap/NW3/SYS
sudo mkdir -p /usr/sap/NW3/ASCS20
sudo mkdir -p /usr/sap/NW3/ERS22


sudo chattr +i /sapmnt/NW2
sudo chattr +i /usr/sap/NW2/SYS
sudo chattr +i /usr/sap/NW2/ASCS10
sudo chattr +i /usr/sap/NW2/ERS12
sudo chattr +i /sapmnt/NW3
sudo chattr +i /usr/sap/NW3/SYS
sudo chattr +i /usr/sap/NW3/ASCS20
sudo chattr +i /usr/sap/NW3/ERS22

  4. [A] Tambahkan entri mount bagi sistem file /sapmnt/SID dan /usr/sap/SID/SYS untuk sistem SAP tambahan yang diterapkan ke kluster. Dalam contoh ini, yang ditampilkan adalah NW2 dan NW3.

    Perbarui file /etc/fstab dengan sistem file bagi sistem SAP tambahan yang disebarkan ke kluster.

Pasang ASCS / ERS

  1. Buat IP virtual serta sumber daya kluster probe kesehatan untuk instans ASCS sistem SAP tambahan yang disebarkan ke kluster. Contoh ini menggunakan ASCS NW2 dan NW3, melalui NFS pada volume Azure NetApp Files dengan protokol NFSv3.

    sudo pcs resource create fs_NW2_ASCS Filesystem device='10.42.0.4:/sapMSIDR/usrsapNW2ascs' \
directory='/usr/sap/NW2/ASCS10' fstype='nfs' force_unmount=safe \
op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=40 \
 --group g-NW2_ASCS

sudo pcs resource create vip_NW2_ASCS IPaddr2 \
ip=10.3.1.52 \
 --group g-NW2_ASCS

sudo pcs resource create nc_NW2_ASCS azure-lb port=62010 \
 --group g-NW2_ASCS

sudo pcs resource create fs_NW3_ASCS Filesystem device='10.42.0.4:/sapMSIDR/usrsapNW3ascs' \
directory='/usr/sap/NW3/ASCS20' fstype='nfs' force_unmount=safe \
op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=40 \
--group g-NW3_ASCS

sudo pcs resource create vip_NW3_ASCS IPaddr2 \
ip=10.3.1.54 \
--group g-NW3_ASCS

sudo pcs resource create nc_NW3_ASCS azure-lb port=62020 \
--group g-NW3_ASCS

    Pastikan status kluster baik-baik saja dan semua sumber daya dimulai. Tidak penting di simpul mana sumber daya berjalan.

  2. [1] Memasang SAP NetWeaver ASCS.

    Pasang SAP NetWeaver ASCS sebagai root, menggunakan nama host virtual yang memetakan ke alamat IP konfigurasi frontend penyeimbang beban untuk ASCS. Misalnya, untuk sistem NW2, nama host virtual adalah msnw2ascs, 10.3.1.52, dan nomor instans yang digunakan untuk probe penyeimbang beban, misalnya 10. Untuk sistem NW3, nama host virtual adalah msnw3ascs, 10.3.1.54, dan nomor instans yang digunakan untuk probe penyeimbang beban, misalnya 20. Catat pada node kluster mana Anda memasang ASCS untuk setiap SID SAP.

    Anda dapat menggunakan parameter sapinst dan SAPINST_REMOTE_ACCESS_USER untuk memungkinkan pengguna non-akar untuk terhubung ke sapinst. Anda dapat menggunakan parameter SAPINST_USE_HOSTNAME untuk memasang SAP, menggunakan nama host virtual.

    # Allow access to SWPM. This rule is not permanent. If you reboot the machine, you have to run the command again
sudo firewall-cmd --zone=public --add-port=4237/tcp
sudo swpm/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname

    Jika instalasi gagal membuat subfolder pada /usr/sap/<SID>/ASCS<Instance#>, coba setel pemilik menjadi <sid>adm dan grup menjadi sapsys ASCS<Instance#> dan coba lagi.

  3. [1] Buat IP virtual serta sumber daya kluster probe kesehatan untuk instans ERS dari sistem SAP tambahan yang Anda terapkan ke kluster. Contoh yang ditampilkan di sini adalah untuk ERS NW2 dan NW3, dengan menggunakan NFS pada volume Azure NetApp Files dengan protokol NFSv3.

    sudo pcs resource create fs_NW2_AERS Filesystem device='10.42.0.4:/sapMSIDR/usrsapNW2ers' \
directory='/usr/sap/NW2/ERS12' fstype='nfs' force_unmount=safe \
op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=40 \
 --group g-NW2_AERS

sudo pcs resource create vip_NW2_AERS IPaddr2 \
ip=10.3.1.53 \
 --group g-NW2_AERS

sudo pcs resource create nc_NW2_AERS azure-lb port=62112 \
 --group g-NW2_AERS

sudo pcs resource create fs_NW3_AERS Filesystem device='10.42.0.4:/sapMSIDR/usrsapNW3ers' \
directory='/usr/sap/NW3/ERS22' fstype='nfs' force_unmount=safe \
op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=40 \
 --group g-NW3_AERS

sudo pcs resource create vip_NW3_AERS IPaddr2 \
ip=10.3.1.55 \
 --group g-NW3_AERS

sudo pcs resource create nc_NW3_AERS azure-lb port=62122 \
 --group g-NW3_AERS

    Pastikan status kluster baik-baik saja dan semua sumber daya dimulai.

    Selanjutnya, pastikan bahwa sumber daya dari grup ERS yang baru dibuat telah berjalan pada simpul kluster tersebut, berlawanan dengan simpul kluster tempat instans ASCS untuk sistem SAP yang sama dipasang. Misalnya, jika NW2 ASCS dipasang pada rhelmsscl1, maka pastikan grup NW2 ERS berjalan pada rhelmsscl2. Anda dapat memigrasikan grup NW2 ERS ke rhelmsscl2 dengan menjalankan perintah berikut untuk salah satu sumber daya kluster dalam grup:

    pcs resource move fs_NW2_AERS rhelmsscl2

  4. [2] Memasang SAP NetWeaver ERS.

    Pasang SAP NetWeaver ERS sebagai root pada node lain, menggunakan nama host virtual yang memetakan ke alamat IP konfigurasi frontend penyeimbang beban untuk ERS. Misalnya, untuk sistem NW2, nama host yang virtual adalah msnw2ers, 10.3.1.53, dan nomor instans yang digunakan untuk probe penyeimbang beban, misalnya 12. Untuk sistem NW3, nama host yang virtual adalah msnw3ers, 10.3.1.55, dan nomor instans yang digunakan untuk probe penyeimbang beban, misalnya 22.

    Anda dapat menggunakan parameter sapinst dan SAPINST_REMOTE_ACCESS_USER untuk memungkinkan pengguna non-akar untuk terhubung ke sapinst. Anda dapat menggunakan parameter SAPINST_USE_HOSTNAME untuk memasang SAP, menggunakan nama host virtual.

    # Allow access to SWPM. This rule is not permanent. If you reboot the machine, you have to run the command again
sudo firewall-cmd --zone=public --add-port=4237/tcp
sudo swpm/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname

    Catatan

    Gunakan SWPM SP 20 PL 05 atau lebih tinggi. Versi yang lebih rendah tidak mengatur izin dengan benar lalu penginstalan akan gagal.

    Jika instalasi gagal membuat subfolder di /usr/sap/<NW2>/ERS<Instance#>, coba atur pemilik untuk <sid>adm dan grup ke sapsys folder ERS<Instance#> dan coba lagi.

    Jika Anda perlu memigrasikan grup ERS dari SAP yang baru disebarkan ke simpul kluster yang berbeda, jangan lupa untuk menghapus batasan lokasi untuk grup ERS. Anda bisa menghapus batasan dengan menjalankan perintah berikut ini. Contoh ini diberikan bagi sistem SAP NW2 dan NW3. Pastikan untuk menghapus batasan sementara untuk sumber daya yang sama yang Anda gunakan dalam perintah untuk memindahkan grup kluster ERS.

    pcs resource clear fs_NW2_AERS
pcs resource clear fs_NW3_AERS

  5. [1] Sesuaikan profil instans ASCS/SCS dan ERS bagi sistem SAP yang baru dipasang. Contoh yang ditunjukkan di bawah ini adalah untuk NW2. Anda perlu menyesuaikan profil ASCS/SCS dan ERS untuk semua instans SAP yang ditambahkan ke kluster.

    • Profil ASCS/SCS

      sudo vi /sapmnt/NW2/profile/NW2_ASCS10_msnw2ascs

# Change the restart command to a start command
#Restart_Program_01 = local $(_EN) pf=$(_PF)
Start_Program_01 = local $(_EN) pf=$(_PF)

# Add the keep alive parameter, if using ENSA1
enque/encni/set_so_keepalive = true

      Untuk ENSA1 dan ENSA2, pastikan keepalive OS parameter diatur seperti yang dijelaskan dalam catatan SAP 1410736.

    • Profil ERS

      sudo vi /sapmnt/NW2/profile/NW2_ERS12_msnw2ers

# Change the restart command to a start command
#Restart_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)

# remove Autostart from ERS profile
# Autostart = 1

  6. [A] Perbarui file /usr/sap/sapservices.

    Untuk mencegah dimulainya instans oleh skrip startup sapinit, semua instans yang dikelola oleh Pacemaker harus dikomentari dari file /usr/sap/sapservices. Contoh yang ditunjukkan di bawah ini adalah untuk sistem NW2 SAP dan NW3.

    # Depending on whether the SAP Startup framework is integrated with systemd, you may observe below entries on the node for ASCS instances. You should comment out the line(s). 
# LD_LIBRARY_PATH=/usr/sap/NW2/ASCS10/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/NW2/ASCS10/exe/sapstartsrv pf=/usr/sap/NW2/SYS/profile/NW2_ASCS10_msnw2ascs -D -u nw2adm
# LD_LIBRARY_PATH=/usr/sap/NW3/ASCS20/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/NW3/ASCS20/exe/sapstartsrv pf=/usr/sap/NW3/SYS/profile/NW3_ASCS20_msnw3ascs -D -u nw3adm
# systemctl --no-ask-password start SAPNW2_10 # sapstartsrv pf=/usr/sap/NW2/SYS/profile/NW2_ASCS10_msnw2ascs
# systemctl --no-ask-password start SAPNW3_20 # sapstartsrv pf=/usr/sap/NW3/SYS/profile/NW3_ASCS20_msnw3ascs

# Depending on whether the SAP Startup framework is integrated with systemd, you may observe below entries on the node for ERS instances. You should comment out the line(s). 
#LD_LIBRARY_PATH=/usr/sap/NW2/ERS12/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/NW2/ERS12/exe/sapstartsrv pf=/usr/sap/NW2/ERS12/profile/NW2_ERS12_msnw2ers -D -u nw2adm
#LD_LIBRARY_PATH=/usr/sap/NW3/ERS22/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/NW3/ERS22/exe/sapstartsrv pf=/usr/sap/NW3/ERS22/profile/NW3_ERS22_msnw3ers -D -u nw3adm
# systemctl --no-ask-password start SAPNW2_12 # sapstartsrv pf=/usr/sap/NW2/ERS12/profile/NW2_ERS12_msnw2ers
# systemctl --no-ask-password start SAPNW3_22 # sapstartsrv pf=/usr/sap/NW3/ERS22/profile/NW3_ERS22_msnw3ers

    Penting

    Dengan SAP Startup Framework berbasis sistemd, instans SAP sekarang dapat dikelola oleh systemd. Versi Red Hat Enterprise Linux (RHEL) minimum yang diperlukan adalah RHEL 8 untuk SAP. Seperti yang dijelaskan dalam SAP Note 3115048, penginstalan baru kernel SAP dengan dukungan SAP Startup Framework berbasis systemd terintegrasi akan selalu menghasilkan instans SAP yang dikontrol secara sistem. Setelah peningkatan kernel SAP dari penginstalan SAP yang ada ke kernel yang memiliki dukungan SAP Startup Framework berbasis sistem, namun, beberapa langkah manual harus dilakukan seperti yang didokumentasikan di Catatan SAP 3115048 untuk mengonversi lingkungan startup SAP yang ada menjadi yang dikontrol secara sistem.

    Saat menggunakan layanan Red Hat HA untuk SAP (konfigurasi kluster) untuk mengelola instans server aplikasi SAP seperti SAP ASCS dan SAP ERS, modifikasi tambahan akan diperlukan untuk memastikan kompatibilitas antara agen sumber daya SAPInstance dan kerangka kerja startup SAP berbasis sistem baru. Jadi setelah instans server aplikasi SAP diinstal atau dialihkan ke SAP Kernel yang diaktifkan sistem sesuai 3115048 Catatan SAP, langkah-langkah yang disebutkan dalam Red Hat KBA 6884531 harus berhasil diselesaikan pada semua node kluster.

  7. [1] Buat sumber daya kluster SAP untuk sistem SAP yang baru dipasang.

    Bergantung pada apakah Anda menjalankan sistem ENSA1 atau ENSA2, pilih tab masing-masing untuk menentukan sumber daya untuk sistem NW2 SAP dan NW3 sebagai berikut. SAP memperkenalkan dukungan untuk ENSA2, termasuk replikasi, di SAP NetWeaver 7.52. Dimulai dengan ABAP Platform 1809, ENSA2 dipasang secara default. Untuk dukungan ENSA2, lihat SAP Note 2630416 untuk dukungan enqueue server 2.

    Jika Anda menggunakan arsitektur enqueue server 2 (ENSA2), instal resource-agents-sap-4.1.1-12.el7.x86_64 atau yang lebih baru dan tentukan sumber daya untuk sistem NW2 SAP dan NW3 sebagai berikut:

    sudo pcs property set maintenance-mode=true

sudo pcs resource create rsc_sap_NW2_ASCS10 SAPInstance \
InstanceName=NW2_ASCS10_msnw2ascs START_PROFILE="/sapmnt/NW2/profile/NW2_ASCS10_msnw2ascs" \
AUTOMATIC_RECOVER=false \
meta resource-stickiness=5000 migration-threshold=1 failure-timeout=60 \
op monitor interval=20 on-fail=restart timeout=60 \
op start interval=0 timeout=600 op stop interval=0 timeout=600 \
--group g-NW2_ASCS

sudo pcs resource meta g-NW2_ASCS resource-stickiness=3000

sudo pcs resource create rsc_sap_NW2_ERS12 SAPInstance \
InstanceName=NW2_ERS12_msnw2ers START_PROFILE="/sapmnt/NW2/profile/NW2_ERS12_msnw2ers" \
AUTOMATIC_RECOVER=false IS_ERS=true \
op monitor interval=20 on-fail=restart timeout=60 op start interval=0 timeout=600 op stop interval=0 timeout=600 \
--group g-NW2_AERS

sudo pcs constraint colocation add g-NW2_AERS with g-NW2_ASCS -5000
sudo pcs constraint location rsc_sap_NW2_ASCS10 rule score=2000 runs_ers_NW2 eq 1
sudo pcs constraint order start g-NW2_ASCS then stop g-NW2_AERS kind=Optional symmetrical=false

sudo pcs resource create rsc_sap_NW3_ASCS20 SAPInstance \
InstanceName=NW3_ASCS20_msnw3ascs START_PROFILE="/sapmnt/NW3/profile/NW3_ASCS20_msnw3ascs" \
AUTOMATIC_RECOVER=false \
meta resource-stickiness=5000 migration-threshold=1 failure-timeout=60 \
op monitor interval=20 on-fail=restart timeout=60 \
op start interval=0 timeout=600 op stop interval=0 timeout=600 \
--group g-NW3_ASCS

sudo pcs resource meta g-NW3_ASCS resource-stickiness=3000

sudo pcs resource create rsc_sap_NW3_ERS22 SAPInstance \
InstanceName=NW3_ERS22_msnw3ers START_PROFILE="/sapmnt/NW3/profile/NW2_ERS22_msnw3ers" \
AUTOMATIC_RECOVER=false IS_ERS=true \
op monitor interval=20 on-fail=restart timeout=60 op start interval=0 timeout=600 op stop interval=0 timeout=600 \
--group g-NW3_AERS

sudo pcs constraint colocation add g-NW3_AERS with g-NW3_ASCS -5000
sudo pcs constraint location rsc_sap_NW3_ASCS20 rule score=2000 runs_ers_NW3 eq 1
sudo pcs constraint order start g-NW3_ASCS then stop g-NW3_AERS kind=Optional symmetrical=false

sudo pcs property set maintenance-mode=false

    Jika Anda memutakhirkan dari versi yang lebih lama serta beralih ke antrian server 2, lihat Catatan SAP 2641019.

    Catatan

    Batas waktu dalam konfigurasi di atas hanyalah contoh, dan mungkin perlu disesuaikan dengan pengaturan SAP tertentu.

    Pastikan status kluster baik-baik saja dan semua sumber daya dimulai. Tidak penting di simpul mana sumber daya berjalan. Contoh berikut menunjukkan status sumber daya kluster, setelah sistem NW2 SAP dan NW3 ditambahkan ke kluster.

    sudo pcs status

# Online: [ rhelmsscl1 rhelmsscl2 ]

# Full list of resources:

# rsc_st_azure   (stonith:fence_azure_arm):      Started rhelmsscl1
# Resource Group: g-NW1_ASCS
#   fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
#   vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
#   nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
#   rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
# Resource Group: g-NW1_AERS
#   fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
#   vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
#   nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
#   rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
# Resource Group: g-NW2_ASCS
#   fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
#   vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
#   nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
#   rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
# Resource Group: g-NW2_AERS
#   fs_NW2_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
#   vip_NW2_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
#   nc_NW2_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
#   rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
# Resource Group: g-NW3_ASCS
#   fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
#   vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
#   nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
#   rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
# Resource Group: g-NW3_AERS
#   fs_NW3_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
#   vip_NW3_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
#   nc_NW3_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
#  rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1

  8. [A] Tambahkan aturan firewall untuk ASCS dan ERS pada kedua node. Contoh di bawah ini menunjukkan aturan firewall untuk sistem NW2 SAP dan NW3.

    # NW1 - ASCS
sudo firewall-cmd --zone=public --add-port={62010,3210,3610,3910,8110,51013,51014,51016}/tcp --permanent
sudo firewall-cmd --zone=public --add-port={62010,3210,3610,3910,8110,51013,51014,51016}/tcp
# NW2 - ERS
sudo firewall-cmd --zone=public --add-port={62112,3212,3312,51213,51214,51216}/tcp --permanent
sudo firewall-cmd --zone=public --add-port={62112,3212,3312,51213,51214,51216}/tcp
# NW3 - ASCS
sudo firewall-cmd --zone=public --add-port={62020,3220,3620,3920,8120,52013,52014,52016}/tcp --permanent
sudo firewall-cmd --zone=public --add-port={62020,3220,3620,3920,8120,52013,52014,52016}/tcp
# NW3 - ERS
sudo firewall-cmd --zone=public --add-port={62122,3222,3322,52213,52214,52216}/tcp --permanent
sudo firewall-cmd --zone=public --add-port={62122,3222,3322,52213,52214,52216}/tcp

Lanjutkan dengan penginstalan SAP

Lengkapi penginstalan SAP Anda dengan:

Uji penyetelan kluster multi-SID

Pengujian berikut adalah subset kasus uji dalam panduan praktik terbaik Red Hat. Mereka ditambahkan untuk kenyamanan Anda. Untuk daftar lengkap uji kluster, referensikan dokumentasi berikut:

Selalu baca panduan praktik terbaik Red Hat serta lakukan semua uji tambahan yang mungkin telah ditambahkan. Uji yang disajikan terdapat dalam dua simpul, kluster multi-SID dengan tiga sistem SAP yang dipasang.

  1. Migrasi instans ASCS secara manual. Contoh menunjukkan migrasi instans ASCS untuk sistem SAP NW3.

    Status sumber daya sebelum memulai pengujian:

    Online: [ rhelmsscl1 rhelmsscl2 ]

Full list of resources:

rsc_st_azure   (stonith:fence_azure_arm):      Started rhelmsscl1
Resource Group: g-NW1_ASCS
    fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
    vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
    nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
    rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
Resource Group: g-NW1_AERS
    fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
    vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
    nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
    rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
Resource Group: g-NW2_ASCS
    fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
    vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
    nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
    rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
Resource Group: g-NW2_AERS
    fs_NW2_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
    vip_NW2_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
    nc_NW2_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
    rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
Resource Group: g-NW3_ASCS
    fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
    vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
    nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
    rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
Resource Group: g-NW3_AERS
    fs_NW3_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
    vip_NW3_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
    nc_NW3_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
    rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1

    Jalankan perintah berikut sebagai root untuk memigrasikan instans NW3 ASCS.

    pcs resource move rsc_sap_NW3_ASCS200
# Clear temporary migration constraints
pcs resource clear rsc_sap_NW3_ASCS20

# Remove failed actions for the ERS that occurred as part of the migration
pcs resource cleanup rsc_sap_NW3_ERS22

    Status sumber daya setelah pengujian:

    Online: [ rhelmsscl1 rhelmsscl2 ]

Full list of resources:

rsc_st_azure   (stonith:fence_azure_arm):      Started rhelmsscl1
Resource Group: g-NW1_ASCS
    fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
    vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
    nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
    rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
Resource Group: g-NW1_AERS
    fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
    vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
    nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
    rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
Resource Group: g-NW2_ASCS
    fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
    vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
    nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
    rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
Resource Group: g-NW2_AERS
    fs_NW2_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
    vip_NW2_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
    nc_NW2_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
    rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
Resource Group: g-NW3_ASCS
    fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
    vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
    nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
    rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
Resource Group: g-NW3_AERS
    fs_NW3_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
    vip_NW3_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
    nc_NW3_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
    rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2

  2. Mensimulasikan simpul crash.

    Status sumber daya sebelum memulai pengujian:

    Online: [ rhelmsscl1 rhelmsscl2 ]

Full list of resources:

rsc_st_azure   (stonith:fence_azure_arm):      Started rhelmsscl1
Resource Group: g-NW1_ASCS
    fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
    vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
    nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
    rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
Resource Group: g-NW1_AERS
    fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
    vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
    nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
    rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
Resource Group: g-NW2_ASCS
    fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
    vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
    nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
    rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
Resource Group: g-NW2_AERS
    fs_NW2_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
    vip_NW2_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
    nc_NW2_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
    rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
Resource Group: g-NW3_ASCS
    fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
    vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
    nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
    rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
Resource Group: g-NW3_AERS
    fs_NW3_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
    vip_NW3_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
    nc_NW3_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
    rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2

    Jalankan perintah berikut sebagai root pada simpul, di mana setidaknya satu instans ASCS sedang berjalan. Contoh ini menjalankan perintah pada rhelmsscl1, di mana instans ASCS untuk NW1, NW2, dan NW3 sedang beroperasi.

    echo c > /proc/sysrq-trigger

    Status setelah pengujian, dan setelah simpul yang mengalami crash telah dimulai lagi, seharusnya terlihat seperti ini:

    Full list of resources:

rsc_st_azure    (stonith:fence_azure_arm):      Started rhelmsscl2
Resource Group: g-NW1_ASCS
    fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
    vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
    nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
    rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
Resource Group: g-NW1_AERS
    fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
    vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
    nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
    rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
Resource Group: g-NW2_ASCS
    fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
    vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
    nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
    rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
Resource Group: g-NW2_AERS
    fs_NW2_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
    vip_NW2_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
    nc_NW2_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
    rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
Resource Group: g-NW3_ASCS
    fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
    vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
    nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
    rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
Resource Group: g-NW3_AERS
    fs_NW3_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
    vip_NW3_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
    nc_NW3_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
    rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1

    Jika ada pesan untuk sumber daya yang gagal, bersihkan status sumber daya yang gagal. Contohnya:

    pcs resource cleanup rsc_sap_NW1_ERS02

Langkah berikutnya

Untuk mempelajari cara menetapkan ketersediaan tinggi dan merencanakan pemulihan bencana SAP Hana di VM Azure, lihat Ketersediaan Tinggi SAP Hana di Azure Virtual Machines (VM).