Ketersediaan tinggi untuk SAP NetWeaver di VM Azure di SUSE Linux Enterprise Server untuk aplikasi SAP panduan multi-SID

Artikel
07/25/2024

Artikel ini menjelaskan cara menggunakan beberapa sistem SAP NetWeaver atau S4HANA dengan ketersediaan tinggi (yaitu, multi-SID) dalam kluster dua simpul di VM Azure dengan SUSE Linux Enterprise Server untuk aplikasi SAP.

Dalam konfigurasi contoh, perintah instalasi dll. tiga sistem SAP NetWeaver 7.50 digunakan dalam satu kluster ketersediaan tinggi dua node. SID sistem SAP adalah:

NW1: Instans ASCS nomor 00 dan nama host virtual msnw1ascs; Instans ERS nomor 02 dan nama host virtual msnw1ers.
NW2: Instans ASCS nomor 10 dan nama host virtual msnw2ascs; Instans ERS nomor 12 dan nama host virtual msnw2ers.
NW3: Instans ASCS nomor 20 dan nama host virtual msnw3ascs; Instans ERS nomor 22 dan nama host virtual msnw3ers.

Artikel ini tidak mencakup lapisan database dan penyebaran SAP NFS share. Dalam contoh dalam artikel ini, kami menggunakan nama virtual nw2-nfs untuk berbagi NW2 NFS dan nw3-nfs untuk berbagi NW3 NFS, dengan asumsi bahwa kluster NFS disebarkan.

Sebelum memulai, lihat SAP Note dan lembar berikut terlebih dahulu:

1928533 Catatan SAP, yang memiliki:
- Daftar ukuran Azure komputer virtual yang didukung untuk penyebaran perangkat lunak SAP
- Informasi kapasitas penting untuk ukuran Azure komputer virtual
- Perangkat lunak SAP yang didukung, sistem operasi (OS), dan kombinasi database
- Versi kernel SAP yang diperlukan untuk Windows dan Linux di Microsoft Azure
Catatan SAP 2015553 mencantumkan prasyarat untuk penyebaran perangkat lunak SAP yang didukung SAP di Azure.
Catatan SAP 2205917 telah menyarankan pengaturan OS untuk SUSE Linux Enterprise Server untuk Aplikasi SAP
Catatan SAP 1944799 memiliki Panduan SAP Hana untuk SUSE Linux Enterprise Server untuk Aplikasi SAP
Catatan SAP 2178632 memiliki informasi rinci tentang semua metrik pemantauan yang dilaporkan untuk SAP pada Azure.
SAP Note 2191498 memiliki versi Agen Host SAP yang diperlukan untuk Linux di Azure.
Catatan SAP 2243692 memiliki informasi tentang lisensi SAP di Linux pada Azure.
Catatan SAP 1984787 memiliki informasi umum tentang SUSE Linux Enterprise Server 12.
Catatan SAP 1999351 memiliki informasi pemecahan masalah tambahan untuk Azure Enhanced Monitoring Extension untuk SAP.
SAP Community WIKI memiliki semua SAP Note yang diperlukan untuk Linux.
Microsoft Azure Virtual Machines perencanaan dan penerapan untuk SAP di Linux
Azure Virtual Machines penyebaran untuk SAP pada Linux
Penyebaran Azure Virtual Machines DBMS untuk SAP pada Linux
Panduan Praktik Terbaik SUSE SAP HA - Panduan berisi semua informasi yang diperlukan untuk menyiapkan Replikasi Sistem Netweaver HA dan SAP Hana secara lokal. Gunakan panduan ini sebagai garis dasar umum. Mereka memberikan informasi yang jauh lebih rinci.
Ekstensi Ketersediaan Tinggi SUSE 12 SP3 Catatan Rilis
Panduan kluster multi-SID SUSE untuk SLES 12 dan SLES 15
Aplikasi SAP NetApp di Microsoft Azure menggunakan Azure NetApp Files

Gambaran Umum

Komputer virtual yang berpartisipasi dalam kluster harus berukuran untuk dapat menjalankan semua sumber daya, jika terjadi failover. Setiap SAP SID dapat gagal secara independen satu sama lain di kluster ketersediaan tinggi multi-SID. Jika menggunakan pagar SBD, perangkat SBD dapat dibagi di antara beberapa cluster.

Untuk mencapai ketersediaan tinggi, SAP NetWeaver membutuhkan pembagian NFS dengan ketersediaan tinggi. Dalam contoh ini, kami menganggap pembagian SAP NFS di-host di server file NFS yang sangat tersedia, yang dapat digunakan oleh beberapa sistem SAP. Atau, pembagian disebarkan pada volume NFS Azure NetApp Files.

Kluster pacemaker menunjukkan informasi mendetail tentang dua kluster multi-SID, msidcl1 dan msidcl2.

Penting

Dukungan untuk pengelompokan multi-SID SAP ASCS/ERS dengan SUSE Linux sebagai sistem operasi tamu di Azure VM dibatasi hingga lima SAP SID pada kluster yang sama. Setiap SID baru meningkatkan kompleksitas. Campuran SAP Enqueue Replication Server 1 dan SAP Enqueue Replication Server 2 dalam kluster yang sama tidak didukung. Pengelompokan multi-SID menjelaskan instalasi beberapa instans SAP ASCS/ERS dengan SID yang berbeda dalam satu kluster Pacemaker. Saat ini pengelompokan multi-SID hanya didukung untuk ASCS/ERS.

Tip

Pengelompokan multi-SID SAP ASCS/ERS adalah solusi dengan kompleksitas yang lebih tinggi. Lebih kompleks untuk diterapkan. Ini juga melibatkan upaya administrasi yang lebih tinggi, ketika menjalankan kegiatan pemeliharaan (seperti patching OS). Sebelum Anda memulai implementasi aktual, luangkan waktu untuk merencanakan penyebaran dengan hati-hati dan semua komponen yang terlibat seperti VM, dudukan NFS, VIP, konfigurasi penyeimbang beban, dan sebagainya.

Server NFS, SAP NetWeaver ASCS, SAP NetWeaver SCS, SAP NetWeaver ERS, dan database SAP Hana menggunakan nama host virtual dan alamat IP virtual. Pada Azure, penyeimbang muatan diperlukan untuk menggunakan alamat IP virtual. Kami sarankan untuk menggunakan Load balancer standar.

Konfigurasi yang disajikan untuk contoh kluster multi-SID ini dengan tiga sistem SAP menunjukkan load balancer dengan:

Alamat IP frontend untuk ASCS: 10.3.1.14 (NW1), 10.3.1.16 (NW2) dan 10.3.1.13 (NW3)
Alamat IP frontend untuk ERS: 10.3.1.15 (NW1), 10.3.1.17 (NW2) dan 10.3.1.19 (NW3)
Port probe 62000 untuk NW1 ASCS, 62010 untuk NW2 ASCS dan 62020 untuk NW3 ASCS
Port probe 62102 untuk NW1 ASCS, 62112 untuk NW2 ASCS dan 62122 untuk NW3 ASCS

Catatan

Ketika VM tanpa alamat IP publik ditempatkan di kumpulan backend internal (tanpa alamat IP publik) penyeimbang beban Azure Standar, tidak akan ada konektivitas internet keluar, kecuali ada konfigurasi tambahan untuk memungkinkan perutean ke titik akhir publik. Untuk detail tentang cara mencapai konektivitas keluar lihat Publik titik akhir konektivitas untuk Virtual Machines menggunakan Azure Standard Load Balancer dalam SAP ketersediaan tinggi skenario.

Penting

Jangan aktifkan stempel waktu TCP pada Azure VM yang ditempatkan di belakang Azure Load Balancer. Mengaktifkan tanda waktu TCP akan menyebabkan pemeriksaan kesehatan gagal. Set net.ipv4.tcp_timestamps parameter ke 0. Untuk detailnya, lihat Pemeriksaan kesehatan Load Balancer.
Untuk mencegah saptune mengubah nilai yang diatur net.ipv4.tcp_timestamps secara manual dari 0 kembali ke 1, Anda harus memperbarui versi saptune ke 3.1.1 atau yang lebih tinggi. Untuk informasi selengkapnya, lihat saptune 3.1.1 – Apakah Saya Perlu Memperbarui?.

Pembagian NFS SAP

SAP NetWeaver memerlukan penyimpanan bersama untuk transportasi, direktori profil, dan sebagainya. Untuk sistem SAP yang sangat tersedia, penting untuk memiliki berbagi NFS yang sangat tersedia. Anda harus memutuskan arsitektur untuk berbagi SAP NFS Anda. Salah satu opsinya adalah membangun kluster NFS yang sangat tersedia di VM Azure di SUSE Linux Enterprise Server, yang dapat dibagikan di antara beberapa sistem SAP.

Opsi lain adalah menyebarkan pembagian pada volume NFS Azure NetApp Files. Dengan Azure NetApp Files, Anda akan mendapatkan ketersediaan tinggi bawaan untuk berbagi SAP NFS.

Menyebarkan sistem SAP pertama dalam kluster

Berdasarkan arsitektur untuk berbagi SAP NFS, sebarkan sistem SAP pertama di kluster, mengikuti dokumentasi yang sesuai.

Jika menggunakan server NFS yang sangat tersedia, ikuti Ketersediaan tinggi untuk SAP NetWeaver di Azure VMs di SUSE Linux Enterprise Server untuk aplikasi SAP.
Jika menggunakan volume NFS Azure NetApp Files, ikuti Ketersediaan tinggi untuk SAP NetWeaver di Azure VM di SUSE Linux Enterprise Server dengan aplikasi Azure NetApp Files untuk SAP

Dokumen yang tercantum di atas akan memandu Anda melalui langkah-langkah untuk menyiapkan infrastruktur yang diperlukan, membangun kluster, menyiapkan OS untuk menjalankan aplikasi SAP.

Tip

Selalu uji kegagalan fungsionalitas kluster, setelah sistem pertama disebarkan, sebelum menambahkan SID SAP tambahan ke kluster. Dengan begitu Anda akan tahu bahwa fungsionalitas kluster berfungsi, sebelum menambahkan kompleksitas sistem SAP tambahan ke kluster.

Sebarkan sistem SAP tambahan dalam kluster

Dalam contoh ini, kami berasumsi bahwa sistem NW1 sudah disebarkan dalam kluster. Kami akan menunjukkan cara menyebarkan dalam sistem SAP kluster NW2 dan NW3.

Item berikut diawali dengan [A] - berlaku untuk semua simpul, [1] - hanya berlaku untuk simpul 1 atau [2] - hanya berlaku untuk simpul 2.

Prasyarat

Penting

Sebelum mengikuti instruksi untuk menyebarkan sistem SAP tambahan dalam kluster, ikuti instruksi untuk menyebarkan sistem SAP pertama di kluster, karena ada langkah-langkah yang hanya diperlukan selama penyebaran sistem pertama.

Dokumentasi ini mengasumsikan bahwa:

Kluster Pacemaker sudah dikonfigurasi dan dijalankan.
Setidaknya satu sistem SAP (instans ASCS / ERS) sudah disebarkan dan berjalan di kluster.
Fungsionalitas fail over kluster diuji.
Share NFS untuk semua sistem SAP disebarkan.

Mempersiapkan Penginstalan SAP NetWeaver

Tambahkan konfigurasi untuk sistem yang baru disebarkan (yaitu, NW2, NW3) ke Azure Load Balancer yang ada, mengikuti instruksi mengonfigurasi Azure Load Balancer secara manual melalui portal Azure. Sesuaikan alamat IP, port probe kesehatan, aturan penyeimbangan beban untuk konfigurasi Anda.

[A] Menyiapkan resolusi nama untuk sistem SAP tambahan. Anda dapat menggunakan server DNS atau memodifikasi /etc/hosts pada semua node. Contoh ini memperlihatkan cara menggunakan file /etc/hosts. Sesuaikan alamat IP dan nama host dengan lingkungan Anda.

sudo vi /etc/hosts

# IP address of the load balancer frontend configuration for NW2 ASCS
10.3.1.16 msnw2ascs
# IP address of the load balancer frontend configuration for NW3 ASCS
10.3.1.13 msnw3ascs
# IP address of the load balancer frontend configuration for NW2 ERS
10.3.1.17 msnw2ers
# IP address of the load balancer frontend configuration for NW3 ERS
10.3.1.19 msnw3ers
# IP address for virtual host name for the NFS server for NW2
10.3.1.31 nw2-nfs
# IP address for virtual host name for the NFS server for NW3
10.3.1.32 nw3-nfs

[A] Buat direktori bersama untuk sistem SAP NW2 dan NW3 tambahan yang Anda sebarkan ke kluster.

sudo mkdir -p /sapmnt/NW2
sudo mkdir -p /usr/sap/NW2/SYS
sudo mkdir -p /usr/sap/NW2/ASCS10
sudo mkdir -p /usr/sap/NW2/ERS12
sudo mkdir -p /sapmnt/NW3
sudo mkdir -p /usr/sap/NW3/SYS
sudo mkdir -p /usr/sap/NW3/ASCS20
sudo mkdir -p /usr/sap/NW3/ERS22

sudo chattr +i /sapmnt/NW2
sudo chattr +i /usr/sap/NW2/SYS
sudo chattr +i /usr/sap/NW2/ASCS10
sudo chattr +i /usr/sap/NW2/ERS12
sudo chattr +i /sapmnt/NW3
sudo chattr +i /usr/sap/NW3/SYS
sudo chattr +i /usr/sap/NW3/ASCS20
sudo chattr +i /usr/sap/NW3/ERS22

[A] Konfigurasikan autofs untuk memasang sistem file /sapmnt/SID dan /usr/sap/SID/SYS untuk sistem SAP tambahan yang Anda sebarkan ke kluster. Dalam contoh ini NW2 dan NW3.

Perbarui file /etc/auto.direct dengan sistem file untuk sistem SAP tambahan yang Anda sebarkan ke kluster.
- Jika menggunakan server file NFS, ikuti instruksi di halaman ketersediaan tinggi VM Azure untuk SAP NetWeaver pada SLES
- Jika menggunakan Azure NetApp Files, ikuti instruksi di halaman ketersediaan tinggi VM Azure untuk SAP NW pada SLES dengan Azure NetApp Files
Anda perlu memulai ulang autofs layanan untuk memasang berbagi yang baru ditambahkan.

Pasang ASCS / ERS

Buat IP virtual dan sumber daya kluster pemeriksaan kesehatan untuk instans ASCS dari sistem SAP tambahan yang Anda sebarkan ke kluster. Contoh yang ditampilkan di sini adalah untuk NW2 dan NW3 ASCS, menggunakan server NFS yang sangat tersedia.
Penting

Pengujian terbaru mengungkapkan situasi di mana netcat berhenti merespons permintaan karena backlog dan keterbatasannya dalam menangani satu koneksi saja. Sumber daya netcat berhenti mendengarkan permintaan Azure Load Balancer dan IP floating menjadi tidak tersedia.
Untuk kluster Pacemaker yang ada, kami pernah menyarankan untuk mengganti netcat dengan socat. Saat ini kami menyarankan untuk menggunakan agen sumber daya azure-lb yang merupakan bagian dari agen sumber daya paket dengan persyaratan versi paket berikut:
- Untuk SLES 12 SP4/SP5, versi setidaknya harus resource-agents-4.3.018.a7fb5035-3.30.1.
- Untuk SLES 15/15 SP1, versi harus setidaknya agen sumber daya-4.3.0184.6ee15eb2-4.13.1.
Perhatikan bahwa perubahan akan memerlukan waktu henti singkat.
Untuk kluster Pacemaker yang ada, jika konfigurasi sudah diubah untuk menggunakan socat seperti yang dijelaskan di Azure Load-Balancer Deteksi Pengerasan, tidak ada persyaratan untuk segera beralih ke agen sumber daya azure-lb.
```
sudo crm configure primitive fs_NW2_ASCS Filesystem device='nw2-nfs:/NW2/ASCS' directory='/usr/sap/NW2/ASCS10' fstype='nfs4' \
   op start timeout=60s interval=0 \
   op stop timeout=60s interval=0 \
   op monitor interval=20s timeout=40s

sudo crm configure primitive vip_NW2_ASCS IPaddr2 \
    params ip=10.3.1.16 \
    op monitor interval=10 timeout=20

sudo crm configure primitive nc_NW2_ASCS azure-lb port=62010 \
    op monitor timeout=20s interval=10

sudo crm configure group g-NW2_ASCS fs_NW2_ASCS nc_NW2_ASCS vip_NW2_ASCS \
     meta resource-stickiness=3000

sudo crm configure primitive fs_NW3_ASCS Filesystem device='nw3-nfs:/NW3/ASCS' directory='/usr/sap/NW3/ASCS20' fstype='nfs4' \
    op start timeout=60s interval=0 \
    op stop timeout=60s interval=0 \
    op monitor interval=20s timeout=40s

sudo crm configure primitive vip_NW3_ASCS IPaddr2 \
   params ip=10.3.1.13 \
   op monitor interval=10 timeout=20

sudo crm configure primitive nc_NW3_ASCS azure-lb port=62020 \
   op monitor timeout=20s interval=10

sudo crm configure group g-NW3_ASCS fs_NW3_ASCS nc_NW3_ASCS vip_NW3_ASCS \
    meta resource-stickiness=3000
```
Saat Anda membuat sumber daya, sumber daya tersebut mungkin ditetapkan ke sumber daya kluster yang berbeda. Saat Anda mengelompokkannya, mereka akan bermigrasi ke salah satu node kluster. Pastikan status kluster baik-baik saja dan semua sumber daya dimulai. Tidak penting di node mana sumber daya berjalan.
[1] Pasang SAP NetWeaver ASCS

Pasang SAP NetWeaver ASCS sebagai root, menggunakan nama host virtual yang memetakan ke alamat IP konfigurasi frontend penyeimbang beban untuk ASCS. Misalnya, untuk sistem NW2, nama host virtual adalah msnw2ascs, 10.3.1.16 dan nomor instans yang Anda gunakan untuk probe penyeimbang beban, misalnya 10. Untuk sistem NW3, nama host virtual adalah msnw3ascs, 10.3.1.13 dan nomor instans yang Anda gunakan untuk probe penyeimbang beban, misalnya 20.

Anda dapat menggunakan parameter sapinst SAPINST_REMOTE_ACCESS_USER untuk memungkinkan pengguna non-root untuk terhubung ke sapinst. Anda dapat menggunakan parameter SAPINST_USE_HOSTNAME untuk memasang SAP, menggunakan nama host virtual.
```
sudo swpm/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
```
Jika instalasi gagal membuat subfolder di /usr/sap/SID/ASCSInstance#, coba setel pemilik menjadi sidadm dan grup menjadi sapsys ASCSInstance# dan coba lagi.

[1] Buat IP virtual dan sumber daya kluster pemeriksaan kesehatan untuk instans ERS dari sistem SAP tambahan yang Anda sebarkan ke kluster. Contoh yang ditampilkan di sini adalah untuk NW2 dan NW3 ERS, menggunakan server NFS yang sangat tersedia.

 sudo crm configure primitive fs_NW2_ERS Filesystem device='nw2-nfs:/NW2/ASCSERS' directory='/usr/sap/NW2/ERS12' fstype='nfs4' \
   op start timeout=60s interval=0 \
   op stop timeout=60s interval=0 \
   op monitor interval=20s timeout=40s

 sudo crm configure primitive vip_NW2_ERS IPaddr2 \
   params ip=10.3.1.17 \
   op monitor interval=10 timeout=20

 sudo crm configure primitive nc_NW2_ERS azure-lb port=62112 \
   op monitor timeout=20s interval=10

 sudo crm configure group g-NW2_ERS fs_NW2_ERS nc_NW2_ERS vip_NW2_ERS

 sudo crm configure primitive fs_NW3_ERS Filesystem device='nw3-nfs:/NW3/ASCSERS' directory='/usr/sap/NW3/ERS22' fstype='nfs4' \
   op start timeout=60s interval=0 \
   op stop timeout=60s interval=0 \
   op monitor interval=20s timeout=40s

 sudo crm configure primitive vip_NW3_ERS IPaddr2 \
   params ip=10.3.1.19 \
   op monitor interval=10 timeout=20

 sudo crm configure primitive nc_NW3_ERS azure-lb port=62122 \
   op monitor timeout=20s interval=10

 sudo crm configure group g-NW3_ERS fs_NW3_ERS nc_NW3_ERS vip_NW3_ERS

Saat Anda membuat sumber daya, mereka mungkin ditetapkan ke simpul kluster yang berbeda. Saat Anda mengelompokkannya, mereka akan bermigrasi ke salah satu node kluster. Pastikan status kluster baik-baik saja dan semua sumber daya dimulai.

Selanjutnya, pastikan bahwa sumber daya dari grup ERS yang baru dibuat berjalan pada simpul kluster tersebut, berlawanan dengan simpul kluster tempat instans ASCS untuk sistem SAP yang sama dipasang. Misalnya, jika NW2 ASCS dipasang pada slesmsscl1, maka pastikan grup NW2 ERS berjalan pada slesmsscl2. Anda dapat memigrasikan grup NW2 ERS ke slesmsscl2 dengan menjalankan perintah berikut:

crm resource migrate g-NW2_ERS slesmsscl2 force

[2] Pasang SAP NetWeaver ERS

Pasang SAP NetWeaver ERS sebagai root pada node lain, menggunakan nama host virtual yang memetakan ke alamat IP konfigurasi frontend penyeimbang beban untuk ERS. Misalnya untuk sistem NW2, nama host virtual adalah msnw2ers, 10.3.1.17 dan nomor instans yang Anda gunakan untuk pemeriksaan load balancer, misalnya 12. Untuk sistem NW3, nama host virtual adalah msnw3ers, 10.3.1.19 dan nomor instans yang Anda gunakan untuk probe penyeimbang beban, misalnya 22.

Anda dapat menggunakan parameter sapinst SAPINST_REMOTE_ACCESS_USER untuk memungkinkan pengguna non-root untuk terhubung ke sapinst. Anda dapat menggunakan parameter SAPINST_USE_HOSTNAME untuk memasang SAP, menggunakan nama host virtual.
```
sudo swpm/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
```
Catatan

Gunakan SWPM SP 20 PL 05 atau lebih tinggi. Versi yang lebih rendah tidak mengatur izin dengan benar dan penginstalan akan gagal.

Jika instalasi gagal membuat subfolder di /usr/sap/NW2/ERSInstance#, coba atur pemilik untuk sidadm dan grup ke sapsys folder Instans# ERS dan coba lagi.

Jika Anda perlu memigrasikan grup ERS dari SAP yang baru disebarkan ke simpul kluster yang berbeda, jangan lupa untuk menghapus batasan lokasi untuk grup ERS. Anda dapat menghapus batasan dengan menjalankan perintah berikut (contohnya diberikan untuk sistem SAP NW2 dan NW3).
```
crm resource unmigrate g-NW2_ERS
crm resource unmigrate g-NW3_ERS
```

[1] Sesuaikan profil instans ASCS/SCS dan ERS untuk sistem SAP yang baru dipasang. Contoh yang ditunjukkan di bawah ini adalah untuk NW2. Anda harus menyesuaikan profil ASCS/SCS dan ERS untuk semua instans SAP yang ditambahkan ke kluster.

Profil ASCS/SCS

sudo vi /sapmnt/NW2/profile/NW2_ASCS10_msnw2ascs

# Change the restart command to a start command
#Restart_Program_01 = local $(_EN) pf=$(_PF)
Start_Program_01 = local $(_EN) pf=$(_PF)

# Add the following lines
service/halib = $(DIR_CT_RUN)/saphascriptco.so
service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector

# Add the keep alive parameter, if using ENSA1
enque/encni/set_so_keepalive = true

Untuk ENSA1 dan ENSA2, pastikan keepalive OS parameter diatur seperti yang dijelaskan dalam catatan SAP 1410736.

Profil ERS

sudo vi /sapmnt/NW2/profile/NW2_ERS12_msnw2ers

# Change the restart command to a start command
#Restart_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)

# Add the following lines
service/halib = $(DIR_CT_RUN)/saphascriptco.so
service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector

# remove Autostart from ERS profile
# Autostart = 1

[A] Konfigurasikan pengguna SAP untuk sistem SAP yang baru diterapkan, dalam contoh ini NW2 dan NW3.

# Add sidadm to the haclient group
sudo usermod -aG haclient nw2adm
sudo usermod -aG haclient nw3adm

Tambahkan layanan ASCS dan ERS SAP untuk sistem SAP yang baru diinstal ke file sapservice. Contoh yang ditunjukkan di bawah ini adalah untuk sistem SAP NW2 dan NW3.

Tambahkan entri layanan ASCS ke simpul kedua dan salin entri layanan ERS ke simpul pertama. Jalankan perintah untuk setiap sistem SAP pada simpul, di mana instans ASCS untuk sistem SAP diinstal.

# Execute the following commands on slesmsscl1,assuming the NW2 ASCS instance was installed on slesmsscl1
cat /usr/sap/sapservices | grep ASCS10 | sudo ssh slesmsscl2 "cat >>/usr/sap/sapservices"
sudo ssh slesmsscl2 "cat /usr/sap/sapservices" | grep ERS12 | sudo tee -a /usr/sap/sapservices
# Execute the following commands on slesmsscl2, assuming the NW3 ASCS instance was installed on slesmsscl2
cat /usr/sap/sapservices | grep ASCS20 | sudo ssh slesmsscl1 "cat >>/usr/sap/sapservices"
sudo ssh slesmsscl1 "cat /usr/sap/sapservices" | grep ERS22 | sudo tee -a /usr/sap/sapservices

[A] Menonaktifkan layanan instans systemd ASCS dan ERS SAP. Langkah ini hanya berlaku, jika kerangka kerja startup SAP dikelola oleh systemd sesuai Catatan SAP 3115048

Catatan

Saat mengelola instans SAP seperti SAP ASCS dan SAP ERS menggunakan konfigurasi kluster SLES, Anda harus melakukan modifikasi tambahan untuk mengintegrasikan kluster dengan kerangka kerja mulai SAP berbasis sistem asli. Ini memastikan bahwa prosedur pemeliharaan tidak membahayakan stabilitas kluster. Setelah menginstal atau mengalihkan kerangka kerja startup SAP ke penyiapan yang diaktifkan sistem sesuai 3115048 Catatan SAP, Anda harus menonaktifkan systemd layanan untuk instans ASCS dan ERS SAP.
```
# Stop all ASCS and ERS instances using <sid>adm
sapcontrol -nr 10 -function Stop
sapcontrol -nr 10 -function StopService

sapcontrol -nr 12 -function Stop
sapcontrol -nr 12 -function StopService

# Execute below command on VM where you have performed ASCS instance installation for each SAP system (e.g. slesmsscl1)
sudo systemctl disable SAPNW2_10
sudo systemctl disable SAPNW3_20
# Execute below command on VM where you have performed ERS instance installation for each SAP system (e.g. slesmsscl2)
sudo systemctl disable SAPNW2_12
sudo systemctl disable SAPNW2_22
```

[1] Buat sumber daya kluster SAP untuk sistem SAP yang baru dipasang.

Bergantung pada apakah Anda menjalankan sistem ENSA1 atau ENSA2, pilih tab masing-masing untuk menentukan sumber daya untuk sistem NW2 dan NW3 . SAP memperkenalkan dukungan untuk ENSA2, termasuk replikasi, di SAP NetWeaver 7.52. Dimulai dengan ABAP Platform 1809, ENSA2 dipasang secara default. Untuk dukungan ENSA2, lihat Catatan SAP 2630416.

ENSA1
ENSA2

sudo crm configure property maintenance-mode="true"

sudo crm configure primitive rsc_sap_NW2_ASCS10 SAPInstance \
  operations \$id=rsc_sap_NW2_ASCS10-operations \
  op monitor interval=11 timeout=60 on-fail=restart \
  params InstanceName=NW2_ASCS10_msnw2ascs START_PROFILE="/sapmnt/NW2/profile/NW2_ASCS10_msnw2ascs" \
  AUTOMATIC_RECOVER=false \
  meta resource-stickiness=5000 failure-timeout=60 migration-threshold=1 priority=10

sudo crm configure primitive rsc_sap_NW2_ERS12 SAPInstance \
  operations \$id=rsc_sap_NW2_ERS12-operations \
  op monitor interval=11 timeout=60 on-fail=restart \
  params InstanceName=NW2_ERS12_msnw2ers START_PROFILE="/sapmnt/NW2/profile/NW2_ERS12_msnw2ers" AUTOMATIC_RECOVER=false IS_ERS=true \
  meta priority=1000

sudo crm configure modgroup g-NW2_ASCS add rsc_sap_NW2_ASCS10
sudo crm configure modgroup g-NW2_ERS add rsc_sap_NW2_ERS12

sudo crm configure colocation col_sap_NW2_no_both -5000: g-NW2_ERS g-NW2_ASCS
sudo crm configure location loc_sap_NW2_failover_to_ers rsc_sap_NW2_ASCS10 rule 2000: runs_ers_NW2 eq 1
sudo crm configure order ord_sap_NW2_first_start_ascs Optional: rsc_sap_NW2_ASCS10:start rsc_sap_NW2_ERS12:stop symmetrical=false

sudo crm configure primitive rsc_sap_NW3_ASCS20 SAPInstance \
  operations \$id=rsc_sap_NW3_ASCS20-operations \
  op monitor interval=11 timeout=60 on-fail=restart \
  params InstanceName=NW3_ASCS10_msnw3ascs START_PROFILE="/sapmnt/NW3/profile/NW3_ASCS20_msnw3ascs" \
  AUTOMATIC_RECOVER=false \
  meta resource-stickiness=5000 failure-timeout=60 migration-threshold=1 priority=10

sudo crm configure primitive rsc_sap_NW3_ERS22 SAPInstance \
  operations \$id=rsc_sap_NW3_ERS22-operations \
  op monitor interval=11 timeout=60 on-fail=restart \
  params InstanceName=NW3_ERS22_msnw3ers START_PROFILE="/sapmnt/NW3/profile/NW3_ERS22_msnw2ers" AUTOMATIC_RECOVER=false IS_ERS=true \
  meta priority=1000

sudo crm configure modgroup g-NW3_ASCS add rsc_sap_NW3_ASCS20
sudo crm configure modgroup g-NW3_ERS add rsc_sap_NW3_ERS22

sudo crm configure colocation col_sap_NW3_no_both -5000: g-NW3_ERS g-NW3_ASCS
sudo crm configure location loc_sap_NW3_failover_to_ers rsc_sap_NW3_ASCS10 rule 2000: runs_ers_NW3 eq 1
sudo crm configure order ord_sap_NW3_first_start_ascs Optional: rsc_sap_NW3_ASCS20:start rsc_sap_NW3_ERS22:stop symmetrical=false
sudo crm configure property maintenance-mode="false"

sudo crm configure property maintenance-mode="true"

sudo crm configure primitive rsc_sap_NW2_ASCS10 SAPInstance \
  operations \$id=rsc_sap_NW2_ASCS10-operations \
  op monitor interval=11 timeout=60 on-fail=restart \
  params InstanceName=NW2_ASCS10_msnw2ascs START_PROFILE="/sapmnt/NW2/profile/NW2_ASCS10_msnw2ascs" \
  AUTOMATIC_RECOVER=false \
  meta resource-stickiness=5000 

sudo crm configure primitive rsc_sap_NW2_ERS12 SAPInstance \
  operations \$id=rsc_sap_NW2_ERS12-operations \
  op monitor interval=11 timeout=60 on-fail=restart \
  params InstanceName=NW2_ERS12_msnw2ers START_PROFILE="/sapmnt/NW2/profile/NW2_ERS12_msnw2ers" AUTOMATIC_RECOVER=false IS_ERS=true 

sudo crm configure modgroup g-NW2_ASCS add rsc_sap_NW2_ASCS10
sudo crm configure modgroup g-NW2_ERS add rsc_sap_NW2_ERS12

sudo crm configure colocation col_sap_NW2_no_both -5000: g-NW2_ERS g-NW2_ASCS
sudo crm configure order ord_sap_NW2_first_start_ascs Optional: rsc_sap_NW2_ASCS10:start rsc_sap_NW2_ERS12:stop symmetrical=false

sudo crm configure primitive rsc_sap_NW3_ASCS20 SAPInstance \
  operations \$id=rsc_sap_NW3_ASCS20-operations \
  op monitor interval=11 timeout=60 on-fail=restart \
  params InstanceName=NW3_ASCS10_msnw3ascs START_PROFILE="/sapmnt/NW3/profile/NW3_ASCS20_msnw3ascs" \
  AUTOMATIC_RECOVER=false \
  meta resource-stickiness=5000

sudo crm configure primitive rsc_sap_NW3_ERS22 SAPInstance \
  operations \$id=rsc_sap_NW3_ERS22-operations \
  op monitor interval=11 timeout=60 on-fail=restart \
  params InstanceName=NW3_ERS22_msnw3ers START_PROFILE="/sapmnt/NW3/profile/NW3_ERS22_msnw2ers" AUTOMATIC_RECOVER=false IS_ERS=true

sudo crm configure modgroup g-NW3_ASCS add rsc_sap_NW3_ASCS20
sudo crm configure modgroup g-NW3_ERS add rsc_sap_NW3_ERS22

sudo crm configure colocation col_sap_NW3_no_both -5000: g-NW3_ERS g-NW3_ASCS
sudo crm configure order ord_sap_NW3_first_start_ascs Optional: rsc_sap_NW3_ASCS20:start rsc_sap_NW3_ERS22:stop symmetrical=false
sudo crm configure property maintenance-mode="false"

Jika Anda memutakhirkan dari versi yang lebih lama serta beralih ke antrian server 2, lihat Catatan SAP 2641019.

Pastikan status kluster baik-baik saja dan semua sumber daya dimulai. Tidak penting di node mana sumber daya berjalan.

Contoh berikut menunjukkan status sumber daya kluster, setelah sistem SAP NW2 dan NW3 ditambahkan ke klaster.

sudo crm_mon -r
  
# Online: [ slesmsscl1 slesmsscl2 ]
 
#Full list of resources:
   
#stonith-sbd     (stonith:external/sbd): Started slesmsscl1
# Resource Group: g-NW1_ASCS
#     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
#     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
#     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
#     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
# Resource Group: g-NW1_ERS
#     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
#     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
#     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
#     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
# Resource Group: g-NW2_ASCS
#     fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
#     nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
#     vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
#     rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
# Resource Group: g-NW2_ERS
#     fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
#     nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
#     vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
#     rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
# Resource Group: g-NW3_ASCS
#     fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
#     nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
#     vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
#     rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
# Resource Group: g-NW3_ERS
#     fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
#     nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
#     vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
#     rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl2

Gambar berikut menunjukkan bagaimana sumber daya akan terlihat seperti di HA Web Konsole(Hawk), dengan sumber daya untuk sistem SAP NW2 diperluas.

Lanjutkan dengan penginstalan SAP

Lengkapi penginstalan SAP Anda dengan:

Menyiapkan server aplikasi SAP NetWeaver Anda
Memasang instans DBMS
Memasang server aplikasi SAP primer
Menginstal satu atau beberapa instans aplikasi SAP tambahan

Uji penyetelan kluster multi-SID

Tes berikut adalah subkumpulan kasus pengujian dalam panduan praktik terbaik SUSE. Mereka ditambahkan untuk kenyamanan Anda. Untuk daftar lengkap uji kluster, referensikan dokumentasi berikut:

Jika menggunakan server NFS yang sangat tersedia, ikuti Ketersediaan tinggi untuk SAP NetWeaver di Azure VMs di SUSE Linux Enterprise Server untuk aplikasi SAP.
Jika menggunakan volume NFS Azure NetApp Files, ikuti Ketersediaan tinggi untuk SAP NetWeaver di Azure VM di SUSE Linux Enterprise Server dengan aplikasi Azure NetApp Files untuk SAP

Selalu baca panduan praktik terbaik SUSE dan lakukan semua tes tambahan yang mungkin telah ditambahkan.
Pengujian yang disajikan berada dalam dua simpul, kluster multi-SID dengan tiga sistem SAP yang diinstal.

Uji HAGetFailoverConfig dan HACheckFailoverConfig

Jalankan perintah berikut sebagai <sapsid>adm pada node tempat instans ASCS sedang berjalan. Jika perintah gagal dengan FAIL: Memori tidak mencukupi, itu mungkin disebabkan oleh tanda hubung di nama host Anda. Ini adalah masalah yang diketahui dan akan ditetapkan oleh SUSE dalam sap-suse-cluster-connector package.

 slesmsscl1:nw1adm 57> sapcontrol -nr 00 -function HAGetFailoverConfig

# 10.12.2019 21:33:08
# HAGetFailoverConfig
# OK
# HAActive: TRUE
# HAProductVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4
# HASAPInterfaceVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4 (sap_suse_cluster_connector 3.1.0)
# HADocumentation: https://www.suse.com/products/sles-for-sap/resource-library/sap-best-practices/
# HAActiveNode: slesmsscl1
# HANodes: slesmsscl1, slesmsscl2

 slesmsscl1:nw1adm 53> sapcontrol -nr 00 -function HACheckFailoverConfig

 # 19.12.2019 21:19:58
 # HACheckFailoverConfig
 # OK
 # state, category, description, comment
 # SUCCESS, SAP CONFIGURATION, SAPInstance RA sufficient version, SAPInstance includes is-ers patch

 slesmsscl2:nw2adm 35> sapcontrol -nr 10 -function HAGetFailoverConfig

# 10.12.2019 21:37:09
# HAGetFailoverConfig
# OK
# HAActive: TRUE
# HAProductVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4
# HASAPInterfaceVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4 (sap_suse_cluster_connector 3.1.0)
# HADocumentation: https://www.suse.com/products/sles-for-sap/resource-library/sap-best-practices/
# HAActiveNode: slesmsscl2
# HANodes: slesmsscl2, slesmsscl1

 slesmsscl2:nw2adm 52> sapcontrol -nr 10 -function HACheckFailoverConfig

 # 19.12.2019 21:17:39
 # HACheckFailoverConfig
 # OK
 # state, category, description, comment
 # SUCCESS, SAP CONFIGURATION, SAPInstance RA sufficient version, SAPInstance includes is-ers patch

 slesmsscl1:nw3adm 49> sapcontrol -nr 20 -function HAGetFailoverConfig

# 10.12.2019 23:35:36
# HAGetFailoverConfig
# OK
# HAActive: TRUE
# HAProductVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4
# HASAPInterfaceVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4 (sap_suse_cluster_connector 3.1.0)
# HADocumentation: https://www.suse.com/products/sles-for-sap/resource-library/sap-best-practices/
# HAActiveNode: slesmsscl1
# HANodes: slesmsscl1, slesmsscl2

 slesmsscl1:nw3adm 52> sapcontrol -nr 20 -function HACheckFailoverConfig

 # 19.12.2019 21:10:42
 # HACheckFailoverConfig
 # OK
 # state, category, description, comment
 # SUCCESS, SAP CONFIGURATION, SAPInstance RA sufficient version, SAPInstance includes is-ers patch

Migrasi instans ASCS secara manual. Contoh tersebut menunjukkan migrasi instans ASCS untuk sistem SAP NW2.

Status sumber daya, sebelum memulai pengujian:

 Full list of resources:
 stonith-sbd     (stonith:external/sbd): Started slesmsscl1
  Resource Group: g-NW1_ASCS
      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW1_ERS
      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW2_ASCS
      fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW2_ERS
      fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW3_ASCS
      fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW3_ERS
      fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl1

Jalankan perintah berikut sebagai root untuk memigrasikan instans NW2 ASCS.

 crm resource migrate rsc_sap_NW2_ASCS10 force
 # INFO: Move constraint created for rsc_sap_NW2_ASCS10

 crm resource unmigrate rsc_sap_NW2_ASCS10
 # INFO: Removed migration constraints for rsc_sap_NW2_ASCS10

 # Remove failed actions for the ERS that occurred as part of the migration
 crm resource cleanup rsc_sap_NW2_ERS12

Status sumber daya setelah pengujian:

 Full list of resources:
 stonith-sbd     (stonith:external/sbd): Started slesmsscl1
  Resource Group: g-NW1_ASCS
      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW1_ERS
      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW2_ASCS
      fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW2_ERS
      fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW3_ASCS
      fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW3_ERS
      fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl1

Uji HAFailoverToNode. Pengujian yang disajikan di sini menunjukkan migrasi instans ASCS untuk sistem SAP NW2.

Status sumber daya sebelum memulai pengujian:

 Full list of resources:
 stonith-sbd     (stonith:external/sbd): Started slesmsscl1
  Resource Group: g-NW1_ASCS
      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW1_ERS
      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW2_ASCS
      fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW2_ERS
      fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW3_ASCS
      fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW3_ERS
      fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl1

Jalankan perintah berikut sebagai nw2adm untuk memigrasikan instans NW2 ASCS.

 slesmsscl2:nw2adm 53> sapcontrol -nr 10 -host msnw2ascs -user nw2adm password -function HAFailoverToNode ""

# run as root
# Remove failed actions for the ERS that occurred as part of the migration
crm resource cleanup rsc_sap_NW2_ERS12
# Remove migration constraints
crm resource clear rsc_sap_NW2_ASCS10
#INFO: Removed migration constraints for rsc_sap_NW2_ASCS10

Status sumber daya setelah pengujian:

 Full list of resources:
 stonith-sbd     (stonith:external/sbd): Started slesmsscl1
  Resource Group: g-NW1_ASCS
      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW1_ERS
      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW2_ASCS
      fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW2_ERS
      fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW3_ASCS
      fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW3_ERS
      fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl1

Simulasikan simpul crash

Status sumber daya sebelum memulai pengujian:

 Full list of resources:
 stonith-sbd     (stonith:external/sbd): Started slesmsscl1
  Resource Group: g-NW1_ASCS
      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW1_ERS
      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW2_ASCS
      fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW2_ERS
      fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW3_ASCS
      fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW3_ERS
      fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl1

Jalankan perintah berikut sebagai root pada simpul di mana setidaknya satu instans ASCS sedang berjalan. Dalam contoh ini, kami menjalankan perintah pada slesmsscl2 , di mana instans ASCS untuk NW1 dan NW3 berjalan.

 slesmsscl2:~ # echo b > /proc/sysrq-trigger

Jika Anda menggunakan SBD, Pacemaker tidak boleh secara otomatis dimulai pada node yang dimatikan. Status setelah simpul dimulai lagi harus terlihat seperti ini.

 Online: [ slesmsscl1 ]
 OFFLINE: [ slesmsscl2 ]
 Full list of resources:

 stonith-sbd     (stonith:external/sbd): Started slesmsscl1
  Resource Group: g-NW1_ASCS
      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW1_ERS
      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW2_ASCS
      fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW2_ERS
      fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW3_ASCS
      fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW3_ERS
      fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl1

 Failed Resource Actions:
 * rsc_sap_NW1_ERS02_monitor_11000 on slesmsscl1 'not running' (7): call=125, status=complete, exitreason='',
     last-rc-change='Fri Dec 13 19:32:10 2019', queued=0ms, exec=0ms
 * rsc_sap_NW2_ERS12_monitor_11000 on slesmsscl1 'not running' (7): call=126, status=complete, exitreason='',
     last-rc-change='Fri Dec 13 19:32:10 2019', queued=0ms, exec=0ms
 * rsc_sap_NW3_ERS22_monitor_11000 on slesmsscl1 'not running' (7): call=127, status=complete, exitreason='',
     last-rc-change='Fri Dec 13 19:32:10 2019', queued=0ms, exec=0ms

Gunakan perintah berikut untuk memulai Pacemaker pada simpul yang terbunuh, bersihkan pesan SBD dan bersihkan sumber daya yang gagal.

# run as root
# list the SBD device(s)
cat /etc/sysconfig/sbd | grep SBD_DEVICE=

# output is like:
# SBD_DEVICE="/dev/disk/by-id/scsi-36001405772fe8401e6240c985857e116;/dev/disk/by-id/scsi-36001405034a84428af24ddd8c3a3e9e1;/dev/disk/by-id/scsi-36001405cdd5ac8d40e548449318510c3"

sbd -d /dev/disk/by-id/scsi-36001405772fe8401e6240c985857e116 -d /dev/disk/by-id/scsi-36001405034a84428af24ddd8c3a3e9e1 -d /dev/disk/by-id/scsi-36001405cdd5ac8d40e548449318510c3 message slesmsscl2 clear

systemctl start pacemaker
crm resource cleanup rsc_sap_NW1_ERS02
crm resource cleanup rsc_sap_NW2_ERS12
crm resource cleanup rsc_sap_NW3_ERS22

Status sumber daya setelah pengujian:

 Full list of resources:
 stonith-sbd     (stonith:external/sbd): Started slesmsscl1
  Resource Group: g-NW1_ASCS
      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW1_ERS
      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW2_ASCS
      fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW2_ERS
      fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
  Resource Group: g-NW3_ASCS
      fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
      nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
      vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
      rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
  Resource Group: g-NW3_ERS
      fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
      nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
      vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
      rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl2

Langkah berikutnya

Perencanaan dan implementasi Azure Virtual Machine untuk SAP
Penerapan Azure Virtual Machine untuk SAP
Penyebaran Microsoft Azure Virtual Machines DBMS untuk SAP
Untuk mempelajari cara menetapkan ketersediaan tinggi dan merencanakan pemulihan bencana SAP Hana di VM Azure, lihat Ketersediaan Tinggi SAP Hana di Microsoft Azure Virtual Machines (VM)

Bagikan melalui

Ketersediaan tinggi untuk SAP NetWeaver di VM Azure di SUSE Linux Enterprise Server untuk aplikasi SAP panduan multi-SID

Gambaran Umum

Pembagian NFS SAP

Menyebarkan sistem SAP pertama dalam kluster

Sebarkan sistem SAP tambahan dalam kluster

Prasyarat

Mempersiapkan Penginstalan SAP NetWeaver

Pasang ASCS / ERS

Lanjutkan dengan penginstalan SAP

Uji penyetelan kluster multi-SID

Langkah berikutnya

Saran dan Komentar

Sumber Daya Tambahan: