SUSE Linux Enterprise Server의 Azure VM에서 SAP HANA에 대한 고가용성
온-프레미스 SAP HANA 배포에서 고가용성을 설정하려면 SAP HANA 시스템 복제본(replica)tion 또는 공유 스토리지를 사용할 수 있습니다.
현재 Azure VM(가상 머신)에서 Azure의 SAP HANA 시스템 복제본(replica)tion은 유일하게 지원되는 고가용성 함수입니다.
SAP HANA 시스템 복제본(replica) 구성은 하나의 주 노드와 하나 이상의 보조 노드로 구성됩니다. 기본 노드의 데이터를 변경하면 보조 노드에 동기적 또는 비동기적으로 복제됩니다.
이 문서에서는 VM을 배포 및 구성하고, 클러스터 프레임워크를 설치하고, SAP HANA 시스템 복제본(replica)tion을 설치 및 구성하는 방법을 설명합니다.
시작하기 전에 다음 SAP 노트 및 문서를 읽어보세요.
SAP Note 1928533. 메모에는 다음이 포함됩니다.
- SAP 소프트웨어 배포에 지원되는 Azure VM 크기 목록.
- Azure VM 크기에 대한 중요한 용량 정보.
- 지원되는 SAP 소프트웨어, OS(운영 체제) 및 데이터베이스 조합입니다.
- Microsoft Azure의 Windows 및 Linux에 필요한 SAP 커널 버전입니다.
SAP Note 2015553은 Azure에서 SAP를 지원하는 SAP 소프트웨어 배포에 대한 필수 구성 요소가 나열되어 있습니다.
SAP Note 2205917 SAP 애플리케이션용 SLES(SUSE Linux Enterprise Server)에 권장되는 OS 설정이 있습니다.
SAP Note 1944799 SAP 애플리케이션용 SLES에 대한 SAP HANA 지침이 있습니다.
SAP Note 2178632 Azure에서 SAP에 대해 보고되는 모든 모니터링 메트릭에 대한 자세한 정보를 제공합니다.
SAP Note 2191498 Azure의 Linux에 필요한 SAP 호스트 에이전트 버전이 있습니다.
SAP Note 2243692 Azure의 Linux용 SAP 라이선싱에 대한 정보가 있습니다.
SAP Note 1984787 SUSE Linux Enterprise Server 12에 대한 일반적인 정보가 있습니다.
SAP Note 1999351에는 SAP용 Azure 고급 모니터링 확장에 대한 추가 문제 해결 정보가 있습니다.
SAP Note 401162 HANA 시스템 복제본(replica) 설정할 때 "이미 사용 중인 주소" 오류를 방지하는 방법에 대한 정보가 있습니다.
SAP 커뮤니티 지원 Wiki 에는 Linux에 필요한 모든 SAP Notes가 있습니다.
Linux 에서 SAP에 대한 Azure Virtual Machines 계획 및 구현 가이드입니다.
Linux 에서 SAP용 Azure Virtual Machines 배포 가이드
SAP 애플리케이션용 SUSE Linux Enterprise Server 12 SP3 모범 사례 가이드:
- SAP HANA SR 성능 최적화 인프라 설정(SAP 애플리케이션 12 SP1용 SLES). 이 가이드에는 온-프레미스 개발을 위해 SAP HANA 시스템 복제본(replica)tion을 설정하는 데 필요한 모든 정보가 포함되어 있습니다. 이 가이드를 기준으로 사용합니다.
- SAP HANA SR 비용 최적화 인프라 설정(SAP 애플리케이션 12 SP1용 SLES).
SAP HANA 고가용성 계획
고가용성을 달성하려면 두 VM에 SAP HANA를 설치합니다. 데이터는 HANA 시스템 복제본(replica) 사용하여 복제본(replica)ted됩니다.
SAP HANA 시스템 복제본(replica) 설정은 전용 가상 호스트 이름 및 가상 IP 주소를 사용합니다. Azure에서 가상 IP 주소를 배포하려면 부하 분산 장치가 필요합니다.
위의 그림에서는 다음과 같은 구성이 있는 부하 분산 장치 예제 를 보여 줍니다.
- 프런트 엔드 IP 주소: HN1-db의 경우 10.0.0.13
- 프로브 포트: 62503
Linux에 배포
SAP HANA의 리소스 에이전트는 SAP 애플리케이션의 SUSE Linux Enterprise Server에 포함되어 있습니다. SAP 애플리케이션 12 또는 15용 SUSE Linux Enterprise Server에 대한 이미지는 Azure Marketplace에서 사용할 수 있습니다. 이미지를 사용하여 새 VM을 배포할 수 있습니다.
Azure Portal을 통해 수동으로 Linux VM 배포
이 문서에서는 리소스 그룹, Azure Virtual Network 및 서브넷을 이미 배포했다고 가정합니다.
SAP HANA용 가상 머신을 배포합니다. HANA 시스템에 지원되는 적합한 SLES 이미지를 선택합니다. 확장 집합, 가용성 영역 또는 가용성 집합과 같은 가용성 옵션 중 하나에서 VM을 배포할 수 있습니다.
Important
선택한 OS가 배포에 사용하려는 특정 VM 유형에서 SAP HANA에 대해 SAP 인증되었는지 확인합니다. SAP HANA 인증 IaaS 플랫폼에서 SAP HANA 인증 VM 유형 및 해당 OS 릴리스 를 조회할 수 있습니다. 특정 VM 유형에 대한 SAP HANA 지원 OS 릴리스의 전체 목록을 얻으려면 VM 유형의 세부 정보를 확인해야 합니다.
VM 구성 중에 네트워킹 섹션에서 종료 부하 분산 장치를 만들거나 선택하는 옵션이 있습니다. 새 부하 분산 장치를 만드는 경우 다음 단계를 수행합니다.
- 표준 부하 분산 장치를 설정합니다.
프런트 엔드 IP 풀 만들기:
- 부하 분산 장치를 열고 프런트 엔드 IP 풀을 선택한 다음 추가를 선택합니다.
- 새 프런트 엔드 IP 풀의 이름(예: hana-frontend)을 입력합니다.
- 할당을 정적으로 설정하고 IP 주소(예: 10.0.0.13)를 입력합니다.
- 확인을 선택합니다.
- 새 프런트 엔드 IP 풀을 만든 후, 풀 IP 주소를 적어 둡니다.
단일 백 엔드 풀을 만듭니다.
- 부하 분산 장치에서 백 엔드 풀을 선택한 다음 추가를 선택합니다.
- 새 백 엔드 풀의 이름(예: hana-backend)을 입력합니다.
- 백 엔드 풀 구성에서 NIC를 선택합니다.
- 가상 머신 추가를 선택합니다.
- HANA 클러스터에 있는 VM을 선택합니다.
- 추가를 선택합니다.
- 저장을 선택합니다.
상태 프로브 만들기:
- 부하 분산 장치에서 상태 프로브를 선택한 다음 추가를 선택합니다.
- 새 상태 프로브의 이름을 입력합니다(예: hana-hp).
- 프로토콜의 경우 TCP를 선택하고 포트 625<인스턴스 번호를> 선택합니다. 간격을 5로 설정합니다.
- 확인을 선택합니다.
부하 분산 규칙 만들기:
- 부하 분산 장치에서 부하 분산 규칙을 선택한 다음 추가를 선택합니다.
- 새 부하 분산 장치 규칙의 이름(예: hana-lb)을 입력합니다.
- 앞에서 만든 프런트 엔드 IP 주소, 백 엔드 풀 및 상태 프로브(예: hana-frontend, hana-backend 및 hana-hp)를 선택합니다.
- 유휴 상태 시간 제한을 30분으로 증가시킵니다.
- HA 포트를 선택합니다.
- 부동 IP를 사용하도록 설정합니다.
- 확인을 선택합니다.
SAP HANA에 필요한 포트에 대한 자세한 내용은 SAP HANA 테넌트 데이터베이스 가이드의 테넌트 데이터베이스에 연결 챕터 또는 SAP Note 2388694를 참조하세요.
Important
부동 IP 주소는 부하 분산 시나리오에서 NIC(네트워크 인터페이스 카드) 보조 IP 구성에서 지원되지 않습니다. 자세한 내용은 Azure Load Balancer 제한 사항을 참조하세요. VM에 다른 IP 주소가 필요한 경우 두 번째 NIC를 배포합니다.
참고 항목
공용 IP 주소가 없는 VM이 Azure Load Balancer의 내부(공용 IP 주소 없음) 표준 인스턴스의 백 엔드 풀에 배치되는 경우 기본 구성은 아웃바운드 인터넷 연결이 아닙니다. 퍼블릭 엔드포인트로 라우팅할 수 있도록 추가 단계를 수행할 수 있습니다. 아웃바운드 연결을 달성하는 방법에 대한 자세한 내용은 SAP 고가용성 시나리오에서 Azure 표준 Load Balancer 사용하여 VM에 대한 퍼블릭 엔드포인트 연결을 참조하세요.
Important
Azure Load Balancer 뒤에 배치된 Azure VM에서 TCP 타임스탬프를 사용하도록 설정하지 마세요. TCP 타임스탬프를 사용하도록 설정하면 상태 프로브에 오류가 발생합니다. 매개 변수 net.ipv4.tcp_timestamps 를 .로 0설정합니다. 자세한 내용은 Load Balancer 상태 프로브 또는 SAP 참고 2382421 참조하세요.
Pacemaker 클러스터 만들기
Azure의 SUSE Linux Enterprise Server에서 Pacemaker 설정의 단계에 따라 이 HANA 서버에 대한 기본 Pacemaker 클러스터를 만듭니다. SAP HANA 및 SAP NetWeaver (A)SCS에 동일한 Pacemaker 클러스터를 사용할 수 있습니다.
SAP HANA 설치
이 섹션의 단계에서는 다음 접두사를 사용합니다.
- [A]: 단계는 모든 노드에 적용됩니다.
- [1]: 단계는 노드 1에만 적용됩니다.
- [2]: 이 단계는 Pacemaker 클러스터의 노드 2에만 적용됩니다.
SAP HANA 설치에 대한 값으로 바꿉 <placeholders> 습니다.
[A] LVM(논리 볼륨 관리자)을 사용하여 디스크 레이아웃을 설정합니다.
데이터와 로그 파일을 저장하는 볼륨의 LVM을 사용하는 것이 좋습니다. 다음 예제에서는 VM에 두 개의 볼륨을 만드는 데 사용되는 4개의 연결된 데이터 디스크가 있다고 가정합니다.
이 명령을 실행하여 사용 가능한 모든 디스크를 나열합니다.
/dev/disk/azure/scsi1/lun*예제 출력:
/dev/disk/azure/scsi1/lun0 /dev/disk/azure/scsi1/lun1 /dev/disk/azure/scsi1/lun2 /dev/disk/azure/scsi1/lun3사용하려는 모든 디스크에 대한 물리적 볼륨을 만듭니다.
sudo pvcreate /dev/disk/azure/scsi1/lun0 sudo pvcreate /dev/disk/azure/scsi1/lun1 sudo pvcreate /dev/disk/azure/scsi1/lun2 sudo pvcreate /dev/disk/azure/scsi1/lun3데이터 파일에 대한 볼륨 그룹을 만듭니다. 로그 파일에는 하나의 볼륨 그룹을 사용하고 SAP HANA의 공유 디렉터리에는 하나의 볼륨 그룹을 사용합니다.
sudo vgcreate vg_hana_data_<HANA SID> /dev/disk/azure/scsi1/lun0 /dev/disk/azure/scsi1/lun1 sudo vgcreate vg_hana_log_<HANA SID> /dev/disk/azure/scsi1/lun2 sudo vgcreate vg_hana_shared_<HANA SID> /dev/disk/azure/scsi1/lun3논리 볼륨을 만듭니다.
선형 볼륨은 스위치 없이
-i사용할lvcreate때 만들어집니다. 더 나은 I/O 성능을 위해 스트라이프 볼륨을 만드는 것이 좋습니다. 스트라이프 크기를 SAP HANA VM 스토리지 구성에 설명된 값에 맞춥니다. 인수는-i기본 실제 볼륨의 수여야 하며 인수는-I스트라이프 크기입니다.예를 들어 두 개의 실제 볼륨이 데이터 볼륨
-i에 사용되는 경우 스위치 인수는 2로 설정되고 데이터 볼륨의 스트라이프 크기는 256KiB입니다. 하나의 실제 볼륨이 로그 볼륨에 사용되므로 로그 볼륨 명령에 명시적으로 사용되지 않거나-i-I스위치가 사용되지 않습니다.Important
각 데이터 볼륨, 로그 볼륨 또는 공유 볼륨에 대해 둘 이상의 물리적 볼륨을 사용하는 경우 스위치를
-i사용하고 기본 물리적 볼륨의 수를 설정합니다. 스트라이프 볼륨을 만들 때 스위치를-I사용하여 스트라이프 크기를 지정합니다.스트라이프 크기 및 디스크 수를 비롯한 권장 스토리지 구성은 SAP HANA VM 스토리지 구성을 참조 하세요.
sudo lvcreate <-i number of physical volumes> <-I stripe size for the data volume> -l 100%FREE -n hana_data vg_hana_data_<HANA SID> sudo lvcreate -l 100%FREE -n hana_log vg_hana_log_<HANA SID> sudo lvcreate -l 100%FREE -n hana_shared vg_hana_shared_<HANA SID> sudo mkfs.xfs /dev/vg_hana_data_<HANA SID>/hana_data sudo mkfs.xfs /dev/vg_hana_log_<HANA SID>/hana_log sudo mkfs.xfs /dev/vg_hana_shared_<HANA SID>/hana_shared탑재 디렉터리를 만들고 모든 논리 볼륨의 UUID(범용 고유 식별자)를 복사합니다.
sudo mkdir -p /hana/data/<HANA SID> sudo mkdir -p /hana/log/<HANA SID> sudo mkdir -p /hana/shared/<HANA SID> # Write down the ID of /dev/vg_hana_data_<HANA SID>/hana_data, /dev/vg_hana_log_<HANA SID>/hana_log, and /dev/vg_hana_shared_<HANA SID>/hana_shared sudo blkid/etc/fstab 파일을 편집하여 세 개의 논리 볼륨에 대한 항목을 만듭니
fstab다.sudo vi /etc/fstab/etc/fstab 파일에 다음 줄을 삽입합니다.
/dev/disk/by-uuid/<UUID of /dev/mapper/vg_hana_data_<HANA SID>-hana_data> /hana/data/<HANA SID> xfs defaults,nofail 0 2 /dev/disk/by-uuid/<UUID of /dev/mapper/vg_hana_log_<HANA SID>-hana_log> /hana/log/<HANA SID> xfs defaults,nofail 0 2 /dev/disk/by-uuid/<UUID of /dev/mapper/vg_hana_shared_<HANA SID>-hana_shared> /hana/shared/<HANA SID> xfs defaults,nofail 0 2새 볼륨을 탑재합니다.
sudo mount -a
[A] 일반 디스크를 사용하여 디스크 레이아웃을 설정합니다.
데모 시스템을 위해 HANA 데이터와 로그 파일을 같은 디스크에 배치할 수 있습니다.
/dev/disk/azure/scsi1/lun0에서 파티션을 만들고 XFS를 사용하여 포맷합니다.
sudo sh -c 'echo -e "n\n\n\n\n\nw\n" | fdisk /dev/disk/azure/scsi1/lun0' sudo mkfs.xfs /dev/disk/azure/scsi1/lun0-part1 # Write down the ID of /dev/disk/azure/scsi1/lun0-part1 sudo /sbin/blkid sudo vi /etc/fstab/etc/fstab 파일에 다음 줄을 삽입합니다.
/dev/disk/by-uuid/<UUID> /hana xfs defaults,nofail 0 2대상 디렉터리를 만들고 디스크를 탑재합니다.
sudo mkdir /hana sudo mount -a
[A] 모든 호스트의 호스트 이름 확인을 설정합니다.
DNS 서버를 사용하거나 모든 노드의 /etc/hosts 파일을 수정할 수 있습니다. 이 예제에서는 /etc/hosts 파일을 사용하는 방법을 보여 줍니다 . 다음 명령에서 IP 주소와 호스트 이름을 바꿉니다.
/etc/hosts 파일을 편집합니다.
sudo vi /etc/hosts/etc/hosts 파일에 다음 줄을 삽입합니다 . 사용자 환경에 맞게 IP 주소 및 호스트 이름을 변경합니다.
10.0.0.5 hn1-db-0 10.0.0.6 hn1-db-1
[A] SAP HANA 고가용성 패키지를 설치합니다.
다음 명령을 실행하여 고가용성 패키지를 설치합니다.
sudo zypper install SAPHanaSR
SAP HANA 시스템 복제본(replica)tion을 설치하려면 SAP HANA SR 성능 최적화 시나리오 가이드의 4장을 검토합니다.
[A] HANA DVD에서 hdblcm 프로그램을 실행합니다.
메시지가 표시되면 다음 값을 입력합니다.
- 설치 선택: 1을 입력합니다.
- 설치할 추가 구성 요소를 선택합니다. 1을 입력합니다.
- 설치 경로 입력: /hana/shared를 입력하고 Enter 키를 선택합니다.
- 로컬 호스트 이름을 입력합니다. .를 입력하고 Enter 키를 선택합니다.
- 시스템에 호스트를 추가할까요? (y/n): n을 입력하고 Enter 키를 선택합니다.
- SAP HANA 시스템 ID를 입력합니다. HANA SID를 입력합니다.
- 인스턴스 번호를 입력합니다. HANA 인스턴스 번호를 입력합니다. Azure 템플릿을 사용하여 배포했거나 이 문서의 수동 배포 섹션을 수행한 경우 03을 입력합니다.
- 데이터베이스 모드 선택/ 인덱스 입력: 1을 입력하거나 선택하고 Enter 키를 선택합니다.
- 시스템 사용량 선택/ 인덱스 입력: 시스템 사용량 값 4를 선택합니다.
- 데이터 볼륨의 위치를 입력합니다. /hana/data/<HANA SID>를 입력하고 Enter 키를 선택합니다.
- 로그 볼륨의 위치를 입력합니다. /hana/log/<HANA SID>를 입력하고 Enter 키를 선택합니다.
- 최대 메모리 할당 제한?: n을 입력하고 Enter 키를 선택합니다.
- 호스트의 인증서 호스트 이름을 입력하고 Enter 키를 누릅니다.
- SAP 호스트 에이전트 사용자(sapadm) 암호를 입력합니다. 호스트 에이전트 사용자 암호를 입력한 다음 Enter 키를 선택합니다.
- SAP 호스트 에이전트 사용자(sapadm) 암호를 확인합니다. 호스트 에이전트 사용자 암호를 다시 입력한 다음 Enter 키를 선택합니다.
- 시스템 관리자(hdbadm) 암호를 입력합니다. 시스템 관리자 암호를 입력한 다음 Enter 키를 선택합니다.
- 시스템 관리자(hdbadm) 암호를 확인합니다. 시스템 관리자 암호를 다시 입력한 다음 Enter 키를 선택합니다.
- 시스템 관리자 홈 디렉터리를 입력합니다. /usr/sap/<HANA SID>/home을 입력하고 Enter 키를 선택합니다.
- 시스템 관리자 로그인 셸을 입력합니다. /bin/sh를 입력하고 Enter 키를 선택합니다.
- 시스템 관리자 사용자 ID를 입력합니다. 1001을 입력하고 Enter 키를 선택합니다.
- 사용자 그룹의 ID(sapsys): 79를 입력하고 Enter 키를 선택합니다.
- 데이터베이스 사용자(SYSTEM) 암호를 입력합니다. 데이터베이스 사용자 암호를 입력한 다음 Enter 키를 선택합니다.
- 데이터베이스 사용자(SYSTEM) 암호를 확인합니다. 데이터베이스 사용자 암호를 다시 입력한 다음 Enter 키를 선택합니다.
- 컴퓨터를 다시 부팅한 후 시스템을 다시 시작하시겠습니까? (y/n): n을 입력하고 Enter 키를 선택합니다.
- 계속할까요? (y/n): 요약의 유효성을 검사합니다. 계속하려면 y를 입력합니다.
[A] SAP 호스트 에이전트를 업그레이드합니다.
SAP 소프트웨어 센터에서 최신 SAP 호스트 에이전트 보관 파일을 다운로드합니다. 다음 명령을 실행하여 에이전트를 업그레이드합니다. 다운로드한 파일을 가리키도록 보관 파일의 경로를 바꿉다.
sudo /usr/sap/hostctrl/exe/saphostexec -upgrade -archive <path to SAP host agent SAR>
SAP HANA 2.0 시스템 복제 구성
이 섹션의 단계에서는 다음 접두사를 사용합니다.
- [A]: 단계는 모든 노드에 적용됩니다.
- [1]: 단계는 노드 1에만 적용됩니다.
- [2]: 이 단계는 Pacemaker 클러스터의 노드 2에만 적용됩니다.
SAP HANA 설치에 대한 값으로 바꿉 <placeholders> 습니다.
[1] 테넌트 데이터베이스를 만듭니다.
SAP HANA 2.0 또는 SAP HANA MDC를 사용하는 경우 SAP NetWeaver 시스템에 대한 테넌트 데이터베이스를 만듭니다.
HANA SID>adm으로 <다음 명령을 실행합니다.
hdbsql -u SYSTEM -p "<password>" -i <instance number> -d SYSTEMDB 'CREATE DATABASE <SAP SID> SYSTEM USER PASSWORD "<password>"'[1] 첫 번째 노드에서 시스템 복제본(replica) 구성:
먼저 데이터베이스를 HANA SID>adm으로 <백업합니다.
hdbsql -d SYSTEMDB -u SYSTEM -p "<password>" -i <instance number> "BACKUP DATA USING FILE ('<name of initial backup file for SYS>')" hdbsql -d <HANA SID> -u SYSTEM -p "<password>" -i <instance number> "BACKUP DATA USING FILE ('<name of initial backup file for HANA SID>')" hdbsql -d <SAP SID> -u SYSTEM -p "<password>" -i <instance number> "BACKUP DATA USING FILE ('<name of initial backup file for SAP SID>')"그런 다음, 보조 사이트에 시스템 PKI(공개 키 인프라) 파일을 복사합니다.
scp /usr/sap/<HANA SID>/SYS/global/security/rsecssfs/data/SSFS_<HANA SID>.DAT hn1-db-1:/usr/sap/<HANA SID>/SYS/global/security/rsecssfs/data/ scp /usr/sap/<HANA SID>/SYS/global/security/rsecssfs/key/SSFS_<HANA SID>.KEY hn1-db-1:/usr/sap/<HANA SID>/SYS/global/security/rsecssfs/key/기본 사이트를 만듭니다.
hdbnsutil -sr_enable --name=<site 1>[2] 두 번째 노드에서 시스템 복제본(replica) 구성:
두 번째 노드를 등록하여 시스템 복제를 시작합니다.
HANA SID>adm으로 <다음 명령을 실행합니다.
sapcontrol -nr <instance number> -function StopWait 600 10 hdbnsutil -sr_register --remoteHost=hn1-db-0 --remoteInstance=<instance number> --replicationMode=sync --name=<site 2>
SAP HANA 1.0 시스템 복제본(replica)tion 구성
이 섹션의 단계에서는 다음 접두사를 사용합니다.
- [A]: 단계는 모든 노드에 적용됩니다.
- [1]: 단계는 노드 1에만 적용됩니다.
- [2]: 이 단계는 Pacemaker 클러스터의 노드 2에만 적용됩니다.
SAP HANA 설치에 대한 값으로 바꿉 <placeholders> 습니다.
[1] 필요한 사용자를 만듭니다.
루트로 다음 명령을 실행합니다.
PATH="$PATH:/usr/sap/<HANA SID>/HDB<instance number>/exe" hdbsql -u system -i <instance number> 'CREATE USER hdbhasync PASSWORD "<password>"' hdbsql -u system -i <instance number> 'GRANT DATA ADMIN TO hdbhasync' hdbsql -u system -i <instance number> 'ALTER USER hdbhasync DISABLE PASSWORD LIFETIME'[A] 키 저장소 항목을 만듭니다.
다음 명령을 루트로 실행하여 새로운 키 저장소 항목을 만듭니다.
PATH="$PATH:/usr/sap/<HANA SID>/HDB<instance number>/exe" hdbuserstore SET hdbhaloc localhost:3<instance number>15 hdbhasync <password>[1] 데이터베이스를 백업합니다.
루트로 데이터베이스를 백업합니다.
PATH="$PATH:/usr/sap/<HANA SID>/HDB<instance number>/exe" hdbsql -d SYSTEMDB -u system -i <instance number> "BACKUP DATA USING FILE ('<name of initial backup file>')"다중 테넌트 설치를 사용하는 경우 테넌트 데이터베이스도 백업합니다.
hdbsql -d <HANA SID> -u system -i <instance number> "BACKUP DATA USING FILE ('<name of initial backup file>')"[1] 첫 번째 노드에서 시스템 복제본(replica)tion을 구성합니다.
기본 사이트를 HANA SID>adm으로 <만듭니다.
su - hdbadm hdbnsutil -sr_enable --name=<site 1>[2] 보조 노드에서 시스템 복제본(replica)tion을 구성합니다.
보조 사이트를 HANA SID>adm으로 <등록합니다.
sapcontrol -nr <instance number> -function StopWait 600 10 hdbnsutil -sr_register --remoteHost=<HANA SID>-db-<database 1> --remoteInstance=<instance number> --replicationMode=sync --name=<site 2>
HANA 후크 SAPHanaSR 및 susChkSrv 구현
이 중요한 단계에서는 클러스터와의 통합을 최적화하고 클러스터 장애 조치(failover)가 필요할 때 검색을 개선합니다. SAPHanaSR Python 후크를 구성하는 것이 좋습니다. HANA 2.0 SP5 이상의 경우 SAPHanaSR 후크와 susChkSrv 후크를 구현하는 것이 좋습니다.
susChkSrv 후크는 기본 SAPHanaSR HA 공급자의 기능을 확장합니다. HANA 프로세스 hdbindexserver가 충돌할 때 작동합니다. 단일 프로세스가 충돌하는 경우 HANA는 일반적으로 다시 시작하려고 시도합니다. 인덱스 서버 프로세스를 다시 시작하는 데 시간이 오래 걸릴 수 있으며 HANA 데이터베이스가 응답하지 않습니다.
susChkSrv를 구현하면 즉시 구성 가능한 작업이 실행됩니다. 이 작업은 hdbindexserver 프로세스가 동일한 노드에서 다시 시작될 때까지 기다리지 않고 구성된 시간 제한 기간에 장애 조치(failover)를 트리거합니다.
[A] HANA 시스템 복제본(replica)tion 후크를 설치합니다. 후크는 두 HANA 데이터베이스 노드에 모두 설치되어야 합니다.
팁
SAPHanaSR Python 후크는 HANA 2.0에 대해서만 구현할 수 있습니다. SAPHanaSR 패키지는 버전 0.153 이상이어야 합니다.
susChkSrv Python 후크에는 SAP HANA 2.0 SP5가 필요하며 SAPHanaSR 버전 0.161.1_BF 이상을 설치해야 합니다.
두 노드에서 HANA를 중지합니다.
sapsid>adm으로 <다음 코드를 실행합니다.
sapcontrol -nr <instance number> -function StopSystem각 클러스터 노드에서 global.ini를 조정합니다. susChkSrv 후크에 대한 요구 사항이 충족되지 않는 경우 다음 매개 변수에서 전체
[ha_dr_provider_suschksrv]블록을 제거합니다.매개 변수를 사용하여 동작을
susChkSrvaction_on_lost조정할 수 있습니다. 유효한 값은 [ignorekillfence|stop| | ]입니다.# add to global.ini [ha_dr_provider_SAPHanaSR] provider = SAPHanaSR path = /usr/share/SAPHanaSR execution_order = 1 [ha_dr_provider_suschksrv] provider = susChkSrv path = /usr/share/SAPHanaSR execution_order = 3 action_on_lost = fence [trace] ha_dr_saphanasr = info표준 /usr/share/SAPHanaSR 위치를 가리키는 경우 Python 후크 코드는 OS 업데이트 또는 패키지 업데이트를 통해 자동으로 업데이트됩니다. HANA는 다음에 다시 시작될 때 후크 코드 업데이트를 사용합니다. /hana/shared/myHooks와 같은 선택적 고유 경로를 사용하면 사용하는 후크 버전에서 OS 업데이트를 분리할 수 있습니다.
[A] 클러스터에는 SAP SID>adm에 대한 각 클러스터 노드에 대한 <sudoers 구성이 필요합니다. 이 예제에서는 새 파일을 만들어 이 작업을 수행합니다.
루트로 다음 명령을 실행합니다.
cat << EOF > /etc/sudoers.d/20-saphana # Needed for SAPHanaSR and susChkSrv Python hooks hn1adm ALL=(ALL) NOPASSWD: /usr/sbin/crm_attribute -n hana_hn1_site_srHook_* hn1adm ALL=(ALL) NOPASSWD: /usr/sbin/SAPHanaSR-hookHelper --sid=HN1 --case=fenceMe EOFSAP HANA 시스템 복제본(replica)tion 후크 구현에 대한 자세한 내용은 HANA HA/DR 공급자 설정을 참조하세요.
[A] 두 노드에서 SAP HANA를 시작합니다.
SAP SID>adm으로 <다음 명령을 실행합니다.
sapcontrol -nr <instance number> -function StartSystem[1] 후크 설치를 확인합니다.
활성 HANA 시스템 복제본(replica) 사이트에서 SAP SID>adm으로 <다음 명령을 실행합니다.
cdtrace awk '/ha_dr_SAPHanaSR.*crm_attribute/ \ { printf "%s %s %s %s\n",$2,$3,$5,$16 }' nameserver_* # Example output # 2021-04-08 22:18:15.877583 ha_dr_SAPHanaSR SFAIL # 2021-04-08 22:18:46.531564 ha_dr_SAPHanaSR SFAIL # 2021-04-08 22:21:26.816573 ha_dr_SAPHanaSR SOKsusChkSrv 후크 설치를 확인합니다.
모든 HANA VM에서 SAP SID>adm으로 <다음 명령을 실행합니다.
cdtrace egrep '(LOST:|STOP:|START:|DOWN:|init|load|fail)' nameserver_suschksrv.trc # Example output # 2022-11-03 18:06:21.116728 susChkSrv.init() version 0.7.7, parameter info: action_on_lost=fence stop_timeout=20 kill_signal=9 # 2022-11-03 18:06:27.613588 START: indexserver event looks like graceful tenant start # 2022-11-03 18:07:56.143766 START: indexserver event looks like graceful tenant start (indexserver started)
SAP HANA 클러스터 리소스 만들기
먼저 HANA 토폴로지를 만듭니다.
Pacemaker 클러스터 노드 중 하나에서 다음 명령을 실행합니다.
sudo crm configure property maintenance-mode=true
# Replace <placeholders> with your instance number and HANA system ID
sudo crm configure primitive rsc_SAPHanaTopology_<HANA SID>_HDB<instance number> ocf:suse:SAPHanaTopology \
operations \$id="rsc_sap2_<HANA SID>_HDB<instance number>-operations" \
op monitor interval="10" timeout="600" \
op start interval="0" timeout="600" \
op stop interval="0" timeout="300" \
params SID="<HANA SID>" InstanceNumber="<instance number>"
sudo crm configure clone cln_SAPHanaTopology_<HANA SID>_HDB<instance number> rsc_SAPHanaTopology_<HANA SID>_HDB<instance number> \
meta clone-node-max="1" target-role="Started" interleave="true"
다음으로 HANA 리소스를 만듭니다.
Important
최근 테스트에서 netcat 는 백로그로 인해 요청에 대한 응답을 중지하고 하나의 연결만 처리하도록 제한하기 때문입니다. 리소스가 netcat Azure Load Balancer 요청 수신을 중지하고 부동 IP를 사용할 수 없게 됩니다.
기존 Pacemaker 클러스터의 경우 이전에 netcatsocat. 현재는 패키지의 azure-lbresource-agents일부인 리소스 에이전트를 사용하는 것이 좋습니다. 다음 패키지 버전이 필요합니다.
- SLES 12 SP4/SP5의 경우 버전은 resource-agents-4.3.018.a7fb5035-3.30.1 이상이어야 합니다.
- SLES 15/15 SP1의 경우 버전은 resource-agents-4.3.0184.6ee15eb2-4.13.1 이상이어야 합니다.
이 변경을 수행하려면 짧은 가동 중지 시간이 필요합니다.
기존 Pacemaker 클러스터의 경우 Azure Load Balancer 검색 강화에 설명된 대로 구성이 이미 변경 socat 된 경우 리소스 에이전트로 즉시 전환할 azure-lb 필요가 없습니다.
참고 항목
이 문서에는 Microsoft에서 더 이상 사용하지 않는 용어에 대한 참조가 포함되어 있습니다. 이러한 용어가 소프트웨어에서 제거되면 이 문서에서 해당 용어를 제거합니다.
# Replace <placeholders> with your instance number, HANA system ID, and the front-end IP address of the Azure load balancer.
sudo crm configure primitive rsc_SAPHana_<HANA SID>_HDB<instance number> ocf:suse:SAPHana \
operations \$id="rsc_sap_<HANA SID>_HDB<instance number>-operations" \
op start interval="0" timeout="3600" \
op stop interval="0" timeout="3600" \
op promote interval="0" timeout="3600" \
op monitor interval="60" role="Master" timeout="700" \
op monitor interval="61" role="Slave" timeout="700" \
params SID="<HANA SID>" InstanceNumber="<instance number>" PREFER_SITE_TAKEOVER="true" \
DUPLICATE_PRIMARY_TIMEOUT="7200" AUTOMATED_REGISTER="false"
sudo crm configure ms msl_SAPHana_<HANA SID>_HDB<instance number> rsc_SAPHana_<HANA SID>_HDB<instance number> \
meta notify="true" clone-max="2" clone-node-max="1" \
target-role="Started" interleave="true"
sudo crm resource meta msl_SAPHana_<HANA SID>_HDB<instance number> set priority 100
sudo crm configure primitive rsc_ip_<HANA SID>_HDB<instance number> ocf:heartbeat:IPaddr2 \
meta target-role="Started" \
operations \$id="rsc_ip_<HANA SID>_HDB<instance number>-operations" \
op monitor interval="10s" timeout="20s" \
params ip="<front-end IP address>"
sudo crm configure primitive rsc_nc_<HANA SID>_HDB<instance number> azure-lb port=625<instance number> \
op monitor timeout=20s interval=10 \
meta resource-stickiness=0
sudo crm configure group g_ip_<HANA SID>_HDB<instance number> rsc_ip_<HANA SID>_HDB<instance number> rsc_nc_<HANA SID>_HDB<instance number>
sudo crm configure colocation col_saphana_ip_<HANA SID>_HDB<instance number> 4000: g_ip_<HANA SID>_HDB<instance number>:Started \
msl_SAPHana_<HANA SID>_HDB<instance number>:Master
sudo crm configure order ord_SAPHana_<HANA SID>_HDB<instance number> Optional: cln_SAPHanaTopology_<HANA SID>_HDB<instance number> \
msl_SAPHana_<HANA SID>_HDB<instance number>
# Clean up the HANA resources. The HANA resources might have failed because of a known issue.
sudo crm resource cleanup rsc_SAPHana_<HANA SID>_HDB<instance number>
sudo crm configure property priority-fencing-delay=30
sudo crm configure property maintenance-mode=false
sudo crm configure rsc_defaults resource-stickiness=1000
sudo crm configure rsc_defaults migration-threshold=5000
Important
실패한 주 인스턴스가 자동으로 보조 인스턴스로 false 등록되지 않도록 철저한 장애 조치(failover) 테스트를 완료하는 동안에만 설정하는 AUTOMATED_REGISTER 것이 좋습니다. 장애 조치(failover) 테스트가 성공적으로 완료되면 인수 후 시스템 복제본(replica) 자동으로 다시 시작되도록 설정 AUTOMATED_REGISTERtrue됩니다.
클러스터 상태 OK 있는지와 모든 리소스가 시작되었는지 확인합니다. 리소스가 실행되는 노드는 중요하지 않습니다.
sudo crm_mon -r
# Online: [ hn1-db-0 hn1-db-1 ]
#
# Full list of resources:
#
# stonith-sbd (stonith:external/sbd): Started hn1-db-0
# Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03]
# Started: [ hn1-db-0 hn1-db-1 ]
# Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03]
# Masters: [ hn1-db-0 ]
# Slaves: [ hn1-db-1 ]
# Resource Group: g_ip_HN1_HDB03
# rsc_ip_HN1_HDB03 (ocf::heartbeat:IPaddr2): Started hn1-db-0
# rsc_nc_HN1_HDB03 (ocf::heartbeat:azure-lb): Started hn1-db-0
Pacemaker 클러스터에서 HANA 활성/읽기 사용 시스템 복제본(replica) 구성
SAP HANA 2.0 SPS 01 이상 버전에서 SAP는 SAP HANA 시스템 복제본(replica) 대한 활성/읽기 사용 설정을 허용합니다. 이 시나리오에서는 SAP HANA 시스템 복제본(replica)tion의 보조 시스템을 읽기 집약적인 워크로드에 적극적으로 사용할 수 있습니다.
클러스터에서 이 설정을 지원하려면 클라이언트가 보조 읽기 지원 SAP HANA 데이터베이스에 액세스할 수 있도록 두 번째 가상 IP 주소가 필요합니다. 인수 후에도 보조 복제본(replica) 사이트에 계속 액세스할 수 있도록 하려면 클러스터가 SAPHana 리소스의 보조 리소스를 사용하여 가상 IP 주소를 이동해야 합니다.
이 섹션에서는 두 번째 가상 IP 주소를 사용하는 SUSE 고가용성 클러스터에서 HANA 활성/읽기 사용 시스템 복제본(replica)tion을 관리하는 데 필요한 추가 단계를 설명합니다.
계속하기 전에 이전 섹션에서 설명한 대로 SAP HANA 데이터베이스를 관리하는 SUSE 고가용성 클러스터를 완전히 구성했는지 확인합니다.
활성/읽기 사용 시스템 복제본(replica)에 대한 부하 분산 장치 설정
두 번째 가상 IP를 프로비전하는 추가 단계를 진행하려면 Azure Portal을 통해 Linux VM 배포에 설명된 대로 Azure Load Balancer를 수동으로 구성했는지 확인합니다.
표준 부하 분산 장치의 경우 이전에 만든 것과 동일한 부하 분산 장치에서 이러한 추가 단계를 완료합니다.
- 두 번째 프런트 엔드 IP 풀을 만듭니다.
- 부하 분산 장치를 열고 프런트 엔드 IP 풀을 선택한 다음 추가를 선택합니다.
- 두 번째 프런트 엔드 IP 풀의 이름을 입력합니다(예: hana-secondaryIP).
- 할당을 정적으로 설정하고 IP 주소(예: 10.0.0.14)를 입력합니다.
- 확인을 선택합니다.
- 새 프런트 엔드 IP 풀을 만든 후 프런트 엔드 IP 주소를 확인합니다.
- 상태 프로브 만들기:
- 부하 분산 장치에서 상태 프로브를 선택하고 추가를 선택합니다.
- 새 상태 프로브의 이름(예: hana-secondaryhp)을 입력합니다.
- 프로토콜 및 포트 626 인스턴스 번호>로 TCP를<선택합니다. 간격 값을 5로 설정하고 비정상 임계값을 2로 설정합니다.
- 확인을 선택합니다.
- 부하 분산 규칙을 만듭니다.
- 부하 분산 장치에서 부하 분산 규칙을 선택하고 추가를 선택합니다.
- 새 부하 분산 장치 규칙의 이름(예: hana-secondarylb)을 입력합니다.
- 이전에 만든 프런트 엔드 IP 주소, 백 엔드 풀, 상태 프로브를 선택합니다(예: hana-secondaryIP, hana-backend 및 hana-secondaryhp).
- HA 포트를 선택합니다.
- 유휴 시간 제한을 30분으로 늘입니다.
- 부동 IP를 사용하도록 설정해야 합니다.
- 확인을 선택합니다.
HANA 활성/읽기 사용 시스템 복제본(replica) 설정
HANA 시스템 복제본(replica) 구성 단계는 SAP HANA 2.0 시스템 복제본(replica) 구성에 설명되어 있습니다. 읽기 지원 보조 시나리오를 배포하는 경우 두 번째 노드에서 시스템 복제본(replica)tion을 설정할 때 다음 명령을 HANA SID>adm으로 <실행합니다.
sapcontrol -nr <instance number> -function StopWait 600 10
hdbnsutil -sr_register --remoteHost=hn1-db-0 --remoteInstance=<instance number> --replicationMode=sync --name=<site 2> --operationMode=logreplay_readaccess
보조 가상 IP 주소 리소스 추가
다음 명령을 사용하여 두 번째 가상 IP 및 적절한 공동 배치 제약 조건을 설정할 수 있습니다.
crm configure property maintenance-mode=true
crm configure primitive rsc_secip_<HANA SID>_HDB<instance number> ocf:heartbeat:IPaddr2 \
meta target-role="Started" \
operations \$id="rsc_secip_<HANA SID>_HDB<instance number>-operations" \
op monitor interval="10s" timeout="20s" \
params ip="<secondary IP address>"
crm configure primitive rsc_secnc_<HANA SID>_HDB<instance number> azure-lb port=626<instance number> \
op monitor timeout=20s interval=10 \
meta resource-stickiness=0
crm configure group g_secip_<HANA SID>_HDB<instance number> rsc_secip_<HANA SID>_HDB<instance number> rsc_secnc_<HANA SID>_HDB<instance number>
crm configure colocation col_saphana_secip_<HANA SID>_HDB<instance number> 4000: g_secip_<HANA SID>_HDB<instance number>:Started \
msl_SAPHana_<HANA SID>_HDB<instance number>:Slave
crm configure property maintenance-mode=false
클러스터 상태 OK 있는지와 모든 리소스가 시작되었는지 확인합니다. 두 번째 가상 IP는 SAPHana 보조 리소스와 함께 보조 사이트에서 실행됩니다.
sudo crm_mon -r
# Online: [ hn1-db-0 hn1-db-1 ]
#
# Full list of resources:
#
# stonith-sbd (stonith:external/sbd): Started hn1-db-0
# Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03]
# Started: [ hn1-db-0 hn1-db-1 ]
# Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03]
# Masters: [ hn1-db-0 ]
# Slaves: [ hn1-db-1 ]
# Resource Group: g_ip_HN1_HDB03
# rsc_ip_HN1_HDB03 (ocf::heartbeat:IPaddr2): Started hn1-db-0
# rsc_nc_HN1_HDB03 (ocf::heartbeat:azure-lb): Started hn1-db-0
# Resource Group: g_secip_HN1_HDB03:
# rsc_secip_HN1_HDB03 (ocf::heartbeat:IPaddr2): Started hn1-db-1
# rsc_secnc_HN1_HDB03 (ocf::heartbeat:azure-lb): Started hn1-db-1
다음 섹션에서는 실행할 일반적인 장애 조치(failover) 테스트 집합에 대해 설명합니다.
읽기 사용 보조 데이터베이스로 구성된 HANA 클러스터를 테스트할 때 고려 사항:
클러스터 리소스를
SAPHana_<HANA SID>_HDB<instance number>마이그레이션할hn1-db-1때 두 번째 가상 IP는 .로hn1-db-0이동합니다. 구성AUTOMATED_REGISTER="false"하고 HANA 시스템 복제본(replica)tion이 자동으로 등록되지 않은 경우 서버를 사용할 수 있고 클러스터 서비스가 온라인 상태이기 때문에 두 번째 가상 IP가 실행됩니다hn1-db-0.서버 충돌을 테스트할 때 두 번째 가상 IP 리소스(
rsc_secip_<HANA SID>_HDB<instance number>) 및 Azure 부하 분산 장치 포트 리소스()가rsc_secnc_<HANA SID>_HDB<instance number>주 가상 IP 리소스와 함께 주 서버에서 실행됩니다. 보조 서버가 다운되는 동안 읽기 사용 HANA 데이터베이스에 연결된 애플리케이션은 주 HANA 데이터베이스에 연결됩니다. 보조 서버를 사용할 수 없는 동안 읽기 사용 HANA 데이터베이스에 연결된 애플리케이션에 액세스할 수 없도록 하려면 이 동작이 필요합니다.보조 서버를 사용할 수 있고 클러스터 서비스가 온라인 상태이면 HANA 시스템 복제본(replica)tion이 보조 서버로 등록되지 않더라도 두 번째 가상 IP 및 포트 리소스가 자동으로 보조 서버로 이동합니다. 해당 서버에서 클러스터 서비스를 시작하기 전에 보조 HANA 데이터베이스를 읽기 사용으로 등록해야 합니다. 매개 변수
AUTOMATED_REGISTER="true"를 설정하여 보조 데이터베이스를 자동으로 등록하도록 HANA 인스턴스 클러스터 리소스를 구성할 수 있습니다.장애 조치(failover) 및 대체(fallback) 중에 두 번째 가상 IP를 사용하여 HANA 데이터베이스에 연결하는 애플리케이션에 대한 기존 연결이 중단될 수 있습니다.
클러스터 설정 테스트
이 섹션에서는 설치 프로그램을 테스트하는 방법을 설명합니다. 모든 테스트에서는 루트로 로그인하고 SAP HANA 마스터가 VM에서 hn1-db-0 실행되고 있다고 가정합니다.
마이그레이션 테스트
테스트를 시작하기 전에 Pacemaker에 실패한 작업(실행 crm_mon -r) 없음, 예기치 않은 위치 제약 조건(예: 마이그레이션 테스트의 남은 작업) 및 HANA가 동기화 상태인지 확인합니다(예: 실행 SAPHanaSR-showAttr).
hn1-db-0:~ # SAPHanaSR-showAttr
Sites srHook
----------------
SITE2 SOK
Global cib-time
--------------------------------
global Mon Aug 13 11:26:04 2018
Hosts clone_state lpa_hn1_lpt node_state op_mode remoteHost roles score site srmode sync_state version vhost
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------
hn1-db-0 PROMOTED 1534159564 online logreplay nws-hana-vm-1 4:P:master1:master:worker:master 150 SITE1 sync PRIM 2.00.030.00.1522209842 nws-hana-vm-0
hn1-db-1 DEMOTED 30 online logreplay nws-hana-vm-0 4:S:master1:master:worker:master 100 SITE2 sync SOK 2.00.030.00.1522209842 nws-hana-vm-1
다음 명령을 실행하여 SAP HANA 마스터 노드를 마이그레이션할 수 있습니다.
crm resource move msl_SAPHana_<HANA SID>_HDB<instance number> hn1-db-1 force
설정하는 AUTOMATED_REGISTER="false"경우 이 명령 시퀀스는 SAP HANA 마스터 노드와 가상 IP 주소가 포함된 그룹을 마이그레이션합니다 hn1-db-1.
마이그레이션이 완료되면 출력은 crm_mon -r 다음 예제와 같습니다.
Online: [ hn1-db-0 hn1-db-1 ]
Full list of resources:
stonith-sbd (stonith:external/sbd): Started hn1-db-1
Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03]
Started: [ hn1-db-0 hn1-db-1 ]
Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03]
Masters: [ hn1-db-1 ]
Stopped: [ hn1-db-0 ]
Resource Group: g_ip_HN1_HDB03
rsc_ip_HN1_HDB03 (ocf::heartbeat:IPaddr2): Started hn1-db-1
rsc_nc_HN1_HDB03 (ocf::heartbeat:azure-lb): Started hn1-db-1
Failed Actions:
* rsc_SAPHana_HN1_HDB03_start_0 on hn1-db-0 'not running' (7): call=84, status=complete, exitreason='none',
last-rc-change='Mon Aug 13 11:31:37 2018', queued=0ms, exec=2095ms
SAP HANA 리소스가 hn1-db-0 보조 리소스로 시작되지 않습니다. 이 경우 다음 명령을 실행하여 HANA 인스턴스를 보조 인스턴스로 구성합니다.
su - <hana sid>adm
# Stop the HANA instance, just in case it is running
hn1adm@hn1-db-0:/usr/sap/HN1/HDB03> sapcontrol -nr <instance number> -function StopWait 600 10
hn1adm@hn1-db-0:/usr/sap/HN1/HDB03> hdbnsutil -sr_register --remoteHost=hn1-db-1 --remoteInstance=<instance number> --replicationMode=sync --name=<site 1>
마이그레이션을 통해 다시 삭제해야 하는 위치 제약조건을 만듭니다.
# Switch back to root and clean up the failed state
exit
hn1-db-0:~ # crm resource clear msl_SAPHana_<HANA SID>_HDB<instance number>
보조 노드 리소스의 상태도 정리해야 합니다.
hn1-db-0:~ # crm resource cleanup msl_SAPHana_<HANA SID>_HDB<instance number> hn1-db-0
를 사용하여 crm_mon -rHANA 리소스의 상태를 모니터링합니다. HANA가 시작 hn1-db-0되면 출력은 다음 예제와 같습니다.
Online: [ hn1-db-0 hn1-db-1 ]
Full list of resources:
stonith-sbd (stonith:external/sbd): Started hn1-db-1
Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03]
Started: [ hn1-db-0 hn1-db-1 ]
Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03]
Masters: [ hn1-db-1 ]
Slaves: [ hn1-db-0 ]
Resource Group: g_ip_HN1_HDB03
rsc_ip_HN1_HDB03 (ocf::heartbeat:IPaddr2): Started hn1-db-1
rsc_nc_HN1_HDB03 (ocf::heartbeat:azure-lb): Started hn1-db-1
네트워크 통신 차단
테스트를 시작하기 전의 리소스 상태:
Online: [ hn1-db-0 hn1-db-1 ]
Full list of resources:
stonith-sbd (stonith:external/sbd): Started hn1-db-1
Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03]
Started: [ hn1-db-0 hn1-db-1 ]
Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03]
Masters: [ hn1-db-1 ]
Slaves: [ hn1-db-0 ]
Resource Group: g_ip_HN1_HDB03
rsc_ip_HN1_HDB03 (ocf::heartbeat:IPaddr2): Started hn1-db-1
rsc_nc_HN1_HDB03 (ocf::heartbeat:azure-lb): Started hn1-db-1
방화벽 규칙을 실행하여 노드 중 하나에서 통신을 차단합니다.
# Execute iptable rule on hn1-db-1 (10.0.0.6) to block the incoming and outgoing traffic to hn1-db-0 (10.0.0.5)
iptables -A INPUT -s 10.0.0.5 -j DROP; iptables -A OUTPUT -d 10.0.0.5 -j DROP
클러스터 노드가 서로 통신할 수 없는 경우 분할 브레인 시나리오의 위험이 있습니다. 이러한 상황에서 클러스터 노드는 동시에 서로 울타리를 시도하여 펜스 경합을 초래합니다.
펜싱 디바이스를 구성할 때 속성을 구성하는 pcmk_delay_max 것이 좋습니다. 따라서 분할 브레인 시나리오의 경우 클러스터는 각 노드의 펜싱 작업에 값까지 pcmk_delay_max 임의 지연을 도입합니다. 가장 짧은 지연이 있는 노드가 펜싱에 대해 선택됩니다.
또한 HANA 마스터를 실행하는 노드가 우선 순위를 사용하고 분할 브레인 시나리오에서 펜스 경합에서 승리하도록 하려면 클러스터 구성에서 속성을 설정하는 priority-fencing-delay 것이 좋습니다. priority-fencing-delay 속성을 사용하도록 설정하면 클러스터는 HANA 마스터 리소스를 호스트하는 노드에서 특히 펜싱 작업에 추가 지연을 발생시켜 노드가 펜스 경합에서 이길 수 있도록 할 수 있습니다.
아래 명령을 실행하여 방화벽 규칙을 삭제합니다.
# If the iptables rule set on the server gets reset after a reboot, the rules will be cleared out. In case they have not been reset, please proceed to remove the iptables rule using the following command.
iptables -D INPUT -s 10.0.0.5 -j DROP; iptables -D OUTPUT -d 10.0.0.5 -j DROP
SBD 펜싱 테스트
인퀴지터 프로세스를 종료하여 SBD 설정을 테스트할 수 있습니다.
hn1-db-0:~ # ps aux | grep sbd
root 1912 0.0 0.0 85420 11740 ? SL 12:25 0:00 sbd: inquisitor
root 1929 0.0 0.0 85456 11776 ? SL 12:25 0:00 sbd: watcher: /dev/disk/by-id/scsi-360014056f268462316e4681b704a9f73 - slot: 0 - uuid: 7b862dba-e7f7-4800-92ed-f76a4e3978c8
root 1930 0.0 0.0 85456 11776 ? SL 12:25 0:00 sbd: watcher: /dev/disk/by-id/scsi-360014059bc9ea4e4bac4b18808299aaf - slot: 0 - uuid: 5813ee04-b75c-482e-805e-3b1e22ba16cd
root 1931 0.0 0.0 85456 11776 ? SL 12:25 0:00 sbd: watcher: /dev/disk/by-id/scsi-36001405b8dddd44eb3647908def6621c - slot: 0 - uuid: 986ed8f8-947d-4396-8aec-b933b75e904c
root 1932 0.0 0.0 90524 16656 ? SL 12:25 0:00 sbd: watcher: Pacemaker
root 1933 0.0 0.0 102708 28260 ? SL 12:25 0:00 sbd: watcher: Cluster
root 13877 0.0 0.0 9292 1572 pts/0 S+ 12:27 0:00 grep sbd
hn1-db-0:~ # kill -9 1912
클러스터 노드가 <HANA SID>-db-<database 1> 다시 부팅됩니다. Pacemaker 서비스가 다시 시작되지 않을 수 있습니다. 다시 시작해야 합니다.
수동 장애 조치(failover) 테스트
노드에서 Pacemaker 서비스를 중지하여 수동 장애 조치를 테스트할 hn1-db-0 수 있습니다.
service pacemaker stop
장애 조치 후에 서비스를 다시 시작할 수 있습니다. 설정하는 AUTOMATED_REGISTER="false"경우 노드의 SAP HANA 리소스가 hn1-db-0 보조 리소스로 시작되지 않습니다.
이 경우 다음 명령을 실행하여 HANA 인스턴스를 보조 인스턴스로 구성합니다.
service pacemaker start
su - <hana sid>adm
# Stop the HANA instance, just in case it is running
sapcontrol -nr <instance number> -function StopWait 600 10
hdbnsutil -sr_register --remoteHost=hn1-db-1 --remoteInstance=<instance number> --replicationMode=sync --name=<site 1>
# Switch back to root and clean up the failed state
exit
crm resource cleanup msl_SAPHana_<HANA SID>_HDB<instance number> hn1-db-0
SUSE 테스트
Important
선택한 OS가 사용하려는 특정 VM 유형에서 SAP HANA에 대해 SAP 인증되었는지 확인합니다. SAP HANA 인증 IaaS 플랫폼에서 SAP HANA 인증 VM 유형 및 해당 OS 릴리스 를 조회할 수 있습니다. 해당 VM 유형에 대한 SAP HANA 지원 OS 릴리스의 전체 목록을 가져오는 데 사용할 VM 유형의 세부 정보를 확인해야 합니다.
시나리오에 따라 SAP HANA SR 성능 최적화 시나리오 가이드 또는 SAP HANA SR 비용 최적화 시나리오 가이드에 나열된 모든 테스트 사례를 실행합니다. SAP 모범 사례에 대한 SLES에 나열된 가이드를 찾을 수 있습니다.
다음 테스트는 SAP HANA SR 성능 최적화 시나리오 SUSE Linux Enterprise Server for SAP Applications 12 SP1 가이드에 대한 테스트 설명의 복사본입니다. 최신 버전의 경우 가이드 자체를 읽어보세요. 테스트를 시작하기 전에 항상 HANA가 동기화되어 있는지 확인하고 Pacemaker 구성이 올바른지 확인합니다.
다음 테스트 설명에서는 다음과 같이 가정 PREFER_SITE_TAKEOVER="true" 합니다 AUTOMATED_REGISTER="false".
참고 항목
다음 테스트는 순서대로 실행되도록 설계되었습니다. 각 테스트는 이전 테스트의 종료 상태에 따라 달라집니다.
테스트 1: 노드 1에서 주 데이터베이스를 중지합니다.
테스트를 시작하기 전의 리소스 상태입니다.
Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03] Started: [ hn1-db-0 hn1-db-1 ] Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03] Masters: [ hn1-db-0 ] Slaves: [ hn1-db-1 ] Resource Group: g_ip_HN1_HDB03 rsc_ip_HN1_HDB03 (ocf::heartbeat:IPaddr2): Started hn1-db-0 rsc_nc_HN1_HDB03 (ocf::heartbeat:azure-lb): Started hn1-db-0노드에서 hana sid>adm
hn1-db-0으로 <다음 명령을 실행합니다.hn1adm@hn1-db-0:/usr/sap/HN1/HDB03> HDB stopPacemaker는 중지된 HANA 인스턴스를 감지하고 다른 노드로 장애 조치합니다. 장애 조치(failover)가 완료되면 Pacemaker가 노드를 HANA 보조 데이터베이스로 자동으로 등록하지 않으므로 노드의 HANA 인스턴스
hn1-db-0가 중지됩니다.다음 명령을 실행하여 노드를
hn1-db-0보조로 등록하고 실패한 리소스를 클린.hn1adm@hn1-db-0:/usr/sap/HN1/HDB03> hdbnsutil -sr_register --remoteHost=hn1-db-1 --remoteInstance=<instance number> --replicationMode=sync --name=<site 1> # run as root hn1-db-0:~ # crm resource cleanup msl_SAPHana_<HANA SID>_HDB<instance number> hn1-db-0테스트 후의 리소스 상태입니다.
Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03] Started: [ hn1-db-0 hn1-db-1 ] Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03] Masters: [ hn1-db-1 ] Slaves: [ hn1-db-0 ] Resource Group: g_ip_HN1_HDB03 rsc_ip_HN1_HDB03 (ocf::heartbeat:IPaddr2): Started hn1-db-1 rsc_nc_HN1_HDB03 (ocf::heartbeat:azure-lb): Started hn1-db-1테스트 2: 노드 2에서 주 데이터베이스를 중지합니다.
테스트를 시작하기 전의 리소스 상태입니다.
Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03] Started: [ hn1-db-0 hn1-db-1 ] Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03] Masters: [ hn1-db-1 ] Slaves: [ hn1-db-0 ] Resource Group: g_ip_HN1_HDB03 rsc_ip_HN1_HDB03 (ocf::heartbeat:IPaddr2): Started hn1-db-1 rsc_nc_HN1_HDB03 (ocf::heartbeat:azure-lb): Started hn1-db-1노드에서 hana sid>adm
hn1-db-1으로 <다음 명령을 실행합니다.hn1adm@hn1-db-1:/usr/sap/HN1/HDB01> HDB stopPacemaker는 중지된 HANA 인스턴스를 감지하고 다른 노드로 장애 조치합니다. 장애 조치(failover)가 완료되면 Pacemaker가 노드를 HANA 보조 데이터베이스로 자동으로 등록하지 않으므로 노드의 HANA 인스턴스
hn1-db-1가 중지됩니다.다음 명령을 실행하여 노드를
hn1-db-1보조로 등록하고 실패한 리소스를 클린.hn1adm@hn1-db-1:/usr/sap/HN1/HDB03> hdbnsutil -sr_register --remoteHost=hn1-db-0 --remoteInstance=<instance number> --replicationMode=sync --name=<site 2> # run as root hn1-db-1:~ # crm resource cleanup msl_SAPHana_<HANA SID>_HDB<instance number> hn1-db-1테스트 후의 리소스 상태입니다.
Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03] Started: [ hn1-db-0 hn1-db-1 ] Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03] Masters: [ hn1-db-0 ] Slaves: [ hn1-db-1 ] Resource Group: g_ip_HN1_HDB03 rsc_ip_HN1_HDB03 (ocf::heartbeat:IPaddr2): Started hn1-db-0 rsc_nc_HN1_HDB03 (ocf::heartbeat:azure-lb): Started hn1-db-0테스트 3: 노드 1에서 주 데이터베이스 충돌
테스트를 시작하기 전의 리소스 상태입니다.
Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03] Started: [ hn1-db-0 hn1-db-1 ] Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03] Masters: [ hn1-db-0 ] Slaves: [ hn1-db-1 ] Resource Group: g_ip_HN1_HDB03 rsc_ip_HN1_HDB03 (ocf::heartbeat:IPaddr2): Started hn1-db-0 rsc_nc_HN1_HDB03 (ocf::heartbeat:azure-lb): Started hn1-db-0노드에서 hana sid>adm
hn1-db-0으로 <다음 명령을 실행합니다.hn1adm@hn1-db-0:/usr/sap/HN1/HDB03> HDB kill-9Pacemaker는 종료된 HANA 인스턴스를 감지하고 다른 노드로 장애 조치합니다. 장애 조치(failover)가 완료되면 Pacemaker가 노드를 HANA 보조 데이터베이스로 자동으로 등록하지 않으므로 노드의 HANA 인스턴스
hn1-db-0가 중지됩니다.다음 명령을 실행하여 노드를
hn1-db-0보조로 등록하고 실패한 리소스를 클린.hn1adm@hn1-db-0:/usr/sap/HN1/HDB03> hdbnsutil -sr_register --remoteHost=hn1-db-1 --remoteInstance=<instance number> --replicationMode=sync --name=<site 1> # run as root hn1-db-0:~ # crm resource cleanup msl_SAPHana_<HANA SID>_HDB<instance number> hn1-db-0테스트 후의 리소스 상태입니다.
Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03] Started: [ hn1-db-0 hn1-db-1 ] Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03] Masters: [ hn1-db-1 ] Slaves: [ hn1-db-0 ] Resource Group: g_ip_HN1_HDB03 rsc_ip_HN1_HDB03 (ocf::heartbeat:IPaddr2): Started hn1-db-1 rsc_nc_HN1_HDB03 (ocf::heartbeat:azure-lb): Started hn1-db-1테스트 4: 노드 2에서 주 데이터베이스 충돌
테스트를 시작하기 전의 리소스 상태입니다.
Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03] Started: [ hn1-db-0 hn1-db-1 ] Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03] Masters: [ hn1-db-1 ] Slaves: [ hn1-db-0 ] Resource Group: g_ip_HN1_HDB03 rsc_ip_HN1_HDB03 (ocf::heartbeat:IPaddr2): Started hn1-db-1 rsc_nc_HN1_HDB03 (ocf::heartbeat:azure-lb): Started hn1-db-1노드에서 hana sid>adm
hn1-db-1으로 <다음 명령을 실행합니다.hn1adm@hn1-db-1:/usr/sap/HN1/HDB03> HDB kill-9Pacemaker는 종료된 HANA 인스턴스를 감지하고 다른 노드로 장애 조치합니다. 장애 조치(failover)가 완료되면 Pacemaker가 노드를 HANA 보조 데이터베이스로 자동으로 등록하지 않으므로 노드의 HANA 인스턴스
hn1-db-1가 중지됩니다.다음 명령을 실행하여 노드를
hn1-db-1보조로 등록하고 실패한 리소스를 클린.hn1adm@hn1-db-1:/usr/sap/HN1/HDB03> hdbnsutil -sr_register --remoteHost=hn1-db-0 --remoteInstance=<instance number> --replicationMode=sync --name=<site 2> # run as root hn1-db-1:~ # crm resource cleanup msl_SAPHana_<HANA SID>_HDB<instance number> hn1-db-1테스트 후의 리소스 상태입니다.
Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03] Started: [ hn1-db-0 hn1-db-1 ] Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03] Masters: [ hn1-db-0 ] Slaves: [ hn1-db-1 ] Resource Group: g_ip_HN1_HDB03 rsc_ip_HN1_HDB03 (ocf::heartbeat:IPaddr2): Started hn1-db-0 rsc_nc_HN1_HDB03 (ocf::heartbeat:azure-lb): Started hn1-db-0테스트 5: 주 사이트 노드 크래시(노드 1).
테스트를 시작하기 전의 리소스 상태입니다.
Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03] Started: [ hn1-db-0 hn1-db-1 ] Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03] Masters: [ hn1-db-0 ] Slaves: [ hn1-db-1 ] Resource Group: g_ip_HN1_HDB03 rsc_ip_HN1_HDB03 (ocf::heartbeat:IPaddr2): Started hn1-db-0 rsc_nc_HN1_HDB03 (ocf::heartbeat:azure-lb): Started hn1-db-0노드에서 루트
hn1-db-0로 다음 명령을 실행합니다.hn1-db-0:~ # echo 'b' > /proc/sysrq-triggerPacemaker는 중단된 클러스터 노드를 감지하고 노드를 펜스합니다. 노드가 펜스되면 Pacemaker는 HANA 인스턴스의 인수를 트리거합니다. 펜스 노드가 다시 부팅되면 Pacemaker는 자동으로 시작되지 않습니다.
다음 명령을 실행하여 Pacemaker를 시작하고, 노드에 대한
hn1-db-0SBD 메시지를 클린, 노드를hn1-db-0보조로 등록하고, 실패한 리소스를 클린.# run as root # list the SBD device(s) hn1-db-0:~ # cat /etc/sysconfig/sbd | grep SBD_DEVICE= # SBD_DEVICE="/dev/disk/by-id/scsi-36001405772fe8401e6240c985857e116;/dev/disk/by-id/scsi-36001405034a84428af24ddd8c3a3e9e1;/dev/disk/by-id/scsi-36001405cdd5ac8d40e548449318510c3" hn1-db-0:~ # sbd -d /dev/disk/by-id/scsi-36001405772fe8401e6240c985857e116 -d /dev/disk/by-id/scsi-36001405034a84428af24ddd8c3a3e9e1 -d /dev/disk/by-id/scsi-36001405cdd5ac8d40e548449318510c3 message hn1-db-0 clear hn1-db-0:~ # systemctl start pacemaker # run as <hana sid>adm hn1adm@hn1-db-0:/usr/sap/HN1/HDB03> hdbnsutil -sr_register --remoteHost=hn1-db-1 --remoteInstance=<instance number> --replicationMode=sync --name=<site 1> # run as root hn1-db-0:~ # crm resource cleanup msl_SAPHana_<HANA SID>_HDB<instance number> hn1-db-0테스트 후의 리소스 상태입니다.
Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03] Started: [ hn1-db-0 hn1-db-1 ] Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03] Masters: [ hn1-db-1 ] Slaves: [ hn1-db-0 ] Resource Group: g_ip_HN1_HDB03 rsc_ip_HN1_HDB03 (ocf::heartbeat:IPaddr2): Started hn1-db-1 rsc_nc_HN1_HDB03 (ocf::heartbeat:azure-lb): Started hn1-db-1테스트 6: 보조 사이트 노드 충돌(노드 2).
테스트를 시작하기 전의 리소스 상태입니다.
Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03] Started: [ hn1-db-0 hn1-db-1 ] Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03] Masters: [ hn1-db-1 ] Slaves: [ hn1-db-0 ] Resource Group: g_ip_HN1_HDB03 rsc_ip_HN1_HDB03 (ocf::heartbeat:IPaddr2): Started hn1-db-1 rsc_nc_HN1_HDB03 (ocf::heartbeat:azure-lb): Started hn1-db-1노드에서 루트
hn1-db-1로 다음 명령을 실행합니다.hn1-db-1:~ # echo 'b' > /proc/sysrq-triggerPacemaker는 중단된 클러스터 노드를 감지하고 노드를 펜스합니다. 노드가 펜스되면 Pacemaker는 HANA 인스턴스의 인수를 트리거합니다. 펜스 노드가 다시 부팅되면 Pacemaker는 자동으로 시작되지 않습니다.
다음 명령을 실행하여 Pacemaker를 시작하고, 노드에 대한
hn1-db-1SBD 메시지를 클린, 노드를hn1-db-1보조로 등록하고, 실패한 리소스를 클린.# run as root # list the SBD device(s) hn1-db-1:~ # cat /etc/sysconfig/sbd | grep SBD_DEVICE= # SBD_DEVICE="/dev/disk/by-id/scsi-36001405772fe8401e6240c985857e116;/dev/disk/by-id/scsi-36001405034a84428af24ddd8c3a3e9e1;/dev/disk/by-id/scsi-36001405cdd5ac8d40e548449318510c3" hn1-db-1:~ # sbd -d /dev/disk/by-id/scsi-36001405772fe8401e6240c985857e116 -d /dev/disk/by-id/scsi-36001405034a84428af24ddd8c3a3e9e1 -d /dev/disk/by-id/scsi-36001405cdd5ac8d40e548449318510c3 message hn1-db-1 clear hn1-db-1:~ # systemctl start pacemaker # run as <hana sid>adm hn1adm@hn1-db-1:/usr/sap/HN1/HDB03> hdbnsutil -sr_register --remoteHost=hn1-db-0 --remoteInstance=<instance number> --replicationMode=sync --name=<site 2> # run as root hn1-db-1:~ # crm resource cleanup msl_SAPHana_<HANA SID>_HDB<instance number> hn1-db-1테스트 후의 리소스 상태입니다.
Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03] Started: [ hn1-db-0 hn1-db-1 ] Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03] Masters: [ hn1-db-0 ] Slaves: [ hn1-db-1 ] Resource Group: g_ip_HN1_HDB03 rsc_ip_HN1_HDB03 (ocf::heartbeat:IPaddr2): Started hn1-db-0 rsc_nc_HN1_HDB03 (ocf::heartbeat:azure-lb): Started hn1-db-0 </code></pre>테스트 7: 노드 2에서 보조 데이터베이스를 중지합니다.
테스트를 시작하기 전의 리소스 상태입니다.
Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03] Started: [ hn1-db-0 hn1-db-1 ] Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03] Masters: [ hn1-db-0 ] Slaves: [ hn1-db-1 ] Resource Group: g_ip_HN1_HDB03 rsc_ip_HN1_HDB03 (ocf::heartbeat:IPaddr2): Started hn1-db-0 rsc_nc_HN1_HDB03 (ocf::heartbeat:azure-lb): Started hn1-db-0노드에서 hana sid>adm
hn1-db-1으로 <다음 명령을 실행합니다.hn1adm@hn1-db-1:/usr/sap/HN1/HDB03> HDB stopPacemaker는 중지된 HANA 인스턴스를 검색하고 노드에서
hn1-db-1리소스를 실패로 표시합니다. Pacemaker는 HANA 인스턴스를 자동으로 다시 시작합니다.다음 명령을 실행하여 실패한 상태를 클린.
# run as root hn1-db-1>:~ # crm resource cleanup msl_SAPHana_<HANA SID>_HDB<instance number> hn1-db-1테스트 후의 리소스 상태입니다.
Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03] Started: [ hn1-db-0 hn1-db-1 ] Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03] Masters: [ hn1-db-0 ] Slaves: [ hn1-db-1 ] Resource Group: g_ip_HN1_HDB03 rsc_ip_HN1_HDB03 (ocf::heartbeat:IPaddr2): Started hn1-db-0 rsc_nc_HN1_HDB03 (ocf::heartbeat:azure-lb): Started hn1-db-0테스트 8: 노드 2에서 보조 데이터베이스 충돌
테스트를 시작하기 전의 리소스 상태입니다.
Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03] Started: [ hn1-db-0 hn1-db-1 ] Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03] Masters: [ hn1-db-0 ] Slaves: [ hn1-db-1 ] Resource Group: g_ip_HN1_HDB03 rsc_ip_HN1_HDB03 (ocf::heartbeat:IPaddr2): Started hn1-db-0 rsc_nc_HN1_HDB03 (ocf::heartbeat:azure-lb): Started hn1-db-0노드에서 hana sid>adm
hn1-db-1으로 <다음 명령을 실행합니다.hn1adm@hn1-db-1:/usr/sap/HN1/HDB03> HDB kill-9Pacemaker는 종료된 HANA 인스턴스를 감지하고 노드에서
hn1-db-1리소스를 실패로 표시합니다. 다음 명령을 실행하여 실패한 상태를 클린. 그런 다음 Pacemaker는 HANA 인스턴스를 자동으로 다시 시작합니다.# run as root hn1-db-1:~ # crm resource cleanup msl_SAPHana_<HANA SID>_HDB<instance number> HN1-db-1테스트 후의 리소스 상태입니다.
Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03] Started: [ hn1-db-0 hn1-db-1 ] Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03] Masters: [ hn1-db-0 ] Slaves: [ hn1-db-1 ] Resource Group: g_ip_HN1_HDB03 rsc_ip_HN1_HDB03 (ocf::heartbeat:IPaddr2): Started hn1-db-0 rsc_nc_HN1_HDB03 (ocf::heartbeat:azure-lb): Started hn1-db-0테스트 9: 보조 HANA 데이터베이스를 실행하는 보조 사이트 노드(노드 2)를 크래시합니다.
테스트를 시작하기 전의 리소스 상태입니다.
Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03] Started: [ hn1-db-0 hn1-db-1 ] Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03] Masters: [ hn1-db-0 ] Slaves: [ hn1-db-1 ] Resource Group: g_ip_HN1_HDB03 rsc_ip_HN1_HDB03 (ocf::heartbeat:IPaddr2): Started hn1-db-0 rsc_nc_HN1_HDB03 (ocf::heartbeat:azure-lb): Started hn1-db-0노드에서 루트
hn1-db-1로 다음 명령을 실행합니다.hn1-db-1:~ # echo b > /proc/sysrq-triggerPacemaker는 중단된 클러스터 노드를 감지하고 노드를 펜스합니다. 펜스 노드가 다시 부팅되면 Pacemaker는 자동으로 시작되지 않습니다.
다음 명령을 실행하여 Pacemaker를 시작하고 노드에 대한
hn1-db-1SBD 메시지를 클린 실패한 리소스를 클린.# run as root # list the SBD device(s) hn1-db-1:~ # cat /etc/sysconfig/sbd | grep SBD_DEVICE= # SBD_DEVICE="/dev/disk/by-id/scsi-36001405772fe8401e6240c985857e116;/dev/disk/by-id/scsi-36001405034a84428af24ddd8c3a3e9e1;/dev/disk/by-id/scsi-36001405cdd5ac8d40e548449318510c3" hn1-db-1:~ # sbd -d /dev/disk/by-id/scsi-36001405772fe8401e6240c985857e116 -d /dev/disk/by-id/scsi-36001405034a84428af24ddd8c3a3e9e1 -d /dev/disk/by-id/scsi-36001405cdd5ac8d40e548449318510c3 message hn1-db-1 clear hn1-db-1:~ # systemctl start pacemaker hn1-db-1:~ # crm resource cleanup msl_SAPHana_<HANA SID>_HDB<instance number> hn1-db-1테스트 후의 리소스 상태입니다.
Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03] Started: [ hn1-db-0 hn1-db-1 ] Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03] Masters: [ hn1-db-0 ] Slaves: [ hn1-db-1 ] Resource Group: g_ip_HN1_HDB03 rsc_ip_HN1_HDB03 (ocf::heartbeat:IPaddr2): Started hn1-db-0 rsc_nc_HN1_HDB03 (ocf::heartbeat:azure-lb): Started hn1-db-0테스트 10: 주 데이터베이스 인덱스 서버 충돌
이 테스트는 HANA 후크 SAPHanaSR 및 susChkSrv 구현에 설명된 대로 susChkSrv 후크를 설정한 경우에만 관련이 있습니다.
테스트를 시작하기 전의 리소스 상태입니다.
Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03] Started: [ hn1-db-0 hn1-db-1 ] Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03] Masters: [ hn1-db-0 ] Slaves: [ hn1-db-1 ] Resource Group: g_ip_HN1_HDB03 rsc_ip_HN1_HDB03 (ocf::heartbeat:IPaddr2): Started hn1-db-0 rsc_nc_HN1_HDB03 (ocf::heartbeat:azure-lb): Started hn1-db-0노드에서 루트
hn1-db-0로 다음 명령을 실행합니다.hn1-db-0:~ # killall -9 hdbindexserver인덱스 서버가 종료되면 susChkSrv 후크는 이벤트를 감지하고 'hn1-db-0' 노드에 대한 작업을 트리거하고 인수 프로세스를 시작합니다.
다음 명령을 실행하여 노드를 보조로 등록
hn1-db-0하고 실패한 리소스를 클린.# run as <hana sid>adm hn1adm@hn1-db-0:/usr/sap/HN1/HDB03> hdbnsutil -sr_register --remoteHost=hn1-db-1 --remoteInstance=<instance number> --replicationMode=sync --name=<site 1> # run as root hn1-db-0:~ # crm resource cleanup msl_SAPHana_<HANA SID>_HDB<instance number> hn1-db-0테스트 후의 리소스 상태입니다.
Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03] Started: [ hn1-db-0 hn1-db-1 ] Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03] Masters: [ hn1-db-1 ] Slaves: [ hn1-db-0 ] Resource Group: g_ip_HN1_HDB03 rsc_ip_HN1_HDB03 (ocf::heartbeat:IPaddr2): Started hn1-db-1 rsc_nc_HN1_HDB03 (ocf::heartbeat:azure-lb): Started hn1-db-1보조 노드의 인덱스 서버가 충돌하도록 하여 비교 가능한 테스트 사례를 실행할 수 있습니다. 인덱스 서버 크래시가 발생하는 경우 susChkSrv 후크는 발생을 인식하고 보조 노드를 펜스하는 작업을 시작합니다.