SUSE Enterprise Linux에서 Azure NetApp Files를 사용한 SAP HANA 확장의 고가용성

  • 아티클

이 문서에서는 Azure NetApp Files를 사용하여 NFS를 통해 HANA 파일 시스템을 탑재할 때 확장 배포에서 SAP HANA 시스템 복제본(replica)tion을 구성하는 방법을 설명합니다. 예제 구성 및 설치 명령에서 인스턴스 번호 03 및 HANA 시스템 ID HN1이 사용됩니다. SAP HANA 복제본(replica)tion은 하나의 주 노드와 하나 이상의 보조 노드로 구성됩니다.

이 문서의 단계가 다음 접두사로 표시되면 다음을 의미합니다.

  • [A]: 단계는 모든 노드에 적용됩니다.
  • [1]: 이 단계는 node1에만 적용됩니다.
  • [2]: 이 단계는 node2에만 적용됩니다.

다음 SAP Note 및 문서를 먼저 읽어 보세요.

참고 항목

이 문서에는 Microsoft에서 더 이상 사용하지 않는 용어에 대한 참조가 포함되어 있습니다. 소프트웨어에서 용어가 제거되면 이 문서에서 해당 용어가 제거됩니다.

개요

일반적으로 확장 환경에서 SAP HANA에 대한 모든 파일 시스템은 로컬 스토리지에서 탑재됩니다. SUSE Enterprise Linux에서 SAP HANA 시스템 복제본(replica)tion의 HA 설정은 SLES에서 SAP HANA 시스템 복제본(replica)tion 설정에 게시됩니다.

Azure NetApp Files NFS 공유에서 확장 시스템의 SAP HANA HA를 달성하려면 클러스터에 추가 리소스 구성이 필요합니다. 한 노드가 Azure NetApp Files의 NFS 공유에 대한 액세스 권한을 잃을 때 HANA 리소스를 복구할 수 있도록 이 구성이 필요합니다.

Diagram that shows SAP HANA HA scale-up on Azure NetApp Files.

SAP HANA 파일 시스템은 각 노드에서 Azure NetApp Files를 사용하여 NFS 공유에 탑재됩니다. 파일 시스템 /hana/data, /hana/log 및 /hana/shared는 각 노드에 고유합니다.

node1에 탑재됨(hanadb1):

  • /hana/data에는 10.3.1.4:/hanadb1-data-mnt00001
  • /hana/log에는 10.3.1.4:/hanadb1-log-mnt00001
  • /hana/shared에는 10.3.1.4:/hanadb1-shared-mnt00001

node2에 탑재됨(hanadb2):

  • /hana/data에는 10.3.1.4:/hanadb2-data-mnt00001
  • /hana/log에는 10.3.1.4:/hanadb2-log-mnt00001
  • /hana/shared에는 10.3.1.4:/hanadb2-shared-mnt0001

참고 항목

파일 시스템 /hana/shared, /hana/data 및 /hana/log는 두 노드 간에 공유되지 않습니다. 각 클러스터 노드에는 별도의 파일 시스템이 있습니다.

SAP HA HANA 시스템 복제본(replica) 구성은 전용 가상 호스트 이름 및 가상 IP 주소를 사용합니다. Azure에서는 가상 IP 주소를 사용하려면 부하 분산 장치가 필요합니다. 제시된 구성은 다음이 포함된 부하 분산 장치를 보여 줍니다.

  • 프런트 엔드 구성 IP 주소: hn1-db의 경우 10.3.0.50
  • 프로브 포트: 62503

Azure NetApp Files 인프라 설정

Azure NetApp Files 인프라 설정을 계속하려면 먼저 Azure NetApp Files 설명서를 잘 알고 있어야 합니다.

Azure NetApp Files는 여러 Azure 지역에서 사용할 수 있습니다. 선택한 Azure 지역에서 Azure NetApp Files를 제공하는지 확인하세요.

Azure 지역별 Azure NetApp Files의 가용성에 대한 자세한 내용은 Azure 지역별 Azure NetApp Files 가용성을 참조하세요.

중요 사항

SAP HANA 확장 시스템용 Azure NetApp Files를 만들 때 SAP HANA용 Azure NetApp Files의 NFS v4.1 볼륨에 설명된 중요한 고려 사항에 유의하세요.

Azure NetApp Files에서 HANA 데이터베이스 크기 조정

Azure NetApp Files 볼륨의 처리량은 Azure NetApp Files에 대한 서비스 수준에 설명된 대로 볼륨 크기와 서비스 수준의 함수입니다.

Azure NetApp Files를 사용하여 Azure의 SAP HANA에 대한 인프라를 설계하는 동안 SAP HANA용 Azure NetApp Files의 NFS v4.1 볼륨에 대한 권장 사항을 알고 있어야 합니다.

이 문서의 구성에는 간단한 Azure NetApp Files 볼륨이 제공됩니다.

Important

성능이 핵심인 프로덕션 시스템의 경우 SAP HANA용 Azure NetApp Files 애플리케이션 볼륨 그룹을 평가하고 사용하는 것이 좋습니다.

이 문서에서 /hana/shared를 탑재하는 모든 명령은 NFSv4.1 /hana/shared 볼륨에 대해 제공됩니다. /hana/shared 볼륨을 NFSv3 볼륨으로 배포한 경우 NFSv3에 대한 /hana/shared의 탑재 명령을 조정하는 것을 잊지 마세요.

Azure NetApp Files 리소스 배포

다음 지침에서는 Azure 가상 네트워크를 이미 배포했다고 가정합니다. Azure NetApp Files 리소스가 탑재될 Azure NetApp Files 리소스와 VM을 동일한 Azure 가상 네트워크 또는 피어링된 Azure 가상 네트워크에 배포해야 합니다.

  1. NetApp 계정 만들기의 지침에 따라 선택한 Azure 지역에서 NetApp 계정을 만듭니다.

  2. Azure NetApp Files 용량 풀 설정의 지침에 따라 Azure NetApp Files 용량 풀을 설정합니다.

    이 문서에 제시된 HANA 아키텍처는 Ultra 서비스 수준에서 단일 Azure NetApp Files 용량 풀을 사용합니다. Azure의 HANA 워크로드의 경우 Azure NetApp Files Ultra 또는 Premium 서비스 수준을 사용하는 것이 좋습니다.

  3. Azure NetApp Files에 서브넷 위임의 지침에 따라 Azure NetApp Files에 서브넷을 위임합니다.

  4. Azure NetApp Files에 대한 NFS 볼륨 만들기의 지침에 따라 Azure NetApp Files 볼륨을 배포합니다.

    볼륨을 배포할 때 NFSv4.1 버전을 선택해야 합니다. 지정된 Azure NetApp Files 서브넷에 볼륨을 배포합니다. Azure NetApp Files 볼륨의 IP 주소는 자동으로 할당됩니다.

    Azure NetApp Files 리소스와 Azure VM은 동일하거나 피어링된 Azure 가상 네트워크에 있어야 합니다. 예를 들어 hanadb1-data-mnt00001, hanadb1-log-mnt00001 등은 볼륨 이름이며, nfs://10.3.1.4/hanadb1-data-mnt00001, nfs://10.3.1.4/hanadb1-log-mnt00001 등은 Azure NetApp Files 볼륨의 파일 경로입니다.

    hanadb1에서:

    • hanadb1-data-mnt00001 볼륨(nfs://10.3.1.4:/hanadb1-data-mnt00001)
    • hanadb1-log-mnt00001 볼륨(nfs://10.3.1.4:/hanadb1-log-mnt00001)
    • hanadb1-shared-mnt00001 볼륨(nfs://10.3.1.4:/hanadb1-shared-mnt00001)

    hanadb2에서:

    • hanadb2-data-mnt00001 볼륨(nfs://10.3.1.4:/hanadb2-data-mnt00001)
    • hanadb2-log-mnt00001 볼륨(nfs://10.3.1.4:/hanadb2-log-mnt00001)
    • hanadb2-shared-mnt00001 볼륨(nfs://10.3.1.4:/hanadb2-shared-mnt00001)

인프라 준비

SAP HANA의 리소스 에이전트는 SAP 애플리케이션의 SUSE Linux Enterprise Server에 포함되어 있습니다. SAP 애플리케이션 12 또는 15용 SUSE Linux Enterprise Server에 대한 이미지는 Azure Marketplace에서 사용할 수 있습니다. 이미지를 사용하여 새 VM을 배포할 수 있습니다.

Azure Portal을 통해 수동으로 Linux VM 배포

이 문서에서는 리소스 그룹, Azure Virtual Network 및 서브넷을 이미 배포했다고 가정합니다.

SAP HANA용 VM을 배포합니다. HANA 시스템에 지원되는 적합한 SLES 이미지를 선택합니다. 가상 머신 확장 집합, 가용성 영역 또는 가용성 집합 같은 배포 옵션 중 하나에서 VM을 선택합니다.

Important

선택한 운영 체제가 배포에 사용하려는 특정 VM 유형에서 SAP HANA용으로 인증된 SAP인지 확인하세요. SAP HANA 인증 IaaS 플랫폼에서 SAP HANA 인증 VM 유형 및 해당 OS 릴리스를 조회할 수 있습니다. 특정 VM 형식에 대한 SAP HANA 지원 OS 릴리스의 전체 목록을 보려면 VM 유형의 세부 정보를 확인해야 합니다.

Azure Load Balancer 구성

VM 구성 중에 네트워킹 섹션에서 기존 부하 분산 장치를 만들거나 선택하는 옵션이 있습니다. 다음 단계에 따라 HANA 데이터베이스의 HA 설정에 대한 표준 부하 분산 장치를 설정합니다.

Azure Portal을 사용하여 고가용성 SAP 시스템에 대한 표준 부하 분산 장치를 설정하려면 부하 분산 장치 만들기의 단계를 따릅니다. 부하 분산 장치를 설정하는 동안 다음 사항을 고려합니다.

  1. 프런트 엔드 IP 구성: 프런트 엔드 IP를 만듭니다. 데이터베이스 가상 머신과 동일한 가상 네트워크 및 서브넷 이름을 선택합니다.
  2. 백 엔드 풀: 백 엔드 풀을 만들고 데이터베이스 VM을 추가합니다.
  3. 인바운드 규칙: 부하 분산 규칙을 만듭니다. 두 부하 분산 규칙에 대해 동일한 단계를 수행합니다.
    • 프런트 엔드 IP 주소: 프런트 엔드 IP를 선택합니다.
    • 백 엔드 풀: 백 엔드 풀을 선택합니다.
    • 고가용성 포트: 이 옵션을 선택합니다.
    • 프로토콜: TCP를 선택합니다.
    • 상태 프로브: 다음 세부 정보를 사용하여 상태 프로브를 만듭니다.
      • 프로토콜: TCP를 선택합니다.
      • 포트: 예를 들어 인스턴스 가 625<개입니다>.
      • 간격: 5를 입력 합니다.
      • 프로브 임계값: 2를 입력합니다.
    • 유휴 시간 제한(분): 30을 입력합니다.
    • 부동 IP 사용: 이 옵션을 선택합니다.

참고 항목

포털에서 비정상 임계값이라고도 하는 상태 프로브 구성 속성numberOfProbes은 적용되지 않습니다. 성공 또는 실패한 연속 프로브 수를 제어하려면 속성을 probeThreshold2.로 설정합니다. 현재 Azure Portal을 사용하여 이 속성을 설정할 수 없으므로 Azure CLI 또는 PowerShell 명령을 사용합니다.

SAP HANA에 필요한 포트에 대한 자세한 내용은 SAP HANA 테넌트 데이터베이스 가이드의 테넌트 데이터베이스에 연결 챕터 또는 SAP Note 2388694를 참조하세요.

Important

부동 IP는 부하 분산 시나리오의 NIC 보조 IP 구성에서 지원되지 않습니다. 자세한 내용은 Azure Load Balancer 제한 사항을 참조하세요. VM에 추가 IP 주소가 필요한 경우 두 번째 NIC를 배포합니다.

공용 IP 주소가 없는 VM이 내부(공용 IP 주소 없음) 표준 Azure Load Balancer의 백 엔드 풀에 배치되는 경우 퍼블릭 엔드포인트로 라우팅할 수 있도록 더 많은 구성이 수행되지 않는 한 아웃바운드 인터넷 연결이 없습니다. 아웃바운드 연결을 달성하는 방법에 대한 자세한 내용은 SAP 고가용성 시나리오에서 Azure 표준 Load Balancer를 사용하는 VM에 대한 공용 엔드포인트 연결을 참조하세요.

Important

  • Load Balancer 뒤에 배치되는 Azure VM에서 TCP 타임스탬프를 사용하도록 설정하면 안 됩니다. TCP 타임스탬프를 사용하도록 설정하면 상태 프로브에 오류가 발생합니다. net.ipv4.tcp_timestamps 매개 변수를 0으로 설정합니다. 자세한 내용은 Load Balancer 상태 프로브 및 SAP Note 2382421 참조하세요.
  • saptune이 수동으로 설정된 net.ipv4.tcp_timestamps 값을 0 다시 1변경하지 않도록 하려면 saptune 버전을 3.1.1 이상으로 업데이트합니다. 자세한 내용은 saptune 3.1.1 – 업데이트가 필요하나요?를 참조하세요.

Azure NetApp Files 볼륨 탑재

  1. [A] HANA 데이터베이스 볼륨에 대한 탑재 지점을 만듭니다.

    sudo mkdir -p /hana/data/HN1/mnt00001
sudo mkdir -p /hana/log/HN1/mnt00001
sudo mkdir -p /hana/shared/HN1

  2. [A] NFS 도메인 설정을 확인합니다. 기본 Azure NetApp Files처럼 do기본 구성되었는지 확인합니다기본, 즉 defaultv4iddo기본.com 매핑이 아무도로 설정되지 않습니다.

    sudo cat /etc/idmapd.conf

    예제 출력:

    [General]
Domain = defaultv4iddomain.com
[Mapping]
Nobody-User = nobody
Nobody-Group = nobody

    Important

    VM의 /etc/idmapd.conf에서 NFS 도메인을 Azure NetApp Files의 기본 도메인 구성(defaultv4iddomain.com)과 일치하도록 설정합니다. NFS 클라이언트(즉, VM)의 do기본 구성과 NFS 서버(즉, Azure NetApp Files 구성)가 일치하지 않는 경우 VM에 탑재된 Azure NetApp Files 볼륨의 파일에 대한 권한은 아무도 표시되지 않습니다.

  3. [A] 각 노드와 관련된 볼륨을 영구적으로 탑재하도록 두 노드에서 편집 /etc/fstab 합니다. 다음 예제에서는 볼륨을 영구적으로 탑재하는 방법을 보여 줍니다.

    sudo vi /etc/fstab

    두 노드에 /etc/fstab 다음 항목을 추가합니다.

    hanadb1의 예:

    10.3.1.4:/hanadb1-data-mnt00001 /hana/data/HN1/mnt00001  nfs   rw,nfsvers=4.1,hard,timeo=600,rsize=262144,wsize=262144,noatime,lock,_netdev,sec=sys  0  0
10.3.1.4:/hanadb1-log-mnt00001 /hana/log/HN1/mnt00001  nfs   rw,nfsvers=4.1,hard,timeo=600,rsize=262144,wsize=262144,noatime,lock,_netdev,sec=sys  0  0
10.3.1.4:/hanadb1-shared-mnt00001 /hana/shared/HN1  nfs   rw,nfsvers=4.1,hard,timeo=600,rsize=262144,wsize=262144,noatime,lock,_netdev,sec=sys  0  0

    hanadb2의 예:

    10.3.1.4:/hanadb2-data-mnt00001 /hana/data/HN1/mnt00001  nfs   rw,nfsvers=4.1,hard,timeo=600,rsize=262144,wsize=262144,noatime,lock,_netdev,sec=sys  0  0
10.3.1.4:/hanadb2-log-mnt00001 /hana/log/HN1/mnt00001  nfs   rw,nfsvers=4.1,hard,timeo=600,rsize=262144,wsize=262144,noatime,lock,_netdev,sec=sys  0  0
10.3.1.4:/hanadb2-shared-mnt00001 /hana/shared/HN1  nfs   rw,nfsvers=4.1,hard,timeo=600,rsize=262144,wsize=262144,noatime,lock,_netdev,sec=sys  0  0

    모든 볼륨을 탑재합니다.

    sudo mount -a

    더 높은 처리량이 필요한 워크로드의 경우 SAP HANA용 Azure NetApp Files의 NFS v4.1 볼륨에 설명된 대로 탑재 옵션을 사용하는 nconnect 것이 좋습니다. nconnect를 Linux 릴리스에서 Azure NetApp Files가 지원하는지 확인합니다.

  4. [A] 모든 HANA 볼륨이 NFS 프로토콜 버전 NFSv4로 탑재되었는지 확인합니다.

    sudo nfsstat -m

    플래그 vers 가 4.1로 설정되어 있는지 확인합니다.

    hanadb1의 예:

    /hana/log/HN1/mnt00001 from 10.3.1.4:/hanadb1-log-mnt00001
Flags: rw,noatime,vers=4.1,rsize=262144,wsize=262144,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=10.3.0.4,local_lock=none,addr=10.3.1.4
/hana/data/HN1/mnt00001 from 10.3.1.4:/hanadb1-data-mnt00001
Flags: rw,noatime,vers=4.1,rsize=262144,wsize=262144,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=10.3.0.4,local_lock=none,addr=10.3.1.4
/hana/shared/HN1 from 10.3.1.4:/hanadb1-shared-mnt00001
Flags: rw,noatime,vers=4.1,rsize=262144,wsize=262144,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=10.3.0.4,local_lock=none,addr=10.3.1.4

  5. [A]nfs4_disable_idmapping을 확인합니다. Y로 설정해야 합니다. nfs4_disable_idmapping 있는 디렉터리 구조를 만들려면 mount 명령을 실행합니다. 커널/드라이버에 대한 액세스가 예약되어 있으므로 디렉터리를 /sys/modules 수동으로 만들 수 없습니다.

    #Check nfs4_disable_idmapping
sudo cat /sys/module/nfs/parameters/nfs4_disable_idmapping

#If you need to set nfs4_disable_idmapping to Y
sudo echo "Y" > /sys/module/nfs/parameters/nfs4_disable_idmapping

#Make the configuration permanent
sudo echo "options nfs nfs4_disable_idmapping=Y" >> /etc/modprobe.d/nfs.conf

SAP HANA 설치

  1. [A] 모든 호스트의 호스트 이름 확인을 설정합니다.

    DNS 서버를 사용하거나 모든 노드의 /etc/hosts 파일을 수정할 수 있습니다. 다음 예제에서는 /etc/hosts 파일을 사용하는 방법을 보여 줍니다. 다음 명령에서 IP 주소와 호스트 이름을 바꿉니다.

    sudo vi /etc/hosts

    파일에 다음 줄을 삽입합니다 /etc/hosts . 사용자 환경에 맞게 IP 주소와 호스트 이름을 변경합니다.

    10.3.0.4   hanadb1
10.3.0.5   hanadb2

  2. [A] NFS를 사용하여 Azure NetApp에서 SAP HANA를 실행하기 위한 OS를 준비합니다. SAP Note 3024346 - NetApp NFS용 Linux 커널 설정 설명합니다. NetApp 구성 설정에 대한 구성 파일을 /etc/sysctl.d/91-NetApp-HANA.conf 만듭니다.

    sudo vi /etc/sysctl.d/91-NetApp-HANA.conf

    구성 파일에 다음 항목을 추가합니다.

    net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_rmem = 4096 131072 16777216
net.ipv4.tcp_wmem = 4096 16384 16777216
net.core.netdev_max_backlog = 300000
net.ipv4.tcp_slow_start_after_idle=0
net.ipv4.tcp_no_metrics_save = 1
net.ipv4.tcp_moderate_rcvbuf = 1
net.ipv4.tcp_window_scaling = 1
net.ipv4.tcp_sack = 1

  3. [A] 더 많은 최적화 설정을 사용하여 구성 파일을 /etc/sysctl.d/ms-az.conf 만듭니다.

    sudo vi /etc/sysctl.d/ms-az.conf

    구성 파일에 다음 항목을 추가합니다.

    net.ipv6.conf.all.disable_ipv6 = 1
net.ipv4.tcp_max_syn_backlog = 16348
net.ipv4.conf.all.rp_filter = 0
sunrpc.tcp_slot_table_entries = 128
vm.swappiness=10

    팁

    SAP 호스트 에이전트가 포트 범위를 관리할 수 있도록 sysctl 구성 파일에서 명시적으로 설정 net.ipv4.ip_local_port_rangenet.ipv4.ip_local_reserved_ports 하지 마세요. 자세한 내용은 SAP Note 2382421 참조하세요.

  4. [A] 설정을 조정 sunrpc 합니다. SAP Note 3024346 - NetApp NFS용 Linux 커널 설정 권장됩니다.

    sudo vi /etc/modprobe.d/sunrpc.conf

    다음 줄을 삽입합니다.

    options sunrpc tcp_max_slot_table_entries=128

  5. [A] HANA용 SLES를 구성합니다.

    SLES 버전에 따라 다음 SAP Notes에 설명된 대로 SLES를 구성합니다.

  6. [A] SAP HANA를 설치합니다.

    HANA 2.0 SPS 01부터 MDC(다중 테넌트 데이터베이스 컨테이너)가 기본 옵션입니다. HANA 시스템을 설치하면 SYSTEMDB와 동일한 SID가 있는 테넌트가 함께 만들어집니다. 경우에 따라 기본 테넌트가 필요하지 않습니다. 설치와 함께 초기 테넌트 만들기를 원하지 않는 경우 SAP Note 2629711 지침을 따릅니다.

    1. hdblcm HANA 설치 소프트웨어 디렉터리에서 프로그램을 시작합니다.

      ./hdblcm

    2. 프롬프트에서 다음 값을 입력합니다.

      • 설치 선택: 1(설치용)을 입력합니다.
      • 설치할 추가 구성 요소 선택: 1을 입력합니다.
      • Enter 설치 경로 [/hana/shared]의 경우: Enter 키를 눌러 기본값을 적용합니다.
      • 로컬 호스트 이름 [..]을 입력하려면 Enter 키를 눌러 기본값을 적용합니다.
      • 아래의 시스템에 호스트를 추가하시겠습니까? (y/n) [n]: n을 선택합니다.
      • SAP HANA 시스템 ID 입력: HN1을 입력합니다.
      • Enter 인스턴스 번호 [00]: 03을 입력합니다.
      • 데이터베이스 모드 선택/ 인덱스 입력 [1]: Enter 키를 눌러 기본값을 적용합니다.
      • 시스템 사용량 선택/ 인덱스 입력 [4]: 4(사용자 지정)를 입력합니다.
      • 데이터 볼륨의 위치 입력 [/hana/data]: Enter 키를 눌러 기본값을 적용합니다.
      • 로그 볼륨의 위치 입력 [/hana/log]: Enter 키를 눌러 기본값을 적용합니다.
      • 최대 메모리 할당을 제한하시겠습니까? [n]: Enter 키를 눌러 기본값을 적용합니다.
      • 호스트 '...'의 인증서 호스트 이름 입력 [...]: Enter 키를 눌러 기본값을 적용합니다.
      • SAP 호스트 에이전트 사용자(sapadm) 암호 입력: 호스트 에이전트 사용자 암호를 입력합니다.
      • SAP 호스트 에이전트 사용자(sapadm) 암호 확인: 호스트 에이전트 사용자 암호를 다시 입력하여 확인합니다.
      • 시스템 관리istrator(hn1adm) 암호 입력: 시스템 관리자 암호를 입력합니다.
      • System 관리istrator(hn1adm) 암호 확인: 시스템 관리자 암호를 다시 입력하여 확인합니다.
      • Enter System 관리istrator Home Directory [/usr/sap/HN1/home]: Enter 키를 눌러 기본값을 적용합니다.
      • Enter System 관리istrator Login Shell [/bin/sh]의 경우 Enter 키를 눌러 기본값을 적용합니다.
      • Enter System 관리istrator 사용자 ID [1001]: Enter 키를 눌러 기본값을 적용합니다.
      • 사용자 그룹의 ID 입력(sapsys) [79]: Enter 키를 눌러 기본값을 적용합니다.
      • SYSTEM(데이터베이스 사용자) 암호 입력: 데이터베이스 사용자 암호를 입력합니다.
      • SYSTEM(데이터베이스 사용자) 암호 확인: 데이터베이스 사용자 암호를 다시 입력하여 확인합니다.
      • 컴퓨터를 다시 부팅한 후 시스템을 다시 시작하시겠습니까? [n]: Enter 키를 눌러 기본값을 적용합니다.
      • 계속 하시겠습니까? (y/n): 요약의 유효성을 검사합니다. 계속하려면 y를 입력합니다.

  7. [A] SAP 호스트 에이전트를 업그레이드합니다.

    SAP Software Center에서 최신 SAP 호스트 에이전트 아카이브를 다운로드하고 다음 명령을 실행하여 에이전트를 업그레이드합니다. 다운로드한 파일을 가리키도록 보관 파일의 경로를 바꿉다.

    sudo /usr/sap/hostctrl/exe/saphostexec -upgrade -archive <path to SAP Host Agent SAR>

SAP HANA 시스템 복제 구성

SAP HANA 시스템 복제본(replica)tion의 단계에 따라 SAP HANA 시스템 복제본(replica) 구성합니다.

클러스터 구성

이 섹션에서는 Azure NetApp Files를 사용하여 NFS 공유에 SAP HANA를 설치할 때 클러스터가 원활하게 작동하는 데 필요한 단계를 설명합니다.

Pacemaker 클러스터 만들기

Azure의 SUSE Enterprise Linux에서 Pacemaker 설정의 단계에 따라 이 HANA 서버에 대한 기본 Pacemaker 클러스터를 만듭니다.

HANA 후크 SAPHanaSR 및 susChkSrv 구현

이 중요한 단계는 클러스터와의 통합을 최적화하고 클러스터 장애 조치(failover)가 필요할 때 검색을 향상시킵니다. SAPHanaSR 및 susChkSrv Python 후크를 모두 구성하는 것이 좋습니다. Python 시스템 복제본(replica)tion 후크 SAPHanaSR 및 susChkSrv 구현의 단계를 따릅니다.

SAP HANA 클러스터 리소스 구성

이 섹션에서는 SAP HANA 클러스터 리소스를 구성하는 데 필요한 단계를 설명합니다.

SAP HANA 클러스터 리소스 만들기

SAP HANA 클러스터 리소스 만들기의 단계에 따라 HANA 서버에 대한 클러스터 리소스를 만듭니다. 리소스를 만든 후에는 다음 명령을 사용하여 클러스터의 상태 표시됩니다.

sudo crm_mon -r

예제 출력:

# Online: [ hn1-db-0 hn1-db-1 ]
# Full list of resources:
# stonith-sbd     (stonith:external/sbd): Started hn1-db-0
# Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03]
#     Started: [ hn1-db-0 hn1-db-1 ]
# Master/Slave Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03]
#     Masters: [ hn1-db-0 ]
#     Slaves: [ hn1-db-1 ]
# Resource Group: g_ip_HN1_HDB03
#     rsc_ip_HN1_HDB03   (ocf::heartbeat:IPaddr2):       Started hn1-db-0
#     rsc_nc_HN1_HDB03   (ocf::heartbeat:azure-lb):      Started hn1-db-0

파일 시스템 리소스 만들기

더미 파일 시스템 클러스터 리소스를 만듭니다. NFS 탑재 파일 시스템 /hana/shared에 액세스하는 데 문제가 있는 경우 오류를 모니터링하고 보고합니다. 이렇게 하면 /hana/shared에 액세스하는 데 문제가 있는 경우 클러스터에서 장애 조치(failover)를 트리거할 수 있습니다. 자세한 내용은 HANA 시스템 복제용 SUSE HA 클러스터에서 실패한 NFS 공유 처리를 참조하세요.

  1. [A] 두 노드에 디렉터리 구조를 만듭니다.

    sudo mkdir -p /hana/shared/HN1/check
sudo mkdir -p /hana/shared/check

  2. [1] 모니터링을 위해 디렉터리 구조를 추가하도록 클러스터를 구성합니다.

    sudo crm configure primitive rsc_fs_check_HN1_HDB03 Filesystem params \
    device="/hana/shared/HN1/check/" \
    directory="/hana/shared/check/" fstype=nfs  \
    options="bind,defaults,rw,hard,rsize=262144,wsize=262144,proto=tcp,noatime,_netdev,nfsvers=4.1,lock,sec=sys" \
    op monitor interval=120 timeout=120 on-fail=fence \
    op_params OCF_CHECK_LEVEL=20 \
    op start interval=0 timeout=120 \
    op stop interval=0 timeout=120

  3. [1] 클러스터에서 새로 구성된 볼륨을 복제하고 검사.

    sudo crm configure clone cln_fs_check_HN1_HDB03 rsc_fs_check_HN1_HDB03 meta clone-node-max=1 interleave=true

    예제 출력:

    sudo crm status

# Cluster Summary:
# Stack: corosync
# Current DC: hanadb1 (version 2.0.5+20201202.ba59be712-4.9.1-2.0.5+20201202.ba59be712) - partition with quorum
# Last updated: Tue Nov  2 17:57:39 2021
# Last change:  Tue Nov  2 17:57:38 2021 by root via crm_attribute on hanadb1
# 2 nodes configured
# 11 resource instances configured

# Node List:
# Online: [ hanadb1 hanadb2 ]

# Full List of Resources:
# Clone Set: cln_azure-events [rsc_azure-events]:
#  Started: [ hanadb1 hanadb2 ]
# Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03]:
#  rsc_SAPHanaTopology_HN1_HDB03     (ocf::suse:SAPHanaTopology):     Started hanadb1 (Monitoring)
#  rsc_SAPHanaTopology_HN1_HDB03     (ocf::suse:SAPHanaTopology):     Started hanadb2 (Monitoring)
# Clone Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03] (promotable):
#  rsc_SAPHana_HN1_HDB03     (ocf::suse:SAPHana):     Master hanadb1 (Monitoring)
#  Slaves: [ hanadb2 ]
# Resource Group: g_ip_HN1_HDB03:
#  rsc_ip_HN1_HDB03  (ocf::heartbeat:IPaddr2):        Started hanadb1
#  rsc_nc_HN1_HDB03  (ocf::heartbeat:azure-lb):       Started hanadb1
# rsc_st_azure        (stonith:fence_azure_arm):       Started hanadb2
# Clone Set: cln_fs_check_HN1_HDB03 [rsc_fs_check_HN1_HDB03]:
#  Started: [ hanadb1 hanadb2 ]

    OCF_CHECK_LEVEL=20 모니터 작업이 파일 시스템에서 읽기/쓰기 테스트를 수행하도록 특성이 모니터 작업에 추가됩니다. 이 특성이 없으면 모니터 작업은 파일 시스템이 탑재되어 있는지만 확인합니다. 이는 연결이 끊어질 때 파일 시스템에 액세스할 수 없는 경우에도 탑재된 상태를 유지할 수 있기 때문에 문제가 될 수 있습니다.

    on-fail=fence 특성도 모니터 작업에 추가됩니다. 이 옵션을 사용하면 노드에서 모니터 작업이 실패하는 경우 해당 노드가 즉시 펜싱됩니다.

Important

불필요한 펜스 작업을 방지하려면 이전 구성의 시간 제한을 특정 HANA 설정에 맞게 조정해야 할 수 있습니다. 시간 제한 값을 너무 낮게 설정하지 마세요. 파일 시스템 모니터는 HANA 시스템 복제본(replica) 관련이 없습니다. 자세한 내용은 SUSE 설명서를 참조 하세요.

클러스터 설정 테스트

이 섹션에서는 설정을 테스트하는 방법을 설명합니다.

  1. 테스트를 시작하기 전에 Pacemaker에 실패한 작업(crm 상태 통해)이 없고 예기치 않은 위치 제약 조건(예: 마이그레이션 테스트의 남은 작업)이 없는지 확인합니다. 또한 HANA 시스템 복제본(replica)가 동기화 상태인지 확인합니다(예systemReplicationStatus: .).

    sudo su - hn1adm -c "python /usr/sap/HN1/HDB03/exe/python_support/systemReplicationStatus.py"

  2. 다음 명령을 사용하여 HANA 리소스의 상태 확인합니다.

    SAPHanaSR-showAttr

# You should see something like below
# hanadb1:~ SAPHanaSR-showAttr
# Global cib-time                 maintenance
# --------------------------------------------
# global Mon Nov  8 22:50:30 2021 false
# Sites srHook
# -------------
# SITE1 PRIM
# SITE2 SOK
# Site2 SOK
# Hosts   clone_state lpa_hn1_lpt node_state op_mode   remoteHost roles                            score site  srmode sync_state version                vhost
# --------------------------------------------------------------------------------------------------------------------------------------------------------------
# hanadb1 PROMOTED    1636411810  online     logreplay hanadb2    4:P:master1:master:worker:master 150   SITE1 sync   PRIM       2.00.058.00.1634122452 hanadb1
# hanadb2 DEMOTED     30          online     logreplay hanadb1    4:S:master1:master:worker:master 100   SITE2 sync   SOK        2.00.058.00.1634122452 hanadb2

  3. 노드가 종료되는 경우 오류 시나리오에 대한 클러스터 구성을 확인합니다. 다음 예제에서는 노드 1을 종료하는 방법을 보여줍니다.

    sudo crm status
sudo crm resource move msl_SAPHana_HN1_HDB03 hanadb2 force
sudo crm resource cleanup

    예제 출력:

    sudo crm status

#Cluster Summary:
# Stack: corosync
# Current DC: hanadb2 (version 2.0.5+20201202.ba59be712-4.9.1-2.0.5+20201202.ba59be712) - partition with quorum
# Last updated: Mon Nov  8 23:25:36 2021
# Last change:  Mon Nov  8 23:25:19 2021 by root via crm_attribute on hanadb2
# 2 nodes configured
# 11 resource instances configured

# Node List:
# Online: [ hanadb1 hanadb2 ]
# Full List of Resources:
# Clone Set: cln_azure-events [rsc_azure-events]:
#  Started: [ hanadb1 hanadb2 ]
# Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03]:
#  Started: [ hanadb1 hanadb2 ]
# Clone Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03] (promotable):
#  Masters: [ hanadb2 ]
#  Stopped: [ hanadb1 ]
# Resource Group: g_ip_HN1_HDB03:
#  rsc_ip_HN1_HDB03  (ocf::heartbeat:IPaddr2):        Started hanadb2
#  rsc_nc_HN1_HDB03  (ocf::heartbeat:azure-lb):       Started hanadb2
# rsc_st_azure        (stonith:fence_azure_arm):       Started hanadb2
# Clone Set: cln_fs_check_HN1_HDB03 [rsc_fs_check_HN1_HDB03]:
#  Started: [ hanadb1 hanadb2 ]

    Node1에서 HANA를 중지합니다.

    sudo su - hn1adm
sapcontrol -nr 03 -function StopWait 600 10

    노드 1을 보조 노드로 등록하고 검사 상태.

    hdbnsutil -sr_register --remoteHost=hanadb2 --remoteInstance=03 --replicationMode=sync --name=SITE1 --operationMode=logreplay

    예제 출력:

    #adding site ...
#nameserver hanadb1:30301 not responding.
#collecting information ...
#updating local ini files ...
#done.

    sudo crm status

    sudo SAPHanaSR-showAttr

  4. 노드가 NFS 공유(/hana/shared)에 대한 액세스 권한을 잃을 때 오류 시나리오에 대한 클러스터 구성을 확인합니다.

    SAP HANA 리소스 에이전트는 장애 조치(failover) 중에 작업을 수행하기 위해 /hana/shared에 저장된 이진 파일에 의존합니다. 파일 시스템 /hana/shared는 제공된 시나리오에서 NFS를 통해 탑재됩니다.

    서버 중 하나가 NFS 공유에 대한 액세스 권한을 상실하는 오류를 시뮬레이션하는 것은 어렵습니다. 테스트로 파일 시스템을 읽기 전용으로 다시 탑재할 수 있습니다. 이 방법은 활성 노드에서 /hana/shared에 대한 액세스가 손실된 경우 클러스터가 장애 조치(failover)될 수 있는지 확인합니다.

    예상 결과: /hana/shared를 읽기 전용 파일 시스템으로 만들면 파일 시스템에서 OCF_CHECK_LEVEL 읽기/쓰기 작업을 수행하는 리소스 hana_shared1의 특성이 실패합니다. 파일 시스템에 아무것도 쓸 수 없고 HANA 리소스 장애 조치(failover)를 수행하므로 실패합니다. HANA 노드가 NFS 공유에 액세스할 수 없는 경우에도 동일한 결과가 예상됩니다.

    테스트 시작 전 리소스 상태:

    sudo crm  status

#Cluster Summary:
 # Stack: corosync
 # Current DC: hanadb2 (version 2.0.5+20201202.ba59be712-4.9.1-2.0.5+20201202.ba59be712) - partition with quorum
 # Last updated: Mon Nov  8 23:01:27 2021
 # Last change:  Mon Nov  8 23:00:46 2021 by root via crm_attribute on hanadb1
 # 2 nodes configured
 # 11 resource instances configured

 #Node List:
 # Online: [ hanadb1 hanadb2 ]

 #Full List of Resources:
 # Clone Set: cln_azure-events [rsc_azure-events]:
   # Started: [ hanadb1 hanadb2 ]
 # Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03]:
   # Started: [ hanadb1 hanadb2 ]
 # Clone Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03] (promotable):
   # Masters: [ hanadb1 ]
   # Slaves: [ hanadb2 ]
 # Resource Group: g_ip_HN1_HDB03:
   # rsc_ip_HN1_HDB03  (ocf::heartbeat:IPaddr2):        Started hanadb1
   # rsc_nc_HN1_HDB03  (ocf::heartbeat:azure-lb):       Started hanadb1
 # rsc_st_azure        (stonith:fence_azure_arm):       Started hanadb2
 # Clone Set: cln_fs_check_HN1_HDB03 [rsc_fs_check_HN1_HDB03]:
   # Started: [ hanadb1 hanadb2 ]

    다음 명령을 사용하여 활성 클러스터 노드에 /hana/shared를 읽기 전용 모드로 배치할 수 있습니다.

    sudo mount -o ro 10.3.1.4:/hanadb1-shared-mnt00001 /hana/sharedb

    서버 hanadb1 가 다시 부팅되거나 작업 집합에 따라 전원이 꺼져 있습니다. 서버 hanadb1 가 다운되면 HANA 리소스가 .로 hanadb2이동합니다. 에서 클러스터hanadb2의 상태 검사 수 있습니다.

    sudo crm status

#Cluster Summary:
 # Stack: corosync
 # Current DC: hanadb2 (version 2.0.5+20201202.ba59be712-4.9.1-2.0.5+20201202.ba59be712) - partition with quorum
 # Last updated: Wed Nov 10 22:00:27 2021
 # Last change:  Wed Nov 10 21:59:47 2021 by root via crm_attribute on hanadb2
 # 2 nodes configured
 # 11 resource instances configured

 #Node List:
 # Online: [ hanadb1 hanadb2 ]

 #Full List of Resources:
 # Clone Set: cln_azure-events [rsc_azure-events]:
   # Started: [ hanadb1 hanadb2 ]
 # Clone Set: cln_SAPHanaTopology_HN1_HDB03 [rsc_SAPHanaTopology_HN1_HDB03]:
   # Started: [ hanadb1 hanadb2 ]
 # Clone Set: msl_SAPHana_HN1_HDB03 [rsc_SAPHana_HN1_HDB03] (promotable):
   # Masters: [ hanadb2 ]
   # Stopped: [ hanadb1 ]
 # Resource Group: g_ip_HN1_HDB03:
      # rsc_ip_HN1_HDB03  (ocf::heartbeat:IPaddr2):        Started hanadb2
   # rsc_nc_HN1_HDB03  (ocf::heartbeat:azure-lb):       Started hanadb2
 # rsc_st_azure        (stonith:fence_azure_arm):       Started hanadb2
 # Clone Set: cln_fs_check_HN1_HDB03 [rsc_fs_check_HN1_HDB03]:
   # Started: [ hanadb1 hanadb2 ]

    SAP HANA 시스템 복제본(replica) 설명된 테스트를 수행하여 SAP HANA 클러스터 구성을 철저히 테스트하는 것이 좋습니다.

다음 단계