توفر قابلية وصول عالية لـSAP NetWeaver على نظام رصد السفن أزور على SUSE لينكس خادم المؤسسة لتطبيقات SAP

توضح هذه المقالة كيفية نشر الأجهزة الظاهرية، وتكوين الأجهزة الظاهرية، وتثبيت إطار عمل نظام المجموعة، وتثبيت نظام SAP NetWeaver أو SAP ABAP المستند إلى نظام أساسي عالي التوفر. في تكوينات المثال، يتم استخدام رقم مثيل ASCS 00 ورقم مثيل ERS 02 وSAP System ID NW1.

بالنسبة للتطبيقات الجديدة على SLES لتطبيقات SAP 15، نوصي بنشر قابلية وصول عالية ل SAP ASCS/ERS في تكوين تحميل بسيط. لا يزال تكوين Pacemaker الكلاسيكي، استنادا إلى أنظمة الملفات التي يتم التحكم فيها بواسطة نظام المجموعة لدلائل خدمات SAP المركزية، الموضحة في هذه المقالة مدعوما.

اقرأ ملاحظات وأوراق SAP التالية أولًا

  • 1928533 ملاحظة SAP، والتي تحتوي على:
    • قائمة بأحجام Azure VM المعتمدة لنشر برنامج SAP
    • معلومات مهمة عن السعة لأحجام أجهزة Azure الظاهرية
    • برنامج SAP المدعوم ونظام التشغيل (OS) ومجموعات قواعد البيانات
    • مطلوب إصدار SAP kernel Windows وLinux على Microsoft Azure
  • تسرد ملاحظة SAP رقم 2015553 المتطلبات الأساسية لعمليات نشر برامج SAP المدعومة في Azure.
  • أوصت ملاحظة SAP رقم 2205917 بإعدادات نظام التشغيل لخادم المؤسسة SUSE Linux لتطبيقات SAP
  • تتضمن ملاحظة SAP رقم 1944799 إرشادات SAP HANA لـ SUSE Linux Enterprise Server for SAP Applications
  • تحتوي ملاحظة SAP Note 2178632 على معلومات مفصلة حول جميع مقاييس المراقبة التي تم الإبلاغ عنها لـ SAP في Azure.
  • تحتوي ملاحظة SAP 2191498 على إصدار SAP Host Agent المطلوب لنظام التشغيل Linux في Azure.
  • تحتوي ملاحظة SAP رقم 2243692 على معلومات حول ترخيص SAP على Linux في Azure.
  • تحتوي ملاحظة SAP رقم 1984787 على معلومات عامة حول خادم المؤسسة SUSE Linux 12.
  • تتضمن ملاحظة رقم SAP 1999351 معلومات إضافية لاستكشاف الأخطاء وإصلاحها لـ Azure Enhanced Monitoring Extension for SAP.
  • يحتوي SAP Community WIKI عل كل ملاحظات SAP المطلوبة لـ Linux.
  • تخطيط وتنفيذ أجهزة Azure الظاهرية ل SAP على Linux
  • توزيع أجهزة Azure الظاهرية لـ SAP على نظام تشغيل Linux
  • نشر Azure Virtual Machines DBMS لـ SAP على Linux
  • أدلة أفضل ممارسات SUSE SAP HA تحتوي الأدلة على كافة المعلومات المطلوبة لإعداد Netweaver HA والنسخ المتماثل للنظام SAP HANA محليًا. استخدم هذه الأدلة كخط أساس عام. فهي توفر معلومات أكثر تفصيلا.
  • ملحق قابلية الوصول العالية لـ SUSE - ملاحظات الإصدار 12 SP3

نظرة عامة

لتحقيق قابلية الوصول العالية، يتطلب SAP NetWeaver خادم NFS. تم تكوين خادم NFS في مجموعة منفصلة ويمكن استخدامه من قِبَل أنظمة SAP متعددة.

نظرة عامة حول توفر SAP NetWeaver العالي

يستخدم خادم NFS وSAP NetWeaver ASCS وSAP NetWeaver SCS وSAP NetWeaver ERS وقاعدة بيانات SAP Hana اسم مضيف ظاهري وعناوين IP افتراضية. على Azure، يتطلب موازن تحميل لاستخدام عنوان IP ظاهري. نوصي باستخدام موازن التحميل القياسي. يعرض التكوين المقدم موازنة التحميل مع:

  • عنوان IP للواجهة الأمامية 10.0.0.7 لـASCS
  • عنوان IP للواجهة الأمامية 10.0.0.8 لـERS
  • منفذ التحقيق 62000 لـ ASCS
  • منفذ التحقيق 62101 لـ ERS

إعداد خادم NFS متوفر بشكل كبير

إشعار

نوصي بنشر إحدى خدمات NFS التابعة لجهة Azure الأولى: NFS على ملفات Azure أو وحدات تخزين NFS ANF لتخزين البيانات المشتركة في نظام SAP عالي التوفر. كن على علم بأننا نلغي التأكيد على بنيات مرجع SAP، باستخدام مجموعات NFS.
إرشادات تكوين SAP لنظام SAP NW المتوفر بشكل كبير مع خدمات NFS الأصلية هي:

يتطلب SAP NetWeaver مساحة تخزين مشتركة لدليل النقل وملف التعريف. اقرأ قابلية وصول عالية لـNFS على أجهزة Azure الظاهرية على خادم SUSE Linux Enterpriseحول كيفية إعداد خادم NFS لـSAP NetWeaver.

تحضير البنية التحتية

يتم تضمين عامل الموارد لمثيل SAP في SUSE Linux Enterprise Server لتطبيقات SAP. تتوفر صورة ل SUSE Linux Enterprise Server لتطبيقات SAP 12 أو 15 في Azure Marketplace. يمكنك استخدام الصورة لنشر أجهزة ظاهرية جديدة.

نشر نظام تشغيل أجهزة Linux الظاهرية يدوياً عبر مدخل Microsoft Azure

يفترض هذا المستند أنك قمت بالفعل بنشر مجموعة موارد وشبكة Azure الظاهرية والشبكة الفرعية.

نشر الأجهزة الظاهرية باستخدام صورة SLES لتطبيقات SAP. اختر إصدارا مناسبا من صورة SLES المدعومة لنظام SAP. يمكنك نشر الجهاز الظاهري في أي من خيارات التوفر - مجموعة مقياس الجهاز الظاهري أو منطقة التوفر أو مجموعة التوفر.

تكوين موازن تحميل Azure

أثناء تكوين الجهاز الظاهري، لديك خيار لإنشاء أو تحديد الخروج من موازن التحميل في قسم الشبكات. اتبع الخطوات أدناه لتكوين موازن تحميل قياسي لإعداد قابلية الوصول العالية ل SAP ASCS وSAP ERS.

اتبع إنشاء دليل موازن التحميل لإعداد موازن تحميل قياسي لنظام SAP عالي التوفر باستخدام مدخل Microsoft Azure. أثناء إعداد موازن التحميل، ضع في اعتبارك النقاط التالية.

  1. تكوين IP للواجهة الأمامية: إنشاء عنواني IP للواجهة الأمامية، أحدهما ل ASCS والآخر ل ERS. حدد نفس الشبكة الظاهرية والشبكة الفرعية مثل الأجهزة الظاهرية ASCS/ERS.
  2. تجمع الخلفية: إنشاء تجمع الخلفية وإضافة ASCS وERS VMs.
  3. القواعد الواردة: إنشاء قاعدتين لموازنة التحميل، واحدة ل ASCS وأخرى ل ERS. اتبع نفس الخطوات لكل من قواعد موازنة التحميل.
    • عنوان IP للواجهة الأمامية: حدد IP للواجهة الأمامية
    • تجمع الواجهة الخلفية: حدد تجمع الواجهة الخلفية
    • تحقق من "منافذ قابلية وصول عالية"
    • Protocol: TCP
    • Health Probe: إنشاء مسبار صحي بالتفاصيل أدناه (ينطبق على كل من ASCS أو ERS)
      • Protocol: TCP
      • المنفذ: [على سبيل المثال: 620<Instance-no.> ل ASCS، 621<Instance-no.> for ERS]
      • الفاصل الزمني: 5
      • عتبة الفحص: 2
    • مهلة الخمول (بالدقائق): 30
    • تحقق من "تمكين IP العائم"

إشعار

لا يتم احترام خاصية تكوين التحقيق الصحي numberOfProbes، والمعروفة باسم "عتبة غير سليمة" في المدخل. لذلك للتحكم في عدد التحقيقات المتتالية الناجحة أو الفاشلة، قم بتعيين الخاصية "probeThreshold" إلى 2. لا يمكن حاليا تعيين هذه الخاصية باستخدام مدخل Microsoft Azure، لذا استخدم إما الأمر Azure CLI أو PowerShell .

إشعار

عندما يتم وضع الأجهزة الظاهرية دون عناوين IP عامة في المجموعة الخلفية لموازن تحميل Azure القياسي الداخلي (دون عنوان IP عام)، فلن يكون هناك اتصال بالإنترنت الصادر، ما لم يتم إجراء تكوين إضافي للسماح بالتوجيه إلى نقاط النهاية العامة. للحصول على تفاصيل حول كيفية تحقيق الاتصال الصادر راجع اتصال نقطة النهاية العامة للأجهزة الظاهرية باستخدام موازن تحميل Azure قياسي في سيناريوهات SAP ذات قابلية الوصول العالية.

هام

  • لا تمكِّن طوابع TCP الزمنية على أجهزة Azure الظاهرية خلف Azure Load Balancer. سيؤدي تمكين طوابع TCP الزمنية إلى فشل فحوصات السلامة. عين net.ipv4.tcp_timestamps المعلمة إلى0 لمزيد من التفاصيل، راجع فحوصات صحة موازن التحميل.
  • لمنع saptune من تغيير القيمة المعينة net.ipv4.tcp_timestamps يدويا من 0 العودة إلى 1، يجب تحديث إصدار saptune إلى 3.1.1 أو أعلى. لمزيد من التفاصيل، راجع saptune 3.1.1 - هل أحتاج إلى التحديث؟.

إعداد (A)SCS

بعد ذلك، ستقوم بإعداد وتثبيت مثيلات SAP ASCS وERS.

إنشاء نظام مجموعة Pacemaker

اتبع الخطوات فيSetting up Pacemaker على Linux Enterprise Server في Azureلإنشاء نظام مجموعة Pacemaker أساسي لخادم SCS(A) هذا.

التثبيت

العناصر التالية مسبوقة إما ب [A] - تنطبق على جميع العقد، [1]- تنطبق فقط على العقدة 1، أو [2]- تنطبق فقط على العقدة 2.

  1. [A] تثبيت موصل SUSE

    sudo zypper install sap-suse-cluster-connector
    

    إشعار

    تم إصلاح المشكلة المعروفة مع استخدام شرطة في أسماء المضيفين مع الإصدار 3.1.1 من حزمة sap-suse-cluster-connector. تأكد من أنك تستخدم الإصدار 3.1.1 على الأقل من حزمة sap-suse-cluster-connector، إذا كنت تستخدم عقد نظام المجموعة مع شرطة في اسم المضيف. وإلا فإن مجموعتك لن تعمل.

    تأكد من تثبيت الإصدار الجديد من موصل نظام المجموعة SAP SUSE. كان يطلق على القديم اسم sap_suse_cluster_connector ويسمى الجديد sap-suse-cluster-connector.

    sudo zypper info sap-suse-cluster-connector
    
    Information for package sap-suse-cluster-connector:
    ---------------------------------------------------
    Repository     : SLE-12-SP3-SAP-Updates
    Name           : sap-suse-cluster-connector
    <b>Version        : 3.0.0-2.2</b>
    Arch           : noarch
    Vendor         : SUSE LLC <https://www.suse.com/>
    Support Level  : Level 3
    Installed Size : 41.6 KiB
    <b>Installed      : Yes</b>
    Status         : up-to-date
    Source package : sap-suse-cluster-connector-3.0.0-2.2.src
    Summary        : SUSE High Availability Setup for SAP Products
    
  2. [A] تحديث وكلاء موارد SAP

    يلزم إجراء تصحيح لحزمة عوامل الموارد لاستخدام التكوين الجديد الموضح في هذه المقالة. يمكنك التحقق مما إذا كان التصحيح مثبتا بالفعل باستخدام الأمر التالي

    sudo grep 'parameter name="IS_ERS"' /usr/lib/ocf/resource.d/heartbeat/SAPInstance
    

    يجب أن يكون الناتج مشابهًا لما يلي

    <parameter name="IS_ERS" unique="0" required="0">
    

    إذا لم يعثر الأمر grep على المعلمة IS_ERS، فستحتاج إلى تثبيت التصحيح المدرج في صفحة تنزيل SUSE.

    # example for patch for SLES 12 SP1
    sudo zypper in -t patch SUSE-SLE-HA-12-SP1-2017-885=1
    # example for patch for SLES 12 SP2
    sudo zypper in -t patch SUSE-SLE-HA-12-SP2-2017-886=1
    
  3. [A] إعداد دقة اسم المضيف

    يمكنك إما استخدام خادم DNS أو تعديل /etc/hosts على كافة العُقد. يوضح هذا المثال كيفية استخدام الملف/etc/hosts. استبدل عنوان IP واسم المضيف في الأوامر التالية.

    sudo vi /etc/hosts
    
    # Insert the following lines to /etc/hosts. Change the IP address and hostname to match your environment
    # IP address of the load balancer frontend configuration for NFS
    10.0.0.4 nw1-nfs
    # IP address of the load balancer frontend configuration for SAP NetWeaver ASCS
    10.0.0.7 nw1-ascs
    # IP address of the load balancer frontend configuration for SAP NetWeaver ASCS ERS
    10.0.0.8 nw1-aers
    # IP address of the load balancer frontend configuration for database
    10.0.0.13 nw1-db
    

الاستعداد لتثبيت SAP NetWeaver

  1. [A] إنشاء الدلائل المشتركة

    sudo mkdir -p /sapmnt/NW1
    sudo mkdir -p /usr/sap/trans
    sudo mkdir -p /usr/sap/NW1/SYS
    sudo mkdir -p /usr/sap/NW1/ASCS00
    sudo mkdir -p /usr/sap/NW1/ERS02
    
    sudo chattr +i /sapmnt/NW1
    sudo chattr +i /usr/sap/trans
    sudo chattr +i /usr/sap/NW1/SYS
    sudo chattr +i /usr/sap/NW1/ASCS00
    sudo chattr +i /usr/sap/NW1/ERS02
    
  2. [A] تكوين autofs

    sudo vi /etc/auto.master
    
    # Add the following line to the file, save and exit
    +auto.master
    /- /etc/auto.direct
    

    إنشاء ملف باستخدام

    sudo vi /etc/auto.direct
    
    # Add the following lines to the file, save and exit
    /sapmnt/NW1 -nfsvers=4,nosymlink,sync nw1-nfs:/NW1/sapmntsid
    /usr/sap/trans -nfsvers=4,nosymlink,sync nw1-nfs:/NW1/trans
    /usr/sap/NW1/SYS -nfsvers=4,nosymlink,sync nw1-nfs:/NW1/sidsys
    

    إعادة تشغيل autofs لتحميل الأسهم الجديدة

    sudo systemctl enable autofs
    sudo service autofs restart
    
  3. [A] تكوين ملف الذاكرة الظاهرية

    إنشاء ملف تبديل كما هو محدد في إنشاء ملف SWAP لجهاز Azure Linux الظاهري

    #!/bin/sh
    
    # Percent of space on the ephemeral disk to dedicate to swap. Here 30% is being used. Modify as appropriate.
    PCT=0.3
    
    # Location of swap file. Modify as appropriate based on location of ephemeral disk.
    LOCATION=/mnt
    
    if [ ! -f ${LOCATION}/swapfile ]
    then
    
        # Get size of the ephemeral disk and multiply it by the percent of space to allocate
        size=$(/bin/df -m --output=target,avail | /usr/bin/awk -v percent="$PCT" -v pattern=${LOCATION} '$0 ~ pattern {SIZE=int($2*percent);print SIZE}')
        echo "$size MB of space allocated to swap file"
    
         # Create an empty file first and set correct permissions
        /bin/dd if=/dev/zero of=${LOCATION}/swapfile bs=1M count=$size
        /bin/chmod 0600 ${LOCATION}/swapfile
    
        # Make the file available to use as swap
        /sbin/mkswap ${LOCATION}/swapfile
    fi
    
    # Enable swap
    /sbin/swapon ${LOCATION}/swapfile
    /sbin/swapon -a
    
    # Display current swap status
    /sbin/swapon -s
    

    اجعل الملف قابلا للتنفيذ.

    chmod +x /var/lib/cloud/scripts/per-boot/swap.sh
    

    إيقاف الجهاز الظاهري وبدء تشغيله. إيقاف وبدء تشغيل الجهاز الظاهري ضروري فقط في المرة الأولى بعد إنشاء ملف SWAP.

تثبيت SAP NetWeaver ASCS/ERS

  1. [1] إنشاء مورد IP افتراضي ومسبار سلامة لمثيل ASCS

    هام

    كشفت الاختبارات الأخيرة عن حالات، حيث تتوقف netcat عن الاستجابة للطلبات بسبب تراكم الأعمال المتراكمة ومحدوديتها في التعامل مع اتصال واحد فقط. يتوقف مورد netcat عن الاستماع إلى طلبات موازن تحميل Azure ويصبح عنوان IP الحُر غير متوفر.
    بالنسبة إلى أنظمة مجموعات Pacemaker الحالية، أوصينا في الماضي بإحلال netcat محل socat. نوصي حالياً باستخدام عامل موارد azure-lb، وهو جزء من عوامل موارد الحزمة، مع متطلبات إصدار الحزمة التالية:

    • بالنسبة لـ SLES 12 SP4/SP5، يجب أن يكون الإصدار على الأقل resource-agents-4.3.018.a7fb5035-3.30.1.
    • بالنسبة إلى SLES 15/15 SP1، يجب أن يكون الإصدار على الأقل resource-agents-4.3.0184.6ee15eb2-4.13.1.

    لاحظ أن التغيير سيتطلب وقتًا قصيرًا.
    بالنسبة إلى أنظمة مجموعات Pacemaker الموجودة، إذا تم تغيير التكوين بالفعل لاستخدام socat كما هو موضح في Azure Load-Balancer Detection Hardening، فلا يلزم التبديل فوراً إلى عامل مورد azure-lb.

    sudo crm node standby nw1-cl-1
    
    sudo crm configure primitive fs_NW1_ASCS Filesystem device='nw1-nfs:/NW1/ASCS' directory='/usr/sap/NW1/ASCS00' fstype='nfs4' \
      op start timeout=60s interval=0 \
      op stop timeout=60s interval=0 \
      op monitor interval=20s timeout=40s
    
    sudo crm configure primitive vip_NW1_ASCS IPaddr2 \
      params ip=10.0.0.7 \
      op monitor interval=10 timeout=20
    
    sudo crm configure primitive nc_NW1_ASCS azure-lb port=62000 \
      op monitor timeout=20s interval=10
    
    sudo crm configure group g-NW1_ASCS fs_NW1_ASCS nc_NW1_ASCS vip_NW1_ASCS \
       meta resource-stickiness=3000
    

    تأكد من أن حالة نظام المجموعة على ما يرام وأن كافة الموارد يتم بدء تشغيلها. لا يهم أي عقدة يتم فيها تشغيل الموارد.

    sudo crm_mon -r
    
    # Node nw1-cl-1: standby
    # Online: [ nw1-cl-0 ]
    # 
    # Full list of resources:
    # 
    # stonith-sbd     (stonith:external/sbd): Started nw1-cl-0
    #  Resource Group: g-NW1_ASCS
    #      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
    #      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
    #      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
    
  2. [1] تثبيت SAP NetWeaver ASCS

    قم بتثبيت SAP NetWeaver ASCS كجذر على العقدة الأولى باستخدام اسم مضيف افتراضي يقوم بتعيين عنوان IP الخاص بتكوين الواجهة الأمامية لموازنة التحميل لـASCS، على سبيل المثال nw1-ascs، 10.0.0.7 ورقم المثيل الذي استخدمته لمسبار موازنة التحميل، على سبيل المثال 00.

    يمكنك استخدام معلمة sapinst SAPINST_REMOTE_ACCESS_USER للسماح لمستخدم غير جذر بالاتصال بـsapinst.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
    

    إذا فشل التثبيت في إنشاء مجلد فرعي في /usr/sap/NW1/ASCS00, فحاول تعيين مالك ومجموعة المجلد ASCS00 وأعد المحاولة.

    chown nw1adm /usr/sap/NW1/ASCS00
    chgrp sapsys /usr/sap/NW1/ASCS00
    
  3. [1] إنشاء مورد IP افتراضي وفحص صحي لمثيل ERS

    sudo crm node online nw1-cl-1
    sudo crm node standby nw1-cl-0
    
    sudo crm configure primitive fs_NW1_ERS Filesystem device='nw1-nfs:/NW1/ASCSERS' directory='/usr/sap/NW1/ERS02' fstype='nfs4' \
      op start timeout=60s interval=0 \
      op stop timeout=60s interval=0 \
      op monitor interval=20s timeout=40s
    
    sudo crm configure primitive vip_NW1_ERS IPaddr2 \
      params ip=10.0.0.8 \
      op monitor interval=10 timeout=20
    
    sudo crm configure primitive nc_NW1_ERS azure-lb port=62102 \
      op monitor timeout=20s interval=10
    
    sudo crm configure group g-NW1_ERS fs_NW1_ERS nc_NW1_ERS vip_NW1_ERS
    

    تأكد من أن حالة نظام المجموعة على ما يرام وأن كافة الموارد يتم بدء تشغيلها. لا يهم أي عقدة يتم فيها تشغيل الموارد.

    sudo crm_mon -r
    
    # Node nw1-cl-0: standby
    # Online: [ nw1-cl-1 ]
    # 
    # Full list of resources:
    #
    # stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
    #  Resource Group: g-NW1_ASCS
    #      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
    #      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
    #      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
    #  Resource Group: g-NW1_ERS
    #      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-1
    #      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-1
    #      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
    
  4. [2] تثبيت SAP NetWeaver ERS

    قم بتثبيت SAP NetWeaver ERS كجذر على العقدة الثانية باستخدام اسم مضيف ظاهري يقوم بتعيين عنوان IP الخاص بتكوين الواجهة الأمامية لموازنة التحميل لـERS، على سبيل المثال nw1-aers،10.0.0.8 ورقم المثيل الذي استخدمته لمسبار موازنة التحميل، على سبيل المثال 02.

    يمكنك استخدام معلمة sapinst SAPINST_REMOTE_ACCESS_USER للسماح لمستخدم غير جذر بالاتصال بـsapinst.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
    

    إشعار

    استخدم SWPM SP 20 PL 05 أو أعلى. لا تقوم الإصدارات الأقل بتعيين الأذونات بشكل صحيح وسيفشل التثبيت.

    إذا فشل التثبيت في إنشاء مجلد فرعي في /usr/sap/NW1/ERS02، فحاول تعيين مالك المجلد ERS02 ومجموعته وإعادة المحاولة.

    chown nw1adm /usr/sap/NW1/ERS02
    chgrp sapsys /usr/sap/NW1/ERS02
    
  5. [1] تكييف ملفات تعريف مثيل ASCS/SCS وERS

    • ملف تعريف ASCS/SCS

      sudo vi /sapmnt/NW1/profile/NW1_ASCS00_nw1-ascs
      
      # Change the restart command to a start command
      #Restart_Program_01 = local $(_EN) pf=$(_PF)
      Start_Program_01 = local $(_EN) pf=$(_PF)
      
      # Add the following lines
      service/halib = $(DIR_CT_RUN)/saphascriptco.so
      service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector
      
      # Add the keep alive parameter, if using ENSA1
      enque/encni/set_so_keepalive = true
      

      بالنسبة لكل من ENSA1 وENSA2، تأكد من ضبط معلمات نظام التشغيل keepalive كما هو موضح في ملاحظة SAP 1410736.

    • ملف تعريف ERS

      sudo vi /sapmnt/NW1/profile/NW1_ERS02_nw1-aers
      
      # Change the restart command to a start command
      #Restart_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
      Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
      
      # Add the following lines
      service/halib = $(DIR_CT_RUN)/saphascriptco.so
      service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector
      
      # remove Autostart from ERS profile
      # Autostart = 1
      
  6. [A] تكوين Keep Alive

    يتم توجيه الاتصال بين خادم تطبيق SAP NetWeaver وASCS/SCS من خلال موازن تحميل البرامج. تقوم موازنة التحميل بقطع اتصال الاتصالات غير النشطة بعد انتهاء المهلة القابلة للتكوين. لمنع ذلك، تحتاج إلى تعيين معلمة في ملف تعريف SAP NetWeaver ASCS/SCS، إذا كنت تستخدم ENSA1، وتغيير إعدادات نظام keepalive Linux على جميع خوادم SAP لكل من ENSA1/ENSA2. اقرأ SAP Note 1410736 لمزيد من المعلومات.

    # Change the Linux system configuration
    sudo sysctl net.ipv4.tcp_keepalive_time=300
    
  7. [A] تكوين مستخدمي SAP بعد التثبيت

    # Add sidadm to the haclient group
    sudo usermod -aG haclient nw1adm
    
  8. [1] إضافة خدمات ASCS وERS SAP إلى ملف sapservice

    إضافة إدخال خدمة ASCS إلى العقدة الثانية ونسخ إدخال خدمة ERS إلى العقدة الأولى.

    cat /usr/sap/sapservices | grep ASCS00 | sudo ssh nw1-cl-1 "cat >>/usr/sap/sapservices"
    sudo ssh nw1-cl-1 "cat /usr/sap/sapservices" | grep ERS02 | sudo tee -a /usr/sap/sapservices
    
  9. [A] تعطيل systemd خدمات مثيل ASCS وERS SAP. هذه الخطوة قابلة للتطبيق فقط، إذا كان إطار عمل بدء تشغيل SAP مدارا بواسطة نظام وفقا لملاحظة SAP 3115048

    إشعار

    عند إدارة مثيلات SAP مثل SAP ASCS وSAP ERS باستخدام تكوين مجموعة SLES، ستحتاج إلى إجراء تعديلات إضافية لدمج نظام المجموعة مع إطار عمل بدء SAP الأصلي المستند إلى النظام. وهذا يضمن أن إجراءات الصيانة لا تعرض استقرار نظام المجموعة للخطر. بعد تثبيت أو تبديل إطار عمل بدء تشغيل SAP إلى الإعداد الذي تم تمكينه بواسطة النظام وفقا 3115048 SAP Note، يجب تعطيل systemd الخدمات لمثيلات ASCS وERS SAP.

    # Stop ASCS and ERS instances using <sid>adm
    sapcontrol -nr 00 -function Stop
    sapcontrol -nr 00 -function StopService
    
    sapcontrol -nr 01 -function Stop
    sapcontrol -nr 01 -function StopService
    
    # Execute below command on VM where you have performed ASCS instance installation (e.g. nw1-cl-0)
    sudo systemctl disable SAPNW1_00
    # Execute below command on VM where you have performed ERS instance installation (e.g. nw1-cl-1)
    sudo systemctl disable SAPNW1_01
    
  10. [1] إنشاء موارد نظام مجموعة SAP

    اعتمادا على ما إذا كنت تقوم بتشغيل نظام ENSA1 أو ENSA2، حدد علامة التبويب المعنية لتحديد الموارد. قدمت SAP دعمًا لـ ENSA2، بما في ذلك النسخ المتماثل، في SAP NetWeaver 7.52. بدءًا من النظام الأساسي 1809 لـ ABAP، يتم تثبيت ENSA2 بشكل افتراضي. للحصول على دعم ENSA2، راجع ملاحظة SAP 2630416.

    sudo crm configure property maintenance-mode="true"
    
    sudo crm configure primitive rsc_sap_NW1_ASCS00 SAPInstance \
      operations \$id=rsc_sap_NW1_ASCS00-operations \
      op monitor interval=11 timeout=60 on-fail=restart \
      params InstanceName=NW1_ASCS00_nw1-ascs START_PROFILE="/sapmnt/NW1/profile/NW1_ASCS00_nw1-ascs" \
      AUTOMATIC_RECOVER=false \
      meta resource-stickiness=5000 failure-timeout=60 migration-threshold=1 priority=10
    
    sudo crm configure primitive rsc_sap_NW1_ERS02 SAPInstance \
      operations \$id=rsc_sap_NW1_ERS02-operations \
      op monitor interval=11 timeout=60 on-fail=restart \
      params InstanceName=NW1_ERS02_nw1-aers START_PROFILE="/sapmnt/NW1/profile/NW1_ERS02_nw1-aers" AUTOMATIC_RECOVER=false IS_ERS=true \
      meta priority=1000
    
    sudo crm configure modgroup g-NW1_ASCS add rsc_sap_NW1_ASCS00
    sudo crm configure modgroup g-NW1_ERS add rsc_sap_NW1_ERS02
    
    sudo crm configure colocation col_sap_NW1_no_both -5000: g-NW1_ERS g-NW1_ASCS
    sudo crm configure location loc_sap_NW1_failover_to_ers rsc_sap_NW1_ASCS00 rule 2000: runs_ers_NW1 eq 1
    sudo crm configure order ord_sap_NW1_first_start_ascs Optional: rsc_sap_NW1_ASCS00:start rsc_sap_NW1_ERS02:stop symmetrical=false
    
    sudo crm_attribute --delete --name priority-fencing-delay
    
    sudo crm node online nw1-cl-0
    sudo crm configure property maintenance-mode="false"
    

إذا كنت تجري ترقيةً من إصدار أقدم وتبديلاً إلى خادم قائمة الانتظار 2، فراجع ملاحظة SAP رقم 2641019.

تأكد من أن حالة نظام المجموعة على ما يرام وأن كافة الموارد يتم بدء تشغيلها. لا يهم أي عقدة يتم فيها تشغيل الموارد.

sudo crm_mon -r
 
# Online: [ nw1-cl-0 nw1-cl-1 ]
#
# Full list of resources:
#
# stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
#  Resource Group: g-NW1_ASCS
#      fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
#      nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
#      vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
#      rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
#  Resource Group: g-NW1_ERS
#      fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
#      nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
#      vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
#      rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0

إعداد خادم تطبيقات SAP NetWeaver

تتطلب بعض قواعد البيانات تنفيذ تثبيت مثيل قاعدة البيانات على خادم تطبيقات. قم بإعداد الأجهزة الظاهرية لخادم التطبيقات لتتمكن من استخدامها في هذه الحالات.

تفترض الخطوات أدناه تثبيت خادم التطبيقات على خادم مختلف عن خوادم ASCS/SCS وHANA. وإلا فلن تكون هناك حاجة إلى بعض الخطوات أدناه (مثل تكوين تحليل اسم المضيف).

  1. تكوين نظام التشغيل

    تقليل حجم ذاكرة التخزين المؤقت القذرة. لمزيد من المعلومات، راجع أداء الكتابة المنخفض على خوادم SLES 11/12 المزودة بذاكرة وصول عشوائي (RAM) كبيرة.

    sudo vi /etc/sysctl.conf
    
    # Change/set the following settings
    vm.dirty_bytes = 629145600
    vm.dirty_background_bytes = 314572800
    
  2. إعداد تحليل اسم المضيف

    يمكنك إما استخدام خادم DNS أو تعديل /etc/hosts على كافة العُقد. يوضح هذا المثال كيفية استخدام الملف/etc/hosts. استبدل عنوان IP واسم المضيف في الأوامر التالية

    sudo vi /etc/hosts
    

    أدرج الأسطر التالية في /etc/hosts. تغيير عنوان IP واسم المضيف لمطابقة بيئتك

    # IP address of the load balancer frontend configuration for NFS
    10.0.0.4 nw1-nfs
    # IP address of the load balancer frontend configuration for SAP NetWeaver ASCS/SCS
    10.0.0.7 nw1-ascs
    # IP address of the load balancer frontend configuration for SAP NetWeaver ERS
    10.0.0.8 nw1-aers
    # IP address of the load balancer frontend configuration for database
    10.0.0.13 nw1-db
    # IP address of all application servers
    10.0.0.20 nw1-di-0
    10.0.0.21 nw1-di-1
    
  3. إنشاء دليل sapmnt

    sudo mkdir -p /sapmnt/NW1
    sudo mkdir -p /usr/sap/trans
    
    sudo chattr +i /sapmnt/NW1
    sudo chattr +i /usr/sap/trans
    
  4. تكوين autofs

    sudo vi /etc/auto.master
    
    # Add the following line to the file, save and exit
    +auto.master
    /- /etc/auto.direct
    

    إنشاء ملف جديد بـ

    sudo vi /etc/auto.direct
    
    # Add the following lines to the file, save and exit
    /sapmnt/NW1 -nfsvers=4,nosymlink,sync nw1-nfs:/NW1/sapmntsid
    /usr/sap/trans -nfsvers=4,nosymlink,sync nw1-nfs:/NW1/trans
    

    إعادة تشغيل autofs لتحميل الأسهم الجديدة

    sudo systemctl enable autofs
    sudo service autofs restart
    
  5. تكوين ملف SWAP

    sudo vi /etc/waagent.conf
    
    # Set the property ResourceDisk.EnableSwap to y
    # Create and use swapfile on resource disk.
    ResourceDisk.EnableSwap=y
    
    # Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
    # The free space of resource disk varies by virtual machine size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
    # Size of the swapfile.
    ResourceDisk.SwapSizeMB=2000
    

    أعد تشغيل العامل لتنشيط التغيير

    sudo service waagent restart
    

تثبيت قاعدة البيانات

في هذا المثال، يتم تثبيت SAP NetWeaver على SAP HANA. يمكنك استخدام كل قاعدة بيانات مدعومة لهذا التثبيت. لمزيد من المعلومات حول كيفية تثبيت SAP HANA في Azure، راجع التوفر العالي لـ SAP HANA على أجهزة Azure الظاهرية (VMs). للحصول على قائمة بقواعد البيانات المدعومة، راجع ملاحظة SAP 1928533.

  1. تشغيل تثبيت مثيل قاعدة بيانات SAP

    قم بتثبيت مثيل قاعدة بيانات SAP NetWeaver كجذر باستخدام اسم مضيف ظاهري يعين إلى عنوان IP لتكوين الواجهة الأمامية لموازن التحميل لقاعدة البيانات، على سبيل المثال، nw1-db و10.0.0.13.

    يمكنك استخدام معلمة sapinst SAPINST_REMOTE_ACCESS_USER للسماح لمستخدم غير جذر بالاتصال بـsapinst.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
    

تثبيت خادم تطبيق SAP NetWeaver

اتبع هذه الخطوات لتثبيت خادم تطبيق SAP.

  1. إعداد خادم التطبيقات

    إعداد خادم التطبيقات اتبع الخطوات الواردة في الفصل إعداد خادم تطبيق SAP NetWeaver أعلاه لإعداد خادم التطبيقات.

  2. تثبيت خادم تطبيق SAP NetWeaver

    قم بتثبيت خادم تطبيق SAP NetWeaver أساسي أو إضافي.

    يمكنك استخدام معلمة sapinst SAPINST_REMOTE_ACCESS_USER للسماح لمستخدم غير جذر بالاتصال بـsapinst.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
    
  3. تحديث التخزين الآمن SAP Hana

    قم بتحديث المخزن الآمن SAP Hana للإشارة إلى الاسم الظاهري لإعداد النسخ المتماثل للنظام SAP Hana.

    قم بتشغيل الأمر التالي لسرد الإدخالات

    hdbuserstore List
    

    يجب أن يسرد هذا جميع الإدخالات ويجب أن يبدو مشابها لـ

    DATA FILE       : /home/nw1adm/.hdb/nw1-di-0/SSFS_HDB.DAT
    KEY FILE        : /home/nw1adm/.hdb/nw1-di-0/SSFS_HDB.KEY
    
    KEY DEFAULT
      ENV : 10.0.0.14:30313
      USER: SAPABAP1
      DATABASE: HN1
    

    يوضح الإخراج أن عنوان IP للإدخال الافتراضي يشير إلى الجهاز الظاهري وليس إلى عنوان IP الخاص بموازنة التحميل. يجب تغيير هذا الإدخال للإشارة إلى اسم المضيف الظاهري لموازنة التحميل. تأكد من استخدام نفس المنفذ (30313 في الإخراج أعلاه) واسم قاعدة البيانات (HN1 في الإخراج أعلاه)!

    su - nw1adm
    hdbuserstore SET DEFAULT nw1-db:30313@HN1 SAPABAP1 <password of ABAP schema>
    

اختبار إعداد نظام الكتل

الاختبارات التالية هي نسخة من حالات الاختبار في إرشادات أفضل الممارسات في SUSE. يتم نسخها لراحتك. اقرأ دائمًا إرشادات أفضل الممارسات وقم بإجراء جميع الاختبارات الإضافية التي ربما تمت إضافتها.

  1. اختبار HAGetFailoverConfig و HACheckConfig و HACheckFailoverConfig

    قم بتشغيل الأوامر التالية كـ <sapsidadm> على العقدة حيث يتم تشغيل مثيل ASCS حالياً. إذا فشلت الأوامر مع FAIL: ذاكرة غير كافية، فقد يكون سببها شرطات في اسم المضيف. هذه مشكلة معروفة وسيتم إصلاحها بواسطة SUSE في حزمة sap-suse-cluster-connector.

    nw1-cl-0:nw1adm 54> sapcontrol -nr 00 -function HAGetFailoverConfig
    
    # 15.08.2018 13:50:36
    # HAGetFailoverConfig
    # OK
    # HAActive: TRUE
    # HAProductVersion: Toolchain Module
    # HASAPInterfaceVersion: Toolchain Module (sap_suse_cluster_connector 3.0.1)
    # HADocumentation: https://www.suse.com/products/sles-for-sap/resource-library/sap-best-practices/
    # HAActiveNode:
    # HANodes: nw1-cl-0, nw1-cl-1
    
    nw1-cl-0:nw1adm 55> sapcontrol -nr 00 -function HACheckConfig
    
    # 15.08.2018 14:00:04
    # HACheckConfig
    # OK
    # state, category, description, comment
    # SUCCESS, SAP CONFIGURATION, Redundant ABAP instance configuration, 2 ABAP instances detected
    # SUCCESS, SAP CONFIGURATION, Redundant Java instance configuration, 0 Java instances detected
    # SUCCESS, SAP CONFIGURATION, Enqueue separation, All Enqueue server separated from application server
    # SUCCESS, SAP CONFIGURATION, MessageServer separation, All MessageServer separated from application server
    # SUCCESS, SAP CONFIGURATION, ABAP instances on multiple hosts, ABAP instances on multiple hosts detected
    # SUCCESS, SAP CONFIGURATION, Redundant ABAP SPOOL service configuration, 2 ABAP instances with SPOOL service detected
    # SUCCESS, SAP STATE, Redundant ABAP SPOOL service state, 2 ABAP instances with active SPOOL service detected
    # SUCCESS, SAP STATE, ABAP instances with ABAP SPOOL service on multiple hosts, ABAP instances with active ABAP SPOOL service on multiple hosts detected
    # SUCCESS, SAP CONFIGURATION, Redundant ABAP BATCH service configuration, 2 ABAP instances with BATCH service detected
    # SUCCESS, SAP STATE, Redundant ABAP BATCH service state, 2 ABAP instances with active BATCH service detected
    # SUCCESS, SAP STATE, ABAP instances with ABAP BATCH service on multiple hosts, ABAP instances with active ABAP BATCH service on multiple hosts detected
    # SUCCESS, SAP CONFIGURATION, Redundant ABAP DIALOG service configuration, 2 ABAP instances with DIALOG service detected
    # SUCCESS, SAP STATE, Redundant ABAP DIALOG service state, 2 ABAP instances with active DIALOG service detected
    # SUCCESS, SAP STATE, ABAP instances with ABAP DIALOG service on multiple hosts, ABAP instances with active ABAP DIALOG service on multiple hosts detected
    # SUCCESS, SAP CONFIGURATION, Redundant ABAP UPDATE service configuration, 2 ABAP instances with UPDATE service detected
    # SUCCESS, SAP STATE, Redundant ABAP UPDATE service state, 2 ABAP instances with active UPDATE service detected
    # SUCCESS, SAP STATE, ABAP instances with ABAP UPDATE service on multiple hosts, ABAP instances with active ABAP UPDATE service on multiple hosts detected
    # SUCCESS, SAP STATE, SCS instance running, SCS instance status ok
    # SUCCESS, SAP CONFIGURATION, SAPInstance RA sufficient version (nw1-ascs_NW1_00), SAPInstance includes is-ers patch
    # SUCCESS, SAP CONFIGURATION, Enqueue replication (nw1-ascs_NW1_00), Enqueue replication enabled
    # SUCCESS, SAP STATE, Enqueue replication state (nw1-ascs_NW1_00), Enqueue replication active
    
    nw1-cl-0:nw1adm 56> sapcontrol -nr 00 -function HACheckFailoverConfig
    
    # 15.08.2018 14:04:08
    # HACheckFailoverConfig
    # OK
    # state, category, description, comment
    # SUCCESS, SAP CONFIGURATION, SAPInstance RA sufficient version, SAPInstance includes is-ers patch
    
  2. ترحيل مثيل ASCS يدويًا

    حالة المورد قبل بدء الاختبار:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-0
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
    

    شغّل الأوامر التالية كجذر لترحيل مثيل ASCS.

    nw1-cl-0:~ # crm resource migrate rsc_sap_NW1_ASCS00 force
    # INFO: Move constraint created for rsc_sap_NW1_ASCS00
    
    nw1-cl-0:~ # crm resource unmigrate rsc_sap_NW1_ASCS00
    # INFO: Removed migration constraints for rsc_sap_NW1_ASCS00
    
    # Remove failed actions for the ERS that occurred as part of the migration
    nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ERS02
    

    حالة المورد بعد الاختبار:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-0
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
    
  3. اختبار HAFailoverToNode

    حالة المورد قبل بدء الاختبار:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-0
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
    

    قم بتشغيل الأوامر التالية ك <sapsidadm> لترحيل مثيل ASCS.

    nw1-cl-0:nw1adm 55> sapcontrol -nr 00 -host nw1-ascs -user nw1adm <password> -function HAFailoverToNode ""
    
    # run as root
    # Remove failed actions for the ERS that occurred as part of the migration
    nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ERS02
    # Remove migration constraints
    nw1-cl-0:~ # crm resource clear rsc_sap_NW1_ASCS00
    #INFO: Removed migration constraints for rsc_sap_NW1_ASCS00
    

    حالة المورد بعد الاختبار:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-0
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
    
  4. محاكاة تحطم العقدة

    حالة المورد قبل بدء الاختبار:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-0
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
    

    شغّل الأمر التالي كجذر على العقدة حيث يتم تشغيل مثيل ASCS

    nw1-cl-0:~ # echo b > /proc/sysrq-trigger
    

    إذا كنت تستخدم SBD، يجب ألا يبدأ Pacemaker تلقائيا على العقدة التي تم إيقافها. يجب أن تبدو الحالة بعد بدء تشغيل العقدة مرة أخرى كما يلي.

    Online: [ nw1-cl-1 ]
    OFFLINE: [ nw1-cl-0 ]
    
    Full list of resources:
    
    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
    
    Failed Actions:
    * rsc_sap_NW1_ERS02_monitor_11000 on nw1-cl-1 'not running' (7): call=219, status=complete, exitreason='none',
        last-rc-change='Wed Aug 15 14:38:38 2018', queued=0ms, exec=0ms
    

    استخدم الأوامر التالية لبدء تشغيل Pacemaker على العقدة المقتولة وتنظيف رسائل SBD وتنظيف الموارد الفاشلة.

    # run as root
    # list the SBD device(s)
    nw1-cl-0:~ # cat /etc/sysconfig/sbd | grep SBD_DEVICE=
    # SBD_DEVICE="/dev/disk/by-id/scsi-36001405772fe8401e6240c985857e116;/dev/disk/by-id/scsi-36001405034a84428af24ddd8c3a3e9e1;/dev/disk/by-id/scsi-36001405cdd5ac8d40e548449318510c3"
    
    nw1-cl-0:~ # sbd -d /dev/disk/by-id/scsi-36001405772fe8401e6240c985857e116 -d /dev/disk/by-id/scsi-36001405034a84428af24ddd8c3a3e9e1 -d /dev/disk/by-id/scsi-36001405cdd5ac8d40e548449318510c3 message nw1-cl-0 clear
    
    nw1-cl-0:~ # systemctl start pacemaker
    nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ASCS00
    nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ERS02
    

    حالة المورد بعد الاختبار:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
    
  5. حظر اتصال الشبكة

    حالة المورد قبل بدء الاختبار:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
    

    تنفيذ قاعدة جدار الحماية لحظر الاتصال على إحدى العقد.

    # Execute iptable rule on nw1-cl-0 (10.0.0.5) to block the incoming and outgoing traffic to nw1-cl-1 (10.0.0.6)
    iptables -A INPUT -s 10.0.0.6 -j DROP; iptables -A OUTPUT -d 10.0.0.6 -j DROP
    

    عندما لا تتمكن عقد نظام المجموعة من الاتصال ببعضها البعض، فهناك خطر من سيناريو انقسام الدماغ. في مثل هذه الحالات، ستحاول عقد نظام المجموعة سياج بعضها البعض في وقت واحد، مما يؤدي إلى سباق السياج.

    عند تكوين جهاز تسييج، يوصى بتكوين الخاصية pcmk_delay_max . لذلك، في حالة سيناريو تقسيم الدماغ، يقدم نظام المجموعة تأخيرا عشوائيا يصل إلى pcmk_delay_max القيمة، إلى إجراء التسييج على كل عقدة. سيتم تحديد العقدة ذات أقصر تأخير للتسييج.

    بالإضافة إلى ذلك، في تكوين ENSA 2، لتحديد أولويات العقدة التي تستضيف مورد ASCS على العقدة الأخرى أثناء سيناريو تقسيم الدماغ، يوصى بتكوين الخاصية priority-fencing-delay في نظام المجموعة. يتيح تمكين خاصية تأخير تسييج الأولوية للمجموعة تقديم تأخير إضافي في إجراء التسييج على وجه التحديد على العقدة التي تستضيف مورد ASCS، ما يسمح لعقدة ASCS بالفوز في سباق السياج.

    تنفيذ الأمر أدناه لحذف قاعدة جدار الحماية.

    # If the iptables rule set on the server gets reset after a reboot, the rules will be cleared out. In case they have not been reset, please proceed to remove the iptables rule using the following command.
    iptables -D INPUT -s 10.0.0.6 -j DROP; iptables -D OUTPUT -d 10.0.0.6 -j DROP
    
  6. اختبار إعادة التشغيل اليدوي لمثيل ASCS

    حالة المورد قبل بدء الاختبار:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
    

    قم بإنشاء قفل قائمة انتظار عن طريق، على سبيل المثال تحرير مستخدم في المعاملة su01. قم بتشغيل الأوامر التالية ك <sapsidadm> على العقدة حيث يتم تشغيل مثيل ASCS. ستقوم الأوامر بإيقاف مثيل ASCS وتشغيله مرة أخرى. في حالة استخدام بنية خادم قائمة انتظار 1، من المتوقع أن يتم فقدان قفل قائمة الانتظار في هذا الاختبار. في حالة استخدام بنية خادم قائمة انتظار 2، سيتم الاحتفاظ بقائمة الانتظار.

    nw1-cl-1:nw1adm 54> sapcontrol -nr 00 -function StopWait 600 2
    

    يجب الآن تعطيل مثيل ASCS في Pacemaker

    rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Stopped (disabled)
    

    بدء تشغيل مثيل ASCS مرة أخرى على نفس العقدة.

    nw1-cl-1:nw1adm 54> sapcontrol -nr 00 -function StartWait 600 2
    

    يجب فقدان قفل قائمة الانتظار للمعاملة su01 ويجب إعادة تعيين الواجهة الخلفية. حالة المورد بعد الاختبار:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
    
  7. إنهاء عملية خادم الرسائل

    حالة المورد قبل بدء الاختبار:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
    

    قم بتشغيل الأوامر التالية كجذر لتحديد عملية خادم الرسائل وقتله.

    nw1-cl-1:~ # pgrep -f ms.sapNW1 | xargs kill -9
    

    إذا قمت بقتل خادم الرسائل مرة واحدة فقط، سيتم إعادة تشغيله بواسطة sapstart. إذا قمت بقتله بشكل كاف في كثير من الأحيان، فسينقل Pacemaker في النهاية مثيل ASCS إلى العقدة الأخرى، في حالة ENSA1. قم بتشغيل الأوامر التالية كجذر لتنظيف حالة المورد الخاصة بمثيل ASCS وERS بعد الاختبار.

    nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ASCS00
    nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ERS02
    

    حالة المورد بعد الاختبار:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
    
  8. إنهاء عملية خادم enqueue

    حالة المورد قبل بدء الاختبار:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
    

    قم بتشغيل الأوامر التالية كجذر على العقدة حيث يتم تشغيل مثيل ASCS لقتل خادم قائمة الانتظار.

    nw1-cl-0:~ # 
    #If using ENSA1
    pgrep -f en.sapNW1 | xargs kill -9
    #If using ENSA2
    pgrep -f enq.sapNW1 | xargs kill -9
    

    يجب أن يفشل مثيل ASCS على الفور إلى العقدة الأخرى، في حالة ENSA1. يجب أن يفشل مثيل ERS أيضا بعد بدء تشغيل مثيل ASCS. قم بتشغيل الأوامر التالية كجذر لتنظيف حالة المورد الخاصة بمثيل ASCS وERS بعد الاختبار.

    nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ASCS00
    nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ERS02
    

    حالة المورد بعد الاختبار:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
    
  9. إنهاء عملية خادم النسخ المتماثل enqueue

    حالة المورد قبل بدء الاختبار:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
    

    شغّل الأمر التالي كجذر على العقدة حيث يتم تشغيل مثيل ERS لإنهاء عملية خادم النسخ المتماثل enqueue.

    nw1-cl-0:~ # pgrep -f er.sapNW1 | xargs kill -9
    

    إذا قمت بتشغيل الأمر مرة واحدة فقط، فسيقوم sapstart بإعادة تشغيل العملية. إذا قمت بتشغيله بشكل كاف في كثير من الأحيان، فلن يقوم sapstart بإعادة تشغيل العملية، وسيكون المورد في حالة توقف. قم بتشغيل الأوامر التالية كجذر لتنظيف حالة المورد لمثيل ERS بعد الاختبار.

    nw1-cl-0:~ # crm resource cleanup rsc_sap_NW1_ERS02
    

    حالة المورد بعد الاختبار:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
    
  10. عملية إنهاء sapstartsrv enqueue

    حالة المورد قبل بدء الاختبار:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
    

    شغّل الأمر التالي كجذر على العقدة حيث يتم تشغيل ASCS.

    nw1-cl-1:~ # pgrep -fl ASCS00.*sapstartsrv
    # 59545 sapstartsrv
    
    nw1-cl-1:~ # kill -9 59545
    

    يجب دائمًا إعادة تشغيل عملية sapstartsrv بواسطة وكيل موارد Pacemaker. حالة المورد بعد الاختبار:

    stonith-sbd     (stonith:external/sbd): Started nw1-cl-1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started nw1-cl-1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started nw1-cl-1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started nw1-cl-1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started nw1-cl-1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started nw1-cl-0
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started nw1-cl-0
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started nw1-cl-0
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started nw1-cl-0
    

الخطوات التالية