Share via

تكوين VMs وتحسينها

  • مقالة

تنبيه

تشير هذه المقالة إلى CentOS، وهو توزيع Linux يقترب من حالة نهاية العمر الافتراضي (EOL). يرجى مراعاة استخدامك والتخطيط وفقا لذلك. لمزيد من المعلومات، راجع إرشادات نهاية العمر الافتراضي CentOS.

ينطبق على: ✔️ أجهزة ظاهرية بنظام التشغيل Linux ✔️ أجهزة ظاهرية بنظام التشغيل Windows ✔️ مجموعات التوسعة المرنة ✔️ مجموعات التوسعة الموحدة

تشارك هذه المقالة بعض الإرشادات حول تكوين وتحسين سلسلة HB الممكنة InfiniBand والأجهزة الظاهرية من السلسلة N ل HPC.

صور VM

في الأجهزة الظاهرية الممكنة من InfiniBand (IB)، يلزم وجود برامج تشغيل IB المناسبة لتمكين RDMA.

  • تأتي صور Ubuntu-HPC VM في Marketplace مكونة مسبقا مع برامج تشغيل NVIDIA IB المناسبة وبرامج تشغيل GPU.
  • تأتي صور الجهاز الظاهري AlmaLinux-HPC في Marketplace مكونة مسبقا مع برامج تشغيل NVIDIA IB المناسبة وبرامج تشغيل GPU.

تستند صور الجهاز الظاهري هذه إلى صور VM الأساسية لسوق Ubuntu و AlmaLinux. البرامج النصية المستخدمة في إنشاء صور الجهاز الظاهري هذه من صور السوق الأساسية الخاصة بهم موجودة على azhpc-images repo.

على الأجهزة الظاهرية N-series التي تدعم GPU، يلزم أيضًا وجود برامج تشغيل GPU المناسبة. يمكن أن يكون هذا متاحًا بالطرق التالية:

  • استخدم صور الجهاز الظاهري Ubuntu-HPC أو صور AlmaLinux-HPC VM التي تأتي مكونة مسبقا مع برامج تشغيل NVIDIA GPU ومكدس برامج حساب GPU (CUDA، NCCL).
  • أضف برامج تشغيل GPU من خلال ملحقات VM.
  • قم بتثبيت برامج تشغيل GPU يدويًا.
  • تأتي بعض صور الجهاز الظاهري الأخرى على Marketplace مثبتة مسبقا مع برامج تشغيل NVIDIA GPU، بما في ذلك بعض صور الجهاز الظاهري من NVIDIA.

اعتمادا على توزيعة Linux واحتياجات الإصدار الخاصة بأحمال العمل، فإن صور Ubuntu-HPC VM وصور AlmaLinux-HPC VM على Marketplace هي أسهل طريقة للبدء مع HPC وأحمال العمل الذكاء الاصطناعي على Azure. يوصى أيضا بإنشاء صور جهاز ظاهري مخصصة مع تخصيص وتكوين محددين لحمل العمل لإعادة الاستخدام.

أحجام VM التي تدعمها صور HPC VM

دعم InfiniBand OFED

تأتي أحدث صور سوق Azure HPC مزودة ب Mellanox OFED 5.1 والإصدارات الأحدث، والتي لا تدعم بطاقات ConnectX3-Pro InfiniBand. تتطلب بطاقات الاتصال X-3 Pro InfiniBand إصدار MOFED 4.9 LTS. تدعم صور VM هذه فقط بطاقات ConnectX5-Pro InfiniBand الأحدث. مصفوفة دعم حجم الجهاز الظاهري التالية ل InfiniBand OFED في صور HPC VM هذه:

دعم برنامج تشغيل GPU

حاليا فقط صور Ubuntu-HPC VM وصور AlmaLinux-HPC VM تأتي مكونة مسبقا مع برامج تشغيل NVIDIA GPU ومكدس برامج حوسبة GPU (CUDA، NCCL).

مصفوفة دعم حجم VM لبرامج تشغيل GPU في صور HPC VM المدعومة على النحو التالي:

  • N-series: يتم دعم أحجام NDv2 وNDv4 VM مع برامج تشغيل NVIDIA GPU ومكدس برامج حوسبة GPU (CUDA و NCCL).
  • يتم دعم أحجام الأجهزة الظاهرية الأخرى "NC" و"ND" في السلسلة N مع برامج تشغيل NVIDIA GPU.

تدعم جميع أحجام الأجهزة الظاهرية في السلسلة N Gen 2 VMs، على الرغم من أن بعض الأحجام القديمة تدعم أيضًا أجهزة Gen 1 الظاهرية. يشار أيضًا إلى دعم Gen 2 بعلامة "01" في نهاية الصورة URN أو الإصدار.

الأجهزة الظاهرية الممكنة SR-IOV

صور Ubuntu-HPC VM

بالنسبة للأجهزة الظاهرية المزودة بإمكانية SR-IOV ل RDMA، فإن إصدارات صور Ubuntu-HPC VM 18.04 و20.04 و22.04 مناسبة. تأتي صور الجهاز الظاهري هذه مكونة مسبقا مع برامج تشغيل Mellanox OFED ل RDMA وبرامج تشغيل NVIDIA GPU ومكدس برامج حساب GPU (CUDA و NCCL) ومكتبات MPI شائعة الاستخدام وحزم الحوسبة العلمية. راجع مصفوفة دعم حجم الجهاز الظاهري.

  • يمكن إدراج الإصدارات المتوفرة أو الأحدث من صور الجهاز الظاهري مع المعلومات التالية باستخدام CLI أو Marketplace.

    "publisher": "Microsoft-DSVM",
"offer": "Ubuntu-HPC",

  • النصوص المستخدمة في إنشاء صور Ubuntu-HPC VM من صورة Ubuntu Marketplace الأساسية موجودة في azhpc-images repo.

صور AlmaLinux-HPC VM

بالنسبة للأجهزة الظاهرية المزودة ب SR-IOV المزودة ب RDMA، فإن صور AlmaLinux-HPC VM إصدارات 8.5 و8.6 و8.7 مناسبة. تأتي صور الجهاز الظاهري هذه مكونة مسبقا مع برامج تشغيل Mellanox OFED ل RDMA وبرامج تشغيل NVIDIA GPU ومكدس برامج حساب GPU (CUDA و NCCL) ومكتبات MPI شائعة الاستخدام وحزم الحوسبة العلمية. راجع مصفوفة دعم حجم الجهاز الظاهري.

  • يمكن إدراج الإصدارات المتوفرة أو الأحدث من صور الجهاز الظاهري مع المعلومات التالية باستخدام CLI أو Marketplace.

    "publisher": "AlmaLinux",
"offer": "AlmaLinux-HPC",

  • البرامج النصية المستخدمة في إنشاء صور AlmaLinux-HPC VM من صورة AlmaLinux Marketplace الأساسية موجودة على azhpc-images repo.

بالإضافة إلى ذلك، توجد تفاصيل حول ما هو مضمن في صور Ubuntu-HPC VM وصور جهاز AlmaLinux-HPC الظاهري، وكيفية نشرها في مقالة TechCommunity.

إشعار

لقد اعتدنا على دعم صور CentOS-HPC VM. نظرا للتخلص التدريجي من CentOS (سيستمر الإصدار الوحيد المدعوم حاليا CentOS 7 في تلقي تصحيحات أمان المجتمع وتحديثات إصلاح الأخطاء حتى يونيو 2024)، فإننا لا نصدر أي صور CentOS HPC جديدة إلى سوق Azure. يقترح على مستخدمي CentOS/RHEL استخدام بدائل صور AlmaLinux-HPC في سوق Azure، والتي تحتوي على نفس مجموعة برامج التشغيل المثبتة كصور HPC الأخرى.

صور RHEL/CentOS VM

يمكن تكوين صور RHEL الأساسية أو الصور غير المستندة إلى HPC VM المستندة إلى CentOS في السوق للاستخدام على الأجهزة الافتراضية الخاصة التي تم تمكين RDMA بها SR-IOV. تعرف على المزيد حول تمكين InfiniBand و إعداد MPI على الأجهزة الظاهرية.

صور Ubuntu VM

يتم دعم صور Ubuntu Server 20.04 LTS و22.04 LTS VM الأساسية في Marketplace لكل من SR-IOV والأجهزة الظاهرية غير المزودة ب SR-IOV RDMA. تعرف على المزيد حول تمكين InfiniBand و إعداد MPI على الأجهزة الظاهرية.

إشعار

لا يدعم Mellanox OFED 5.1 والإصدارات الأحدث بطاقات الاتصال X3-Pro InfiniBand على أحجام أجهزة N-series VM الممكنة بواسطة SR-IOV مع FDR InfiniBand (على سبيل المثال NCv3). يرجى استخدام LTS Mellanox OFED الإصدار 4.9-0.1.7.0 أو أكثر على الجهاز الظاهري سلسلة N مع بطاقات ConnectX3-Pro. لمزيد من المعلومات، راجع برامج تشغيل Linux InfiniBand.

صور SUSE Linux Enterprise Server VM

يتم دعم SLES 12 SP3 لـ HPC و SLES 12 SP3 لـ HPC (Premium) و SLES 12 SP1 لـ HPC و SLES 12 SP1 لـ HPC (Premium) و SLES 12 SP4 و SLES 15 VM في Marketplace. تأتي صور الجهاز الظاهري هذه محملة مسبقا مع برامج تشغيل Network Direct ل RDMA (على أحجام الأجهزة الظاهرية غير SR-IOV) والإصدار 5.1 من Intel MPI. تعرف على المزيد حول إعداد MPI على الأجهزة الظاهرية.

تحسين الأجهزة الظاهرية

فيما يلي بعض إعدادات التحسين الاختيارية لتحسين الأداء على الجهاز الظاهري.

تحديث LIS

إذا لزم الأمر للوظائف أو الأداء، يمكن تثبيت برامج تشغيل Linux Integration Services (LIS) أو تحديثها على توزيعات نظام التشغيل المدعومة، خاصة عند النشر باستخدام صورة مخصصة أو إصدار نظام تشغيل أقدم مثل CentOS/RHEL 6.x أو إصدار سابق من 7.x.

wget https://aka.ms/lis
tar xzf lis
pushd LISISO
sudo ./upgrade.sh

استعادة الذاكرة

تحسين الأداء عن طريق استعادة الذاكرة تلقائيًا لتجنب الوصول إلى الذاكرة عن بعد.

sudo echo 1 >/proc/sys/vm/zone_reclaim_mode

حافظ على استمرار وضع استعادة الذاكرة بعد إعادة تمهيد الجهاز الظاهري:

sudo echo "vm.zone_reclaim_mode = 1" >> /etc/sysctl.conf sysctl -p

تعطيل جدار الحماية و SELinux

sudo systemctl stop iptables.service
sudo systemctl disable iptables.service
sudo systemctl mask firewalld
sudo systemctl stop firewalld.service
sudo systemctl disable firewalld.service
sudo iptables -nL
sudo sed -i -e's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

تعطيل cpupower

sudo service cpupower status

في حالة التمكين، قم بتعطيله:

sudo service cpupower stop
sudo systemctl disable cpupower

تكوين WALinuxAgent

sudo sed -i -e 's/# OS.EnableRDMA=y/OS.EnableRDMA=y/g' /etc/waagent.conf

اختياريا، قد يتم تعطيل WALinuxAgent قبل تشغيل وظيفة ثم تمكين وظيفة ما بعد الوظيفة للحد الأقصى من توفر موارد الجهاز الظاهري لحمل عمل HPC.

الخطوات التالية