مشاركة عبر

تمكين InfiniBand

  • مقالة

تنبيه

تشير هذه المقالة إلى CentOS، وهو توزيع Linux هو حالة نهاية العمر الافتراضي (EOL). يرجى مراعاة استخدامك والتخطيط وفقا لذلك. لمزيد من المعلومات، راجع إرشادات نهاية العمر الافتراضي CentOS.

ينطبق على: ✔️ أجهزة ظاهرية بنظام التشغيل Linux ✔️ أجهزة ظاهرية بنظام التشغيل Windows ✔️ مجموعات التوسعة المرنة ✔️ مجموعات التوسعة الموحدة

تتصل الأجهزة الظاهرية المزودة بسلسلة HB وسلسلة N في RDMA عبر زمن الانتقال المنخفض والنطاق الترددي العالي لشبكة InfiniBand. تُعدّ إمكانية RDMA على مثل هذا الاتصال المتداخل أمراً مهماً لتعزيز قابلية توسع أحمال عمل الحوسبة عالية الأداء وأحمال عمل الذكاء الاصطناعي ذات العقدة الموزّعة وتعزيز أدائها. يتم توصيل الأجهزة الظاهرية لسلسلة HB وسلسلة N الممكنة من InfiniBand في شجرة دهون غير محظورة مع تصميم منخفض القطر لأداء RDMA الأمثل والمتناسق.

هناك طرق مختلفة لتمكين InfiniBand على أحجام VM القادرة.

صور الأجهزة الظاهرية مع برامج تشغيل InfiniBand

راجع صور الأجهزة الظاهرية للحصول على قائمة بصور الأجهزة الظاهرية المدعومة على Marketplace، والتي تأتي محملة مسبقا ببرامج تشغيل InfiniBand (للأجهزة الظاهرية SR-IOV أو غير SR-IOV) أو يمكن تكوينها باستخدام برامج التشغيل المناسبة للأجهزة الظاهرية القادرة على RDMA. صور الجهاز الظاهري Ubuntu-HPC و AlmaLinux-HPC في السوق هي أسهل طريقة للبدء.

ملحقات الجهاز الظاهري لبرنامج تشغيل InfiniBand

على Linux، يمكن استخدام ملحق InfiniBandDriverLinux VM لتثبيت برامج تشغيل Mellanox OFED وتمكين InfiniBand على سلسلة HB الممكنة SR-IOV والأجهزة الظاهرية من السلسلة N.

على Windows، يقوم ملحق الجهاز الظاهري InfiniBandDriverWindows بتثبيت برامج تشغيل Windows Network Direct (على الأجهزة الظاهرية غير SR-IOV) أو برامج تشغيل Mellanox OFED (على الأجهزة الظاهرية SR-IOV) للاتصال RDMA. في عمليات توزيع معينة لمثيلات A8 وA9، تتم إضافة ملحق HpcVmDrivers تلقائيا. لاحظ أنه يتم إهمال ملحق HpcVmDrivers VM; لن يتم تحديثه.

لإضافة ملحق VM إلى جهاز ظاهري، يمكنك استخدام cmdlets Azure PowerShell. لمزيد من المعلومات، راجع ملحقات الجهاز الظاهري وميزاته. يمكنك أيضا العمل مع ملحقات الأجهزة الظاهرية التي تم توزيعها في نموذج التوزيع الكلاسيكي.

تثبيت يدوي

يمكن تثبيت برامج تشغيل Mellanox OpenFabrics (OFED) يدويا على الأجهزة الظاهرية لسلسلة HB وسلسلة N الممكنة ل SR-IOV.

Linux

يمكن تثبيت برامج تشغيل OFED لنظام التشغيل Linux مع المثال أدناه. على الرغم من أن المثال هنا هو ل RHEL/CentOS، ولكن الخطوات عامة ويمكن استخدامها لأي نظام تشغيل Linux متوافق مثل Ubuntu (18.04 و19.04 و20.04) وSLES (12 SP4+ و15). توجد المزيد من الأمثلة على توزيعات أخرى على azhpc-images repo. تعمل برامج تشغيل البريد الوارد أيضا، ولكن برامج تشغيل Mellanox OFED توفر المزيد من الميزات.

MLNX_OFED_DOWNLOAD_URL=http://content.mellanox.com/ofed/MLNX_OFED-5.0-2.1.8.0/MLNX_OFED_LINUX-5.0-2.1.8.0-rhel7.7-x86_64.tgz
# Optionally verify checksum
wget --retry-connrefused --tries=3 --waitretry=5 $MLNX_OFED_DOWNLOAD_URL
tar zxvf MLNX_OFED_LINUX-5.0-2.1.8.0-rhel7.7-x86_64.tgz

KERNEL=( $(rpm -q kernel | sed 's/kernel\-//g') )
KERNEL=${KERNEL[-1]}
# Uncomment the lines below if you are running this on a VM
#RELEASE=( $(cat /etc/centos-release | awk '{print $4}') )
#yum -y install http://olcentgbl.trafficmanager.net/centos/${RELEASE}/updates/x86_64/kernel-devel-${KERNEL}.rpm
sudo yum install -y kernel-devel-${KERNEL}
sudo ./MLNX_OFED_LINUX-5.0-2.1.8.0-rhel7.7-x86_64/mlnxofedinstall --kernel $KERNEL --kernel-sources /usr/src/kernels/${KERNEL} --add-kernel-support --skip-repo

Windows

ل Windows، قم بتنزيل Mellanox OFED وتثبيته لبرامج تشغيل Windows.

تمكين IP عبر InfiniBand (IB)

إذا كنت تخطط لتشغيل مهام MPI، فلن تحتاج عادة إلى IPoIB. ستستخدم مكتبة MPI واجهة الأفعال لاتصال IB (ما لم تستخدم صراحة قناة TCP/IP الخاصة بمكتبة MPI). ولكن إذا كان لديك تطبيق يستخدم TCP/IP للاتصال وتريد تشغيل IB، فيمكنك استخدام IPoIB عبر واجهة الوسيط المعرف. استخدم الأوامر التالية (ل RHEL/CentOS) لتمكين IP عبر InfiniBand.

هام

لتجنب المشكلات، تأكد من عدم تشغيل الإصدارات القديمة من Microsoft Azure Linux Agent (waagent). نوصي باستخدام الإصدار 2.4.0.2 على الأقل قبل تمكين IP عبر IB.

sudo sed -i -e 's/# OS.EnableRDMA=n/OS.EnableRDMA=y/g' /etc/waagent.conf
sudo systemctl restart waagent

الخطوات التالية