الحوسبة عالية الأداء (HPC) على Azure

  • مقالة

مقدمة إلى HPC

تستخدم الحوسبة عالية الأداء (HPC)، والتي تسمى أيضاً "الحوسبة الكبيرة"، عدداً كبيراً من أجهزة الكمبيوتر القائمة على وحدة المعالجة المركزية أو وحدة معالجة الرسومات GPU لحل المهام الرياضية المعقدة.

تستخدم العديد من الصناعات HPC لحل بعض أصعب مشاكلها. وهذه تشمل أحمال عمل مثل:

  • علم الجينوم
  • محاكاة النفط والغاز
  • Finance
  • تصميم أشباه الموصلات
  • الهندسة
  • نمذجة الطقس

كيف يختلف HPC على السحابة؟

أحد الاختلافات الأساسية بين نظام HPC المحلي والآخر في السحابة هو القدرة على إضافة الموارد وإزالتها ديناميكياً عند الحاجة. يزيل التوسع الديناميكي سعة الحوسبة باعتبارها عنق الزجاجة ويسمح للعملاء بدلاً من ذلك بتحديد الحجم المناسب لبنيتهم ​​التحتية لتلبية متطلبات وظائفهم.

توفر المقالات التالية مزيداً من التفاصيل بشأن إمكانية القياس الديناميكي هذه.

قائمة مراجعة التنفيذ

بينما تتطلع إلى تنفيذ حل HPC الخاص بك على Azure، تأكد من مراجعة الموضوعات التالية:

  • اختر البنية المناسبة بناءً على متطلباتك
  • تعرف على خيارات الحوسبة المناسبة لأعباء عملك
  • حدد حل التخزين المناسب الذي يلبي احتياجاتك
  • قرر كيف ستتم إدارة جميع مواردك
  • حسِّن تطبيقك للعمل على السحابة الإلكترونية
  • أمّن بنيتك الأساسية

البنية الأساسية

هناك العديد من مكونات البنية الأساسية الضرورية لبناء نظام HPC. توفر الحوسبة والتخزين والشبكات المكونات الأساسية، بغض النظر عن الطريقة التي تختارها لإدارة أحمال عمل HPC الخاصة بك.

مثال بنيويات HPC

هناك العديد من الطرق المختلفة لتصميم بنية HPC وتنفيذها على Azure. يمكن أن تتسع تطبيقات HPC لتشمل الآلاف من مراكز الحوسبة، أو توسع المجموعات المحلية، أو تعمل كحل 100% سحابي أصلي.

توضح السيناريوهات التالية بعض الطرق الشائعة التي يتم بها إنشاء حلول HPC.

  • يوضح الرسم التخطيطي مثال بنية HPC للخدمات الهندسية بمساعدة الكمبيوتر على Azure.

    الخدمات الهندسية بمساعدة الكمبيوتر على Azure

    توفير نظام أساسي للبرامج كخدمة (SaaS) للهندسة بمساعدة الكمبيوتر (CAE) على Azure.

  • يوضح الرسم التخطيطي مثال بنية HPC لمحاكاة ديناميكيات السوائل الحسابية على Azure.

    محاكاة ديناميكيات الموائع الحسابية (CFD) على Azure

    نفِّذ عمليات محاكاة ديناميكيات الموائع الحسابية (CFD) على Azure.

  • يوضح الرسم التخطيطي مثال بنية HPC لعرض الفيديو ثلاثي الأبعاد على Azure.

    عرض فيديو ثلاثي الأبعاد على Azure

    قم بتشغيل أحمال عمل HPC الأصلية في Azure باستخدام خدمة Azure Batch

Compute

يقدم Azure مجموعة من الأحجام التي تم تحسينها لكل من أحمال العمل المكثفة لوحدة المعالجة المركزية وGPU.

أجهزة ظاهرية تعتمد على وحدة المعالجة المركزية

الأجهزة الظاهرية التي تدعم GPU

تتميز أجهزة VM من السلسلة N بوحدات معالجة الرسومات NVIDIA المصممة للتطبيقات كثيفة الحوسبة أو الرسوميات، بما في ذلك التعلم والذكاء الاصطناعي (AI).

التخزين

تتطلب أحمال عمل الدُفعات الكبيرة الحجم وHPC متطلبات تخزين البيانات والوصول إليها والتي تتجاوز إمكانيات أنظمة الملفات السحابية التقليدية. هناك العديد من الحلول التي تدير كلاً من السرعة واحتياجات السعة لتطبيقات HPC على Azure:

لمزيد من المعلومات بشأن مقارنة Luster وGlusterFS وBeeGFS على Azure، راجع الكتاب الإلكتروني أنظمة الملفات المتوازية على Azure ومدونة Luster on Azure.

الشبكات

يمكن توصيل أجهزة H16r وH16mr وA8 وA9 VM بشبكة RDMA ذات معدل نقل عالية. يمكن لهذه الشبكة تحسين أداء التطبيقات المتوازية المقترنة بإحكام التي تعمل ضمن Microsoft Message Passing Interface المعروفة باسم MPI أو Intel MPI.

الإدارة

افعلها بنفسك

يوفر بناء نظام HPC من البداية على Azure قدراً كبيراً من المرونة، ولكنه غالباً ما يتطلب صيانة مكثفة للغاية.

  1. إعداد بيئة نظام المجموعة الخاصة بك في أجهزة Azure الظاهرية أو مجموعات مقياس الجهاز الظاهري.
  2. استخدم قوالب Azure Resource Manager لتوزيع مديري أحمال العملوالبنية الأساسية والتطبيقاتالرائدة.
  3. اختر HPC وGPU أحجام VM التي تتضمن أجهزة متخصصة واتصالات شبكة لأحمال عمل MPI أو GPU.
  4. أضف تخزين عالي الأداء لأحمال العمل كثيفة الإدخال / الإخراج.

المختلط والانفجار السحابي

إذا كان لديك نظام HPC محلي موجود بالفعل وتريد توصيله بـ Azure، فهناك العديد من الموارد لمساعدتك على البدء.

أولاً، راجع مقالة خيارات توصيل شبكة محلية بـ Azure في الوثائق. من هناك، يمكنك العثور على معلومات إضافية حول خيارات الاتصال هذه:

بمجرد إنشاء اتصال الشبكة بشكل آمن، يمكنك البدء في استخدام موارد الحوسبة السحابية عند الطلب مع إمكانات الاندفاع الخاصة بـ مدير حمل العملالحالي لديك.

حلول Microsoft Azure Marketplace

يتوفر العديد من مديري أحمال العمل في Azure Marketplace.

Azure Batch

Azure Batch هي خدمة نظام أساسي لتشغيل تطبيقات الحوسبة عالية الأداء المتوازية واسعة النطاق بكفاءة في السحابة. يقوم Azure Batch بجدولة عمل حسابي مكثف ليتم تشغيله على مجموعة مُدارة من الأجهزة الظاهرية، ويمكنه تلقائياً توسيع نطاق موارد الحوسبة لتلبية احتياجات وظائفك.

يمكن لموفري SaaS أو المطورين استخدام Batch SDKs والأدوات لدمج تطبيقات HPC أو أحمال عمل الحاوية مع Azure، وترتيب البيانات إلى Azure، وبناء مسارات تنفيذ المهام.

في Azure Batch، يتم تشغيل جميع الخدمات على السحابة، توضح الصورة أدناه كيف تبدو البنية مع Azure Batch، مع وجود تكوينات قابلية التوسع وجدول الوظائف قيد التشغيل في السحابة بينما يمكن إرسال النتائج والتقارير إلى البيئة المحلية الخاصة بك.

يوضح الرسم التخطيطي مثال بنية HPC ل Azure Batch.

Azure CycleCloud

يوفر Azure CycleCloud أبسط طريقة لإدارة أحمال عمل HPC باستخدام أي برنامج جدولة (مثل Slurm أو Grid Engine أو HPC Pack أو HTCondor أو LSF أو PBS Pro أو Symphony)، على Azure

يتيح لك CycleCloud:

  • توزيع مجموعات كاملة وموارد أخرى، بما في ذلك المجدول، وحساب VMs، والتخزين، والشبكات، وذاكرة التخزين المؤقت
  • تنظيم المهام والبيانات ومهام سير العمل السحابية
  • امنح المسؤولين التحكم الكامل في تحديد المستخدمين الذين يمكنهم تشغيل الوظائف، بالإضافة إلى مكان وبأي تكلفة
  • يمكنك تخصيص المجموعات وتحسينها من خلال ميزات النهج والإدارة المتقدمة، بما في ذلك ضوابط التكلفة وتكامل Active Directory والمراقبة وإعداد التقارير
  • استخدم برنامج جدولة عملك الحالي والتطبيقات دون تعديل
  • استفد من البنى المرجعية المضمنة ذات التحجيم التلقائي والمرجعية التي تم اختبارها في المعركة لمجموعة كبيرة من أحمال العمل والصناعات عالية الأداء (HPC)
نموذج الاندفاع المختلط / السحابي

في هذا الرسم التخطيطي للمثال المختلط، يمكننا أن نرى بوضوح كيفية توزيع هذه الخدمات بين السحابة والبيئة المحلية. إتاحة الفرصة لتشغيل الوظائف في كل من أحمال العمل. يوضح الرسم التخطيطي مثال بنية HPC ل CycleCloud على Azure في مختلط.

نموذج أصلي للسحابة

يوضح الرسم التخطيطي لنموذج السحابة الأصلي أدناه كيف سيتعامل حمل العمل في السحابة مع الحفاظ على الاتصال بالبيئة المحلية.

يوضح الرسم التخطيطي مثال بنية HPC ل CycleCloud على Azure في النموذج الأصلي للسحابة .

مخطط المقارنة

ميزة Azure Batch Azure CycleCloud
Scheduler واجهات برمجة التطبيقات الدفعية والأدوات والبرامج النصية سطر الأوامر في مدخل Microsoft Azure (Cloud Native). استخدم مجدولات HPC القياسية مثل Slurm وPBS Pro وLSF و Grid Engine وHTCondor، أو قم بتوسيع المكونات الإضافية للتحجيم التلقائي CycleCloud للعمل مع المجدول الخاص بك.
حساب الموارد البرنامج كعقد خدمة - النظام الأساسي كخدمة النظام الأساسي كبرنامج خدمة - النظام الأساسي كخدمة
أدوات المراقبة Azure Monitor Azure Monitor، Grafana
التخصيص تجمعات الصور المخصصة، وصور الجهات الخارجية، والوصول إلى واجهة برمجة التطبيقات الدفعية. استخدم واجهة برمجة تطبيقات RESTful الشاملة لتخصيص الوظائف وتوسيعها، ونشر المجدول الخاص بك، والدعم في مديري أحمال العمل الحاليين
التكامل Synapse Pipelines وAzure Data Factory وAzure CLI CLI المضمن لنظامي التشغيل Windows وLinux
نوع المستخدم المطورون مسؤولو HPC الكلاسيكيون والمستخدمون
نوع العمل الدفعة، مهام سير العمل مقترن بإحكام (واجهة تمرير الرسائل/MPI).
دعم Windows ‏‏نعم‬ يختلف، اعتمادا على اختيار المجدول

مديري حمل العمل

فيما يلي أمثلة لمديري المجموعات وأحمال العمل التي يمكن تشغيلها في البنية الأساسية لـ Azure. أنشئ أنظمة مجموعات مستقلة في Azure VMs أو اندفاعات إلى Azure VMs من مجموعة محلية.

الحاويات

يمكن أيضاً استخدام الحاويات لإدارة بعض أحمال عمل HPC. تسهل خدمات مثل Azure Kubernetes Service (AKS) توزيع مجموعة Kubernetes مُدارة في Azure.

إدارة التكلفة

يمكن إدارة تكلفة HPC على Azure بعدة طرق مختلفة. تأكد من مراجعة خيارات شراء Azure للعثور على الطريقة الأفضل لمؤسستك.

Security

للحصول على نظرة عامة بشأن أفضل ممارسات الأمان على Azure، راجع وثائق أمان Azure.

بالإضافة إلى تكوينات الشبكة المتوفرة في قسم Cloud Bursting ، يمكنك تنفيذ تكوين مركز/محور لعزل موارد الحوسبة الخاصة بك:

تطبيقات HPC

قم بتشغيل تطبيقات HPC المخصصة أو التجارية في Azure. تم قياس العديد من الأمثلة في هذا القسم لقياسها بكفاءة باستخدام أجهزة ظاهرية إضافية أو نوى حسابية. تفضل بزيارة Azure Marketplace للحصول على حلول جاهزة للتوزيع.

إشعار

تحقق مع بائع أي تطبيق تجاري للترخيص أو قيود أخرى للتشغيل في السحابة. لا يقدم جميع البائعين ترخيص الدفع أولاً بأول. قد تحتاج إلى خادم ترخيص في السحابة من أجل الحل الخاص بك، أو الاتصال بخادم ترخيص محلي.

التطبيقات الهندسية

الرسومات والتقديم

الذكاء الاصطناعي والتعلم العميق

موفرو MPI

التصور عن بعد

قم بتشغيل الأجهزة الظاهرية التي تعمل بنظام GPU في Azure في نفس المنطقة مثل إخراج HPC للحصول على أقل زمن وصول والوصول والتصور عن بُعد من خلال Azure Virtual Desktop أو Citrix أو VMware Horizon.

معايير الأداء

قصص نجاح العملاء

هناك العديد من العملاء الذين حققوا نجاحاً كبيراً باستخدام Azure لأحمال عمل HPC الخاصة بهم. يمكنك العثور على عدد قليل من دراسات الحالة للعملاء أدناه:

معلومات هامة أخرى

  • تأكد من زيادة حصة vCPU قبل محاولة تشغيل أحمال العمل على نطاق واسع.

الخطوات التالية

للاطلاع على الإعلانات الأخيرة، راجع الموارد التالية:

أمثلة على دفعات Microsoft

ستوفر لك هذه البرامج التعليمية تفاصيل حول تشغيل التطبيقات على Microsoft Batch: