خطط لنقل HPC المحلي إلى السحابة

يشير "الرفع والتحويل" في سياق الحوسبة عالية الأداء (HPC) في الغالب إلى عملية ترحيل بيئة محلية وعبء عمل إلى السحابة. من الناحية المثالية، يتم الاحتفاظ بالتعديلات إلى الحد الأدنى (على سبيل المثال، يجب أن تظل التطبيقات وجدولات الوظائف وتكويناتها كما هي في الغالب). من الطبيعي إجراء تعديلات على التخزين والأجهزة لأن الموارد تختلف عن الأنظمة الأساسية المحلية إلى الأنظمة الأساسية السحابية. مع نهج الرفع والتحول، يمكن للمؤسسات البدء في الاستفادة من السحابة بسرعة أكبر.

يمثل الشكل التالي مجموعة HPC محلية نموذجية في بيئة إنتاج، والتي غالبا ما توفرها الشركة المصنعة للأجهزة. تتضمن هذه البيئة المحلية مجموعة من عقد الحوسبة، والتي قد تعمل أو لا تعمل مع صور الجهاز الظاهري والحاويات. تنفذ مثل هذه العقد أحمال العمل التي يديرها مجدول الوظائف، والتي يمكن أن تكون Slurm أو PBS أو LSF عادة. تأتي أحمال العمل من عدة مستخدمين لديهم إدارة هوية مرتبطة بهم. عادة ما تكون هناك دلائل منزلية وأقراص الصفر والتخزين طويل المدى. يتوفر أيضا شكل من أشكال المراقبة للتحقق من أداء الوظائف وصحة عقد الحوسبة. يمكن للمستخدمين الوصول إلى البيئة عبر سطر الأوامر أو المتصفحات أو نوع من تقنية المرئيات عن بعد. تتم استضافة البيئة بأكملها في شبكة خاصة، لذلك لدى المستخدمين بعض الآليات للوصول إلى منشأة الحوسبة، إما عبر VPN أو عبر المدخل.

كما نرى في جميع أنحاء هذا المستند، فإن البيئة في السحابة التي تتبع نموذج البنية التحتية كخدمة، من الناحية المفاهيمية، ليست مختلفة تماما. تحتاج بعض التقنيات إلى بعض التحديثات وبعض الخطوات أثناء الترحيل من أماكن العمل إلى السحابة ضرورية.

لذلك، فإن هذا المستند:

• يمر بخيارات عملية الترحيل؛
• توفير المؤشرات للمنتجات وأفضل الممارسات لكل مكون؛
• ويقدم توصيات لتجنب الثغرات في العملية.

قبل الانتقال إلى وصف البنية، من المهم فهم الشخصيات المختلفة في هذا السياق واحتياجاتها وتوقعاتها.

الأشخاص وتجربة المستخدم

هناك أشخاص مختلفون يحتاجون إلى الوصول إلى بيئة HPC. تختلف أنشطتهم وكيفية تفاعلهم مع البيئة قليلا.

المستخدم النهائي (مهندس / عالم / باحث)

تمثل هذه الشخصية خبير الموضوع (على سبيل المثال، عالم الأحياء، الفيزيائي، المهندس، إلخ) الذي يريد إجراء التجارب (أي إرسال الوظائف) وتحليل النتائج. يتفاعل المستخدمون النهائيون مع مسؤولي النظام لضبط بيئة الحوسبة كلما لزم الأمر. قد يكون لديهم بعض الخبرة في استخدام الأدوات المستندة إلى CLI، ولكن قد يعتمد بعضها فقط على مداخل الويب أو واجهات المستخدم الرسومية عبر VDI لإرسال وظائفهم والتفاعل مع النتائج التي تم إنشاؤها.

مسؤوليات جديدة في بيئة الحوسبة عالية الأداء السحابية:

• يجب ألا يكون لدى المستخدم النهائي أي مسؤوليات جديدة استنادا إلى العمل من كل من مسؤول HPC ومسؤول السحابة. اعتمادا على البيئة المحلية، يمكن للمستخدمين النهائيين الوصول إلى قدرة أكبر ومجموعة متنوعة من موارد الحوسبة لتصبح أكثر إنتاجية.

مسؤول HPC

تمثل هذه الشخصية الشخص الذي لديه خبرة HPC وهو مسؤول عن نشر البنية الأساسية الأولية للحوسبة وتكييفها وفقا لاحتياجات الأعمال والمستخدم النهائي. هذه الشخصية مسؤولة أيضا عن التحقق من صحة النظام وإجراء استكشاف الأخطاء وإصلاحها. يشعر مسؤولو HPC بالراحة في الوصول إلى البنية ومكوناتها عبر CLI وSDKs ومداخل الويب. كما أنها نقطة الاتصال الأولى عندما يواجه المستخدمون النهائيون أي تحد مع بيئة الحوسبة.

مسؤوليات جديدة في بيئة الحوسبة عالية الأداء السحابية:

• إدارة موارد وخدمات السحابة (على سبيل المثال، الأجهزة الظاهرية والتخزين والشبكات) عبر الأنظمة الأساسية لإدارة السحابة.
• تنفيذ وإدارة المجموعات والموارد عبر أدوات تنسيق الموارد الجديدة (على سبيل المثال، CycleCloud).
• تحسين نشر التطبيق من خلال فهم تفاصيل البنية الأساسية (أي أنواع الأجهزة الظاهرية والتخزين وخيارات الشبكة).
• تحسين استخدام الموارد والتكاليف باستخدام ميزات خاصة بالسحابة مثل التحجيم التلقائي والمثيلات الموضعية.

مسؤول السحابة

تعمل هذه الشخصية مع مسؤول HPC للمساعدة في نشر البنية الأساسية للحوسبة وصيانتها. هذه الشخصية ليست (بالضرورة) خبير HPC، ولكن خبير سحابة لديه معرفة عميقة بالبنية الأساسية الشاملة ل تكنولوجيا المعلومات للشركة، بما في ذلك تكوينات/نهج الشبكة، وحقوق وصول المستخدم، وأجهزة المستخدم. اعتمادا على الحالة، قد يكون مسؤول HPC ومسؤول السحابة نفس الشخص.

مسؤوليات جديدة في بيئة الحوسبة عالية الأداء السحابية:

• التعاون مع مسؤولي HPC لضمان التكامل السلس لأحمال عمل HPC مع البنية الأساسية السحابية.
• مراقبة وإدارة أداء البنية الأساسية السحابية والأمان والامتثال.
• المساعدة في تكوين حلول الشبكات والتخزين المستندة إلى السحابة لدعم أحمال عمل HPC.

مدير الأعمال / المالك

تمثل هذه الشخصية الشخص المسؤول عن العمل، والذي يتضمن الاهتمام بالميزانية والمشاريع لتحقيق الأهداف التنظيمية. بالنسبة لهذا الشخص، يكون المكون المحاسبي للهيكل مناسبا لفهم تكاليف كل مشروع. تعمل هذه الشخصية مع مسؤولي HPC والمستخدمين النهائيين لفهم احتياجات النظام الأساسي، بما في ذلك التخزين والشبكة وموارد الحوسبة. كما أنها تخطط لأحمال العمل المستقبلية.

مسؤوليات جديدة في بيئة الحوسبة عالية الأداء السحابية:

• تحليل تقارير التكلفة التفصيلية ومقاييس الاستخدام التي يوفرها موفرو الخدمات السحابية لإدارة الميزانيات والنفقات المتوقعة.
• اتخاذ قرارات استراتيجية استنادا إلى استخدام موارد السحابة وفرص تحسين التكلفة.
• تخطيط استثمارات البنية الأساسية السحابية والموافقة عليها لدعم أحمال عمل HPC المستقبلية وأهداف الأعمال.

نظرة عامة على تصميم الرفع والإزاحة

تتضمن بيئة إنتاج HPC في السحابة عدة مكونات. هناك بعض المكونات الأساسية للوقوف في بيئة، مثل مجدول الوظائف، وموفر الموارد، وموجه إدخال للمستخدم للوصول إلى البيئة، وأجهزة الحوسبة والتخزين، وغيرها. مع دخول البيئة في الإنتاج والمراقبة وإمكانية المراقبة والفحوصات الصحية والأمان وإدارة الهوية والمساءلة وخيارات التخزين المختلفة، من بين مكونات أخرى، تبدأ في لعب دور حاسم.

هناك أيضا ملحقات يمكن أن تكون في مكانها، مثل عقد تسجيل الدخول، ومحركات البيانات، واستخدام الحاويات، ومديري التراخيص، من بين ملحقات أخرى تعتمد على التثبيت.

قد تحتوي هذه البيئة على مستوى الإنتاج على مكونات مختلفة ليتم إعدادها. لذلك، يصبح موزعو البيئة والمديرون مفتاحا لأتمتة توزيعه الأولي وترقيته على طول الطريق، على التوالي. يمكن أن تحتوي عمليات التثبيت الأكثر تقدما أيضا على قوالب بيئة (أو مواصفات) مع إصدارات البرامج والتكوينات الأكثر مثالية واختبارها بشكل صحيح. بمجرد أن تكون البيئة قيد الإنتاج مع جميع المكونات المطلوبة في مكانها، بمرور الوقت، قد تكون هناك حاجة إلى تعديلات لتلبية متطلبات المستخدم، بما في ذلك التغييرات في أنواع الأجهزة الظاهرية أو خيارات/قدرات التخزين.

إنشاء مثيل للرفع وتحويل بنية سحابة HPC

نقدم هنا المزيد من التفاصيل لكل مكون تصميم، بما في ذلك المؤشرات لمنتجات Azure الرسمية، والمدونات التقنية مع بعض أفضل الممارسات، ومستودعات git، والارتباطات إلى الحلول غير المنتجة.

بداية سريعة. للحصول على حل بداية سريعة لإنشاء بيئة HPC في السحابة باستخدام كتل الإنشاء الأساسية، نوصي باستخدام مساحة عمل Azure CycleCloud Slurm.