مصطلح الحوسبة الكبيرة يصف أحمال العمل واسعة النطاق التي تتطلب عددًا كبيرًا من الذاكرات الأساسية، وغالبًا ما يتم ترقيمها بالمئات أو الآلاف. السيناريوهات تشمل عرض الصور، وديناميكيات السوائل، ونمذجة المخاطر المالية، واستكشاف النفط، وتصميم الأدوية، وتحليل الإجهاد الهندسي، من بين أمور أخرى.
فيما يلي بعض الخصائص النموذجية لتطبيقات الحوسبة الكبيرة:
- يمكن تقسيم العمل إلى مهام منفصلة، والتي يمكن تشغيلها عبر العديد من الذاكرات الأساسية في وقت واحد.
- كل مهمة محدودة. تأخذ بعض المدخلات، وتفعل بعض المعالجة، وتنتج الإخراج. التطبيق يعمل بأكمله لفترة محدودة من الوقت (من دقائق إلى أيام). النمط الشائع هو توفير عدد كبير من الذاكرات الأساسية في اندفاع، ثم تدويرها إلى الصفر بمجرد اكتمال التطبيق.
- لا يحتاج التطبيق إلى البقاء 24/7. ومع ذلك، يجب على النظام معالجة فشل العقدة أو تعطل التطبيق.
- بالنسبة لبعض التطبيقات، تكون المهام مستقلة ويمكن تشغيلها بالتوازي. في حالات أخرى، تقترن المهام بإحكام، ما يعني أنها يجب أن تتفاعل أو تتبادل النتائج الوسيطة. في هذه الحالة، خذ بعين الاعتبار استخدام تقنيات الشبكات عالية السرعة مثل InfiniBand والوصول المباشر إلى الذاكرة عن بُعد (RDMA).
- اعتمادًا على حمل العمل لديك، قد تستخدم أحجام الأجهزة الظاهرية كثيفة الحوسبة (H16r وH16mr و A9).
متى تستخدم هذه البنية
- العمليات الحسابية المكثفة مثل المحاكاة واختراق الأرقام.
- المحاكاة التي تكون مكثفة حسابيًا ويجب تقسيمها عبر وحدات المعالجة المركزية في أجهزة كمبيوتر متعددة (10-1000s).
- عمليات المحاكاة التي تتطلب ذاكرة كبيرة جدًا لجهاز كمبيوتر واحد، ويجب تقسيمها عبر أجهزة كمبيوتر متعددة.
- الحسابات طويلة الأمد التي قد تستغرق وقتًا طويلاً لإكمالها على كمبيوتر واحد.
- الحسابات الأصغر التي يجب تشغيلها بعدد 100 أو 1000 مرة، مثل محاكاة مونت كارلو.
المزايا
- أداء عال مع معالجة "متوازية بشكل محرج".
- يمكن تسخير مئات أو الآلاف من الذاكرات الأساسية للكمبيوتر لحل المشاكل الكبيرة بشكل أسرع.
- الوصول إلى أجهزة متخصصة عالية الأداء، مع شبكات InfiniBand مخصصة عالية السرعة.
- يمكنك توفير الأجهزة الظاهرية حسب الحاجة للقيام بالعمل، ثم هدمها.
التحديات
- إدارة البنية الأساسية للجهاز الظاهري.
- إدارة حجم الأرقام المتقشرة
- توفير الآلاف من الذاكرات الأساسية في الوقت المناسب.
- بالنسبة للمهام المقترنة بإحكام، يمكن أن يكون لإضافة المزيد من الذاكرات الأساسية عوائد متناقصة. قد تحتاج إلى تجربة للعثور على العدد الأمثل من الذاكرات الأساسية.
حساب كبير باستخدام Azure Batch
Azure Batch عبارة عن خدمة مُدارة لتشغيل تطبيقات الحوسبة عالية الأداء (HPC) واسعة النطاق.
باستخدام Azure Batch، يمكنك تكوين تجمع أجهزة ظاهرية، وتحميل التطبيقات وملفات البيانات. ثم توفر خدمة Batch الأجهزة الظاهرية، وتعين المهام إلى الأجهزة الظاهرية، وتشغل المهام، وتراقب التقدم. Batch يمكنه توسيع نطاق الأجهزة الظاهرية تلقائيًا استجابةً لحمل العمل. كما يوفر Batch جدولة المهام.
حوسبة كبيرة تعمل على الأجهزة الظاهرية
يمكنك استخدام Microsoft HPC Pack لإدارة مجموعة من الأجهزة الظاهرية وجدولة مهام HPC ومراقبتها. مع هذا النهج، يجب توفير وإدارة الأجهزة الظاهرية والبنية الأساسية للشبكة. خذ بعين الاعتبار هذا الأسلوب إذا كان لديك أحمال عمل HPC موجودة وتريد نقل بعضها أو كلها إلى Azure. يمكنك نقل مجموعة HPC بأكملها إلى Azure، أو يمكنك الاحتفاظ بمجموعة HPC المحلية، ولكن باستخدام Azure لسعة الاندفاع. لمزيد من المعلومات، راجع حلول الدفعات وHPC لأحمال عمل الحوسبة واسعة النطاق.
تم نشر HPC Pack في Azure
في هذا السيناريو، يتم إنشاء مجموعة HPC بالكامل داخل Azure.
العقدة الرئيسية توفر خدمات الإدارة وجدولة الوظائف إلى نظام المجموعة. بالنسبة للمهام المقترنة بإحكام، استخدم شبكة RDMA التي توفر اتصال نطاق ترددي عالٍ جدًا وزمن انتقال منخفض بين الأجهزة الظاهرية. لمزيد من المعلومات، راجع نشر مجموعة HPC Pack 2016 في Azure.
اندفاع مجموعة HPC إلى Azure
في هذا السيناريو، تقوم المؤسسة بتشغيل HPC Pack محليًا، وتستخدم أجهزة Azure الظاهرية لسعة الاندفاع. عقدة رأس نظام المجموعة محلية. ExpressRoute أو بوابة VPN يربط الشبكة المحلية بشبكة Azure VNet.
