إعداد معمل لتحليلات البيانات الضخمة في Azure Lab Services باستخدام نشر Docker ل HortonWorks Data Platform

هام

سيتم إيقاف Azure Lab Services في 28 يونيو 2027. لمزيد من المعلومات، راجع دليل الإيقاف.

إشعار

تشير هذه المقالة إلى الميزات المتوفرة في خطط المختبر، والتي حلت محل حسابات المختبر.

توضح لك هذه المقالة كيفية إعداد مختبر لتعليم فئة تحليلات البيانات الضخمة. تعلم فئة تحليلات البيانات الضخمة المستخدمين كيفية التعامل مع كميات كبيرة من البيانات. كما أنه يعلمهم تطبيق خوارزميات التعلم الآلي والإحصائي لاشتقاق رؤى البيانات. يتمثل الهدف الرئيسي في تعلم كيفية استخدام أدوات تحليل البيانات، مثل حزمة البرامج مفتوحة المصدر من Apache Hadoop. توفر حزمة البرامج أدوات لتخزين البيانات الضخمة وإدارتها ومعالجتها.

في هذا التمرين المعملي، يعمل مستخدمو المختبر مع إصدار تجاري شائع من Hadoop يوفره Cloudera، يسمى Hortonworks Data Platform (HDP). على وجه التحديد، يستخدم مستخدمو المختبر HDP Sandbox 3.0.1 وهو إصدار مبسط وسهل الاستخدام من النظام الأساسي. HDP Sandbox 3.0.1 مجاني أيضا من التكلفة ومخصصة للتعلم والتجريب. على الرغم من أن هذه الفئة قد تستخدم إما أجهزة Windows أو Linux الظاهرية (VM) مع نشر بيئة الاختبار المعزولة ل HDP. توضح لك هذه المقالة كيفية استخدام Windows.

جانب آخر مثير للاهتمام هو أنك تنشر بيئة الاختبار المعزولة ل HDP على الأجهزة الظاهرية للمختبر باستخدام حاويات Docker . توفر كل حاوية Docker بيئتها المعزولة لتطبيقات البرامج لتشغيلها داخلها. من الناحية المفاهيمية، تشبه حاويات Docker الأجهزة الظاهرية المتداخلة ويمكن استخدامها لنشر وتشغيل مجموعة واسعة من تطبيقات البرامج بسهولة استنادا إلى صور الحاوية المقدمة على Docker Hub. يسحب البرنامج النصي لتوزيع Cloudera ل HDP Sandbox تلقائيا صورة HDP Sandbox 3.0.1 Docker من Docker Hub ويشغل حاويتين Docker:

• بيئة الاختبار المعزولة-hdp
• وكيل بيئة الاختبار المعزولة

المتطلبات الأساسية

لإعداد هذا المختبر، تحتاج إلى الوصول إلى اشتراك Azure. ناقش مع مسؤول مؤسستك لمعرفة ما إذا كان يمكنك الوصول إلى اشتراك Azure موجود. في حال لم يكن لديك اشتراك Azure، فأنشئ حساباً مجانيّاً قبل البدء.

تكوين المختبر

إعدادات خطة التمرين المعملي

بعد أن يكون لديك اشتراك Azure، يمكنك إنشاء خطة مختبر في Azure Lab Services. لمزيد من المعلومات حول إنشاء خطة مختبر جديدة، راجع التشغيل السريع: إعداد الموارد لإنشاء مختبرات. يمكنك أيضا استخدام خطة مختبر موجودة.

يستخدم هذا التمرين المعملي صور Windows 10 Pro Azure Marketplace كصورة الجهاز الظاهري الأساسية. تحتاج أولا إلى تمكين هذه الصورة في خطة المختبر. يتيح هذا لمنشئي المختبر ثم تحديد الصورة كصورة أساسية لمختبرهم.

اتبع هذه الخطوات لتمكين صور Azure Marketplace المتوفرة لمنشئي المختبر. حدد إحدى صور Windows 10 Azure Marketplace.

إعدادات المختبر

إنشاء معمل لخطة المختبر الخاصة بك. للحصول على إرشادات حول كيفية إنشاء مختبر، راجع البرنامج التعليمي: إعداد مختبر. استخدم الإعدادات التالية عند إنشاء المختبر.

إعدادات المختبر	القيمة/الإرشادات
أحجام الجهاز الظاهري	متوسط (الظاهرية المتداخلة). حجم الجهاز الظاهري هذا هو الأنسب لقواعد البيانات الارتباطية والتخزين المؤقت في الذاكرة والتحليلات. يدعم الحجم أيضا الظاهرية المتداخلة.
صورة الجهاز الظاهري	Windows 10 Pro

إشعار

استخدم حجم الجهاز الظاهري المتوسط (الظاهرية المتداخلة) لأن بيئة الاختبار المعزولة ل HDP باستخدام Docker تتطلب Windows Hyper-V مع الظاهرية المتداخلة وذاكرة وصول عشوائي 10 غيغابايت على الأقل.

تكوين جهاز القالب

لإعداد جهاز القالب:

1. تثبيت Docker
2. نشر بيئة الاختبار المعزولة ل HDP
3. استخدام PowerShell وWindows Task Scheduler لبدء تشغيل حاويات Docker تلقائيا

تثبيت Docker

تستند الخطوات الواردة في هذا القسم إلى إرشادات Cloudera للنشر باستخدام حاويات Docker.

لاستخدام حاويات Docker، يجب أولا تثبيت Docker Desktop على القالب VM:

1. اتبع الخطوات الواردة في قسم المتطلبات الأساسية لتثبيت Docker لنظام التشغيل Windows.

   هام

   تأكد من ترك الخيار استخدام حاويات Windows بدلا من تكوين حاويات Linux دون تحديد.

2. تأكد من تشغيل حاويات Windows وميزات Hyper-V.

   

3. اتبع الخطوات الواردة في قسم الذاكرة ل Windows لتكوين تكوين ذاكرة Docker.

   تحذير

   إذا قمت عن غير قصد بالتحقق من الخيار استخدام حاويات Windows بدلا من حاويات Linux عند تثبيت Docker، فلن ترى إعدادات تكوين الذاكرة. لإصلاح ذلك، يمكنك التبديل إلى استخدام حاويات Linux بالنقر فوق أيقونة Docker في علبة نظام Windows؛ عند فتح قائمة Docker Desktop، حدد التبديل إلى حاويات Linux.

نشر بيئة الاختبار المعزولة ل HDP

بعد ذلك، انشر بيئة الاختبار المعزولة ل HDP ثم قم بالوصول إلى بيئة الاختبار المعزولة ل HDP باستخدام المستعرض.

1. تأكد من تثبيت Git Bash كما هو مدرج في قسم المتطلبات الأساسية في الدليل. يوصى بإكمال الخطوات التالية.

2. باستخدام دليل نشر وتثبيت Cloudera ل Docker، أكمل الخطوات الواردة في الأقسام التالية:

   • نشر بيئة الاختبار المعزولة ل HDP
   • التحقق من بيئة الاختبار المعزولة ل HDP

   تحذير

   عند تنزيل أحدث ملف .zip ل HDP، تأكد من عدم حفظ ملف .zip في مسار دليل يتضمن مسافة بيضاء.

   إشعار

   إذا تلقيت استثناء أثناء النشر يفيد بأنه لم تتم مشاركة محرك الأقراص، فستحتاج إلى مشاركة محرك الأقراص C مع Docker بحيث يمكن لحاويات HDP Linux الوصول إلى ملفات Windows المحلية. لإصلاح ذلك، انقر فوق أيقونة Docker في علبة نظام Windows لفتح قائمة Docker Desktop وحدد الإعدادات. عند فتح مربع الحوار إعدادات Docker، حدد Resources > File Sharing وتحقق من محرك الأقراص C . يمكنك بعد ذلك تكرار الخطوات لنشر بيئة الاختبار المعزولة ل HDP.

3. عند نشر حاويات Docker ل HDP Sandbox وتشغيلها، يمكنك الوصول إلى البيئة عن طريق تشغيل المتصفح الخاص بك. اتبع إرشادات Cloudera لفتح صفحة الترحيب في بيئة الاختبار المعزولة وإطلاق لوحة معلومات HDP.

   إشعار

   تفترض هذه الإرشادات أنك قمت أولا بتعيين عنوان IP المحلي لبيئة الاختبار المعزولة إلى sandbox-hdp.hortonworks.com في ملف المضيف على القالب VM. إذا لم تقم بهذا التعيين، يمكنك الوصول إلى صفحة الترحيب في بيئة الاختبار المعزولة عن طريق الانتقال إلى http://localhost:8080.

بدء تشغيل حاويات Docker تلقائيا عند تسجيل دخول مستخدمي المختبر

لتوفير تجربة سهلة الاستخدام لمستخدمي المختبر، قم بإنشاء برنامج نصي PowerShell تلقائيا:

1. بدء تشغيل حاويات HDP Sandbox Docker عند بدء تشغيل مستخدم المختبر والاتصال بجهازه الظاهري المعملي.
2. تشغيل المستعرض والانتقال إلى صفحة الترحيب في بيئة الاختبار المعزولة.

استخدم Windows Task Scheduler لتشغيل هذا البرنامج النصي تلقائيا عندما يقوم مستخدم مختبر بتسجيل الدخول إلى الجهاز الظاهري الخاص به. لإعداد جدولة المهام، اتبع الخطوات التالية: البرمجة النصية ل Big Data Analytics.

الخاتمة

رشدتك هذه المقالة خلال الخطوات اللازمة لإنشاء مختبر لفئة تحليلات البيانات الضخمة. تستخدم فئة تحليلات البيانات الضخمة Hortonworks Data Platform المنشورة مع Docker. قد يتم استخدام الإعداد لنوع الفئة هذا لفئات تحليلات البيانات المماثلة. قد ينطبق هذا الإعداد أيضا على أنواع أخرى من الفئات التي تستخدم Docker للنشر.

الخطوات التالية

يمكن الآن نشر صورة القالب إلى المختبر. لمزيد من المعلومات، راجع نشر القالب VM.

أثناء إعداد المختبر، راجع المقالات التالية:

• تعيين الحصة النسبية
• تعيين جدول زمني
• إضافة مستخدمين
• ارتباطات تسجيل البريد الإلكتروني للطلاب