إنشاء نظام مجموعة مع Data Lake Storage Gen2 باستخدام Azure CLI
لإنشاء كتلة HDInsight تستخدم Data Lake Storage Gen2 للتخزين، اتبع هذه الخطوات.
المتطلبات الأساسية
- إذا لم تكن معتادًا على Azure Data Lake Storage Gen2، فراجع قسم نظرة عامة.
- إذا لم يكن لديك حساب Azure بالفعل، فقم بالتسجيل للحصول على حساب مجاني قبل المتابعة.
- لتشغيل أمثلة البرنامج النصي CLI، لديك ثلاثة خيارات:
- استخدم Azure Cloud Shell من مدخل Azure (راجع القسم التالي).
- استخدم Azure Cloud Shell المضمن عبر زر "Try It" الموجود في الزاوية العلوية اليمنى من كل كتلة تعليمات برمجية.
- ثبّت أحدث إصدار من Azure CLI (2.0.13 أو أحدث) إذا كنت تفضل استخدام وحدة تحكم CLI محلية. سجّل الدخول إلى Azure باستخدام
az login، باستخدام حساب مرتبط باشتراك Azure الذي تريد بموجبه نشر الهوية المُدارة المعينة من قبل المستخدم .Azure CLI.
Azure Cloud Shell
Azure يستضيف Azure Cloud Shell، بيئة تفاعلية يمكن استخدامها من خلال المستعرض. يمكنك استخدام Bash أو PowerShell مع Cloud Shell للعمل مع خدمات Azure. يمكنك استخدام أوامر Cloud Shell المثبتة مسبقًا لتشغيل التعليمات البرمجية في هذه المقالة دون الحاجة إلى تثبيت أي شيء على البيئة المحلية.
لبدء Azure Cloud Shell:
| خيار | مثال/ رابط |
|---|---|
| انقر فوق جربه في الزاوية العلوية اليسرى من التعليمة البرمجية أو كتلة الأمر. تحديد جربه لا يقوم بنسخ التعليمة البرمجية أو الأمر تلقائيًا إلى Cloud Shell. |  |
| انتقل إلى https://shell.azure.com، أو حدد زر تشغيل Cloud Shell لفتح Cloud Shell في المتصفح لديك. |  |
| حدد زر Cloud Shell على شريط القوائم في أعلى اليمين في مدخل Microsoft Azure. |  |
لاستخدام Azure Cloud Shell:
ابدأ تشغيل Cloud Shell.
حدد الزر نسخ على كتلة التعليمات البرمجية (أو كتلة الأوامر) لنسخ التعليمات البرمجية أو الأمر.
ألصق التعليمة البرمجية أو الأمر في جلسة Cloud Shell بتحديد Ctrl+Shift+Vعلى Windows وLunix، أو بتحديد Cmd+Shift+Vعلى macOS.
حدد Enter لتشغيل التعليمات البرمجية أو الأمر.
تحذير
يتم تحديد فوترة مجموعات HDInsight في الدقيقة، سواء كنت تستخدمها أم لا. تأكد من حذف نظام المجموعة بعد انتهائك من استخدامه. تعرف على كيفية حذف مجموعة HDInsight.
يمكنك تنزيل نموذج ملف وتنزيل نموذج لملف المعلمات. قبل استخدام القالب وقصاصة التعليمات البرمجية لـ Azure CLI أدناه، استبدل العناصر النائبة التالية بقيمها الصحيحة:
| Placeholder | الوصف |
|---|---|
<SUBSCRIPTION_ID> |
معرّف اشتراك Azure الخاص بك |
<RESOURCEGROUPNAME> |
مجموعة الموارد التي تريد إنشاء نظام المجموعة الجديدة وحساب التخزين فيها. |
<MANAGEDIDENTITYNAME> |
اسم الهوية المُدارة التي سيتم منحها أذونات على حساب التخزين الخاص بك باستخدام Azure Data Lake Storage Gen2. |
<STORAGEACCOUNTNAME> |
حساب التخزين الجديد مع Azure Data Lake Storage Gen2 الذي سيتم إنشاؤه. |
<FILESYSTEMNAME> |
اسم نظام الملفات الذي يجب أن تستخدمه هذه المجموعة في حساب التخزين. |
<CLUSTERNAME> |
اسم نظام مجموعة HDInsight الخاص بك. |
<PASSWORD> |
كلمة المرور التي اخترتها لتسجيل الدخول إلى نظام المجموعة باستخدام SSH ولوحة معلومات Ambari. |
تقوم القصاصة البرمجية أدناه بالخطوات الأولية التالية:
- تسجيل الدخول إلى حساب Azure الخاص بك.
- تعيين الاشتراك النشط حيث سيتم إجراء عمليات الإنشاء.
- إنشاء مجموعة موارد جديدة لأنشطة النشر الجديدة.
- إنشاء هوية مُدارة يعينها المستخدم.
- إضافة امتداد إلى Azure CLI لاستخدام ميزات Data Lake Storage Gen2.
- إنشاء حساب تخزين جديد باستخدام Data Lake Storage Gen2 باستخدام العلامة
--hierarchical-namespace true.
az login
az account set --subscription <SUBSCRIPTION_ID>
# Create resource group
az group create --name <RESOURCEGROUPNAME> --location eastus
# Create managed identity
az identity create -g <RESOURCEGROUPNAME> -n <MANAGEDIDENTITYNAME>
az extension add --name storage-preview
az storage account create --name <STORAGEACCOUNTNAME> \
--resource-group <RESOURCEGROUPNAME> \
--location eastus --sku Standard_LRS \
--kind StorageV2 --hierarchical-namespace true
بعد ذلك، سجّل الدخول إلى المدخل. أضف الهوية المدارة الجديدة المعينة من قبل المستخدم إلى دور Storage Blob Data Owner على حساب التخزين. تم وصف هذه الخطوة في الخطوة رقم 3 ضمن استخدام مدخل Azure.
هام
تأكد من أن حساب التخزين الخاص بك لديه الهوية المعينة من قبل المستخدم مع أذونات دور مالك بيانات Storage Blob، وإلا سيفشل إنشاء نظام المجموعة.
az deployment group create --name HDInsightADLSGen2Deployment \
--resource-group <RESOURCEGROUPNAME> \
--template-file hdinsight-adls-gen2-template.json \
--parameters parameters.json
تنظيف الموارد
بعد إكمال المقالة، قد ترغب في حذف نظام المجموعة. من خلال HDInsight، يتم تخزين البيانات الخاصة بك في Azure Storage؛ لذا يمكنك حذف المجموعة بأمان عندما لا تكون قيد الاستخدام. يتم محاسبتك أيضاً على نظام مجموعة HDInsight، حتى عندما لا تكون قيد الاستخدام. نظراً لأن رسوم نظام المجموعة تزيد عدة مرات عن رسوم التخزين، فمن المنطقي اقتصادياً حذف أنظمة المجموعات عندما لا تكون قيد الاستخدام.
أدخِل كل الأوامر التالية أو بعضها لحذف الموارد:
# Remove cluster
az hdinsight delete \
--name $clusterName \
--resource-group $resourceGroupName
# Remove storage container
az storage container delete \
--account-name $AZURE_STORAGE_ACCOUNT \
--name $AZURE_STORAGE_CONTAINER
# Remove storage account
az storage account delete \
--name $AZURE_STORAGE_ACCOUNT \
--resource-group $resourceGroupName
# Remove resource group
az group delete \
--name $resourceGroupName
استكشاف الأخطاء وإصلاحها
إذا واجهت مشاكل في إنشاء مجموعات HDInsight، راجع متطلبات التحكم بالوصول.
الخطوات التالية
لقد نجحت في إنشاء نظام مجموعة HDInsight. الآن تعلم كيفية العمل مع نظام المجموعة الخاص بك.
نظام مجموعة Apache Spark
- تخصيص مجموعات Azure HDInsight المستندة إلى Linux باستخدام إجراءات البرنامج النصي
- إنشاء تطبيق مستقل باستخدام Scala
- شغل الوظائف عن بعد على مجموعة Apache Spark باستخدام Apache Livy
- Apache Spark مع المعلومات المهنية: إجراء تحليل تفاعلي للبيانات باستخدام Spark in HDInsight مع أدوات المعلومات المهنية
- Apache Spark مع التعلم الآلي: استخدم Spark في HDInsight للتنبؤ بنتائج فحص الأغذية