إنشاء مجموعات HDInsight باستخدام Azure CLI

  • مقالة

تستعرض الخطوات الواردة في هذا المستند إنشاء مجموعة HDInsight 4.0 باستخدام Azure CLI.

تحذير

يتم تحديد فوترة مجموعات HDInsight في الدقيقة، سواء كنت تستخدمها أم لا. تأكد من حذف نظام المجموعة بعد انتهائك من استخدامه. تعرف على كيفية حذف مجموعة HDInsight.

إذا لم يكن لديك اشتراك في Azure، فأنشئ حساب Azure مجاني قبل أن تبدأ.

المتطلبات الأساسية

إنشاء نظام مجموعة

  1. تسجيل الدخول إلى اشتراك Azure الخاص بك. إذا كنت تخطط لاستخدام Azure Cloud Shell، فحدد "Try it" في الزاوية العلوية اليمنى من نظام مجموعة التعليمات البرمجية. ثم إدخال الأمر التالي:

    az login

# If you have multiple subscriptions, set the one to use
# az account set --subscription "SUBSCRIPTIONID"

  2. قم بتعيين متغيرات البيئة. يعتمد استخدام المتغيرات في هذه المقالة على Bash. هناك حاجة إلى اختلافات طفيفة للبيئات الأخرى. راجع az-hdinsight-create للحصول على قائمة كاملة بالمعلمات الممكنة لإنشاء نظام النظام مجموعة.

    المعلمة ‏‏الوصف‬
    --workernode-count عدد العقد العاملة في نظام النظام مجموعة. تستخدم هذه المقالة المتغير clusterSizeInNodes كقيمة تم تمريرها إلى --workernode-count.
    --version إصدار نظام مجموعة HDInsight. تستخدم هذه المقالة المتغير clusterVersion كقيمة تم تمريرها إلى --version. راجع أيضاً: إصدارات HDInsight المدعومة.
    --type نوع نظام مجموعة HDInsight، مثل: hadoop، وhbase التفاعلي، وhbase، وkafka، وspark، و، rserverو mlservices. تستخدم هذه المقالة المتغير clusterType كقيمة تم تمريرها إلى --type. راجع أيضاً: أنواع المجموعات والتكوين.
    --component-version إصدارات مكونات Hadoop المختلفة، في إصدارات مفصولة بمسافات بتنسيق "component = version". تستخدم هذه المقالة المتغير componentVersion كقيمة تم تمريرها إلى --component-version. راجع أيضاً: مكونات Hadoop.

    استبدل RESOURCEGROUPNAME وLOCATION وCLUSTERNAME وSTORAGEACCOUNTNAME وPASSWORD بالقيم المرغوبة. قم بتغيير قيم المتغيرات الأخرى حسب الرغبة. ثم أدخل أوامر CLI.

    export resourceGroupName=RESOURCEGROUPNAME
export location=LOCATION
export clusterName=CLUSTERNAME
export AZURE_STORAGE_ACCOUNT=STORAGEACCOUNTNAME
export httpCredential='PASSWORD'
export sshCredentials='PASSWORD'

export AZURE_STORAGE_CONTAINER=$clusterName
export clusterSizeInNodes=1
export clusterVersion=4.0
export clusterType=hadoop
export componentVersion=Hadoop=3.1

  3. إنشاء مجموعة الموارد عن طريق إدخال الأمر التالي:

    az group create \
    --location $location \
    --name $resourceGroupName

    للحصول على قائمة بالمواقع الصالحة، استخدم الأمر az account list-locations، ثم استخدم أحد المواقع من القيمة name.

  4. إنشاء حساب Azure Storage عن طريق إدخال الأمر التالي:

    # Note: kind BlobStorage is not available as the default storage account.
az storage account create \
    --name $AZURE_STORAGE_ACCOUNT \
    --resource-group $resourceGroupName \
    --https-only true \
    --kind StorageV2 \
    --location $location \
    --sku Standard_LRS

  5. استخراج المفتاح الأساسي من حساب Azure Storage وتخزينه في متغير عن طريق إدخال الأمر التالي:

    export AZURE_STORAGE_KEY=$(az storage account keys list \
    --account-name $AZURE_STORAGE_ACCOUNT \
    --resource-group $resourceGroupName \
    --query [0].value -o tsv)

  6. إنشاء حاوية تخزين Azure عن طريق إدخال الأمر التالي:

    az storage container create \
    --name $AZURE_STORAGE_CONTAINER \
    --account-key $AZURE_STORAGE_KEY \
    --account-name $AZURE_STORAGE_ACCOUNT

  7. Create the HDInsight cluster بإدخال الأمر التالي:

    az hdinsight create \
    --name $clusterName \
    --resource-group $resourceGroupName \
    --type $clusterType \
    --component-version $componentVersion \
    --http-password $httpCredential \
    --http-user admin \
    --location $location \
    --workernode-count $clusterSizeInNodes \
    --ssh-password $sshCredentials \
    --ssh-user sshuser \
    --storage-account $AZURE_STORAGE_ACCOUNT \
    --storage-account-key $AZURE_STORAGE_KEY \
    --storage-container $AZURE_STORAGE_CONTAINER \
    --version $clusterVersion

    هام

    تأتي مجموعات HDInsight في أنواع مختلفة، والتي تتوافق مع حمولة العمل أو التكنولوجيا التي تم ضبط نظام المجموعة من أجلها. لا توجد طريقة مدعومة لإنشاء نظام مجموعة بجمع بين أنواع متعددة، مثل HBase في نظام مجموعة واحد.

    قد تستغرق عملية إنشاء النظام مجموعة عدة دقائق حتى تكتمل. عادة حوالي 15.

تنظيف الموارد

بعد إكمال المقالة، قد ترغب في حذف نظام المجموعة. من خلال HDInsight، يتم تخزين البيانات الخاصة بك في Azure Storage؛ لذا يمكنك حذف المجموعة بأمان عندما لا تكون قيد الاستخدام. يتم محاسبتك أيضاً على نظام مجموعة HDInsight، حتى عندما لا تكون قيد الاستخدام. نظراً لأن رسوم نظام المجموعة تزيد عدة مرات عن رسوم التخزين، فمن المنطقي اقتصادياً حذف أنظمة المجموعات عندما لا تكون قيد الاستخدام.

أدخِل كل الأوامر التالية أو بعضها لحذف الموارد:

# Remove cluster
az hdinsight delete \
    --name $clusterName \
    --resource-group $resourceGroupName

# Remove storage container
az storage container delete \
    --account-name $AZURE_STORAGE_ACCOUNT \
    --name $AZURE_STORAGE_CONTAINER

# Remove storage account
az storage account delete \
    --name $AZURE_STORAGE_ACCOUNT \
    --resource-group $resourceGroupName

# Remove resource group
az group delete \
    --name $resourceGroupName

استكشاف الأخطاء وإصلاحها‬

إذا واجهت مشاكل في إنشاء مجموعات HDInsight، راجع متطلبات التحكم بالوصول.

الخطوات التالية

الآن بعد أن أنشأت نظام مجموعة HDInsight بنجاح باستخدام Azure CLI، استخدم ما يلي لمعرفة كيفية العمل مع نظام المجموعة الخاصة بك:

نظام مجموعة Apache Hadoop

نظام مجموعة Apache HBase