مشاركة عبر

أدِر مجموعات Apache Hadoop في HDInsight باستخدام Azure PowerShell

  • مقالة

يمكن استخدام Azure PowerShell للتحكم في توزيع وإدارة أحمال العمل الخاصة بك وإدارتها تلقائياً في Azure. في هذه المقالة، ستتعلم كيفية إدارة مجموعات Apache Hadoop في Azure HDInsight باستخدام الوحدة النمطية Azure PowerShell Az. للحصول على قائمة أوامر HDInsight PowerShell cmdlets، راجع مرجع Az.HDInsight.

في حال لم يكن لديك اشتراك Azure، فأنشئ حساباً مجانيّاً قبل البدء.

المتطلبات الأساسية

إشعار

نوصي باستخدام الوحدة النمطية Azure Az PowerShell للتفاعل مع Azure. للبدء، راجع تثبيت Azure PowerShell. لمعرفة كيفية الترحيل إلى الوحدة النمطية Az PowerShell، راجع ترحيل Azure PowerShell من AzureRM إلى Az.

تم تثبيت PowerShell ​​Az Module.

إنشاء مجموعات

راجع إنشاء مجموعات مستندة إلى Linux في HDInsight باستخدام Azure PowerShell

سرد نظام المجموعات

استخدم الأمر التالي لسرد جميع المجموعات في الاشتراك الحالي:

Get-AzHDInsightCluster

Show cluster

استخدم الأمر التالي لإظهار تفاصيل مجموعة معينة في الاشتراك الحالي:

Get-AzHDInsightCluster -ClusterName <Cluster Name>

حذف أنظمة مجموعات

استخدم الأمر التالي لحذف كتلة:

Remove-AzHDInsightCluster -ClusterName <Cluster Name>

يمكنك أيضاً حذف كتلة عن طريق إزالة مجموعة الموارد التي تحتوي على الكتلة. يؤدي حذف مجموعة موارد إلى حذف جميع الموارد في المجموعة بما في ذلك حساب التخزين الظاهري.

Remove-AzResourceGroup -Name <Resource Group Name>

أنظمة مجموعات مقياس

تتيح لك ميزة قياس الكتلة تغيير عدد العقد العاملة التي تستخدمها مجموعة تعمل في Azure HDInsight دون الحاجة إلى إعادة إنشاء الكتلة. لتغيير حجم كتلة Hadoop باستخدام Azure PowerShell، قم بتشغيل الأمر التالي من جهاز عميل:

Set-AzHDInsightClusterSize -ClusterName <Cluster Name> -TargetInstanceCount <NewSize>

لمزيد من المعلومات حول قياس المجموعات، راجع أنظمة مجموعات Scale HDInsight.

تحديث بيانات اعتماد مستخدم HTTP

يعيّن Set-AzHDInsightGatewayCredential بيانات اعتماد HTTP الخاصة بالمدخل لمجموعة Azure HDInsight.

$clusterName = "CLUSTERNAME"
$credential = Get-Credential -Message "Enter the HTTP username and password:" -UserName "admin"

Set-AzHDInsightGatewayCredential -ClusterName $clusterName -HttpCredential $credential

ابحث عن حساب التخزين الظاهري

يوضح البرنامج النصي PowerShell التالي كيفية الحصول على اسم حساب التخزين الظاهري والمعلومات ذات الصلة:

#Connect-AzAccount
$clusterName = "<HDInsight Cluster Name>"

$clusterInfo = Get-AzHDInsightCluster -ClusterName $clusterName
$storageInfo = $clusterInfo.DefaultStorageAccount.split('.')
$defaultStoreageType = $storageInfo[1]
$defaultStorageName = $storageInfo[0]

echo "Default Storage account name: $defaultStorageName"
echo "Default Storage account type: $defaultStoreageType"

if ($defaultStoreageType -eq "blob")
{
    $defaultBlobContainerName = $cluster.DefaultStorageContainer
    $defaultStorageAccountKey = (Get-AzStorageAccountKey -ResourceGroupName $resourceGroupName -Name $defaultStorageAccountName)[0].Value
    $defaultStorageAccountContext = New-AzStorageContext -StorageAccountName $defaultStorageAccountName -StorageAccountKey $defaultStorageAccountKey

    echo "Default Blob container name: $defaultBlobContainerName"
    echo "Default Storage account key: $defaultStorageAccountKey"
}

ابحث عن مجموعة الموارد

في وضع إدارة الموارد، تنتمي كل مجموعة HDInsight إلى مجموعة موارد Azure. للعثور على مجموعة الموارد:

$clusterName = "<HDInsight Cluster Name>"

$cluster = Get-AzHDInsightCluster -ClusterName $clusterName
$resourceGroupName = $cluster.ResourceGroup

إرسال الوظائف

لإرسال وظائف MapReduce

راجع تشغيل أمثلة MapReduce المضمنة في HDInsight.

لإرسال مهام Apache Hive

راجع تشغيل استعلامات Apache Hive باستخدام PowerShell.

لإرسال مهام Apache Sqoop

راجع استخدام Apache Sqoop مع HDInsight .

لإرسال وظائف Apache Oozie

راجع استخدام Apache Oozie مع Apache Hadoop لتحديد سير عمل وتشغيله في HDInsight.

تحميل البيانات إلى تخزين Azure Blob

راجع تحميل البيانات إلى HDInsight .

راجع أيضًا: