Bagikan melalui

Kelola kluster Apache Hadoop di Microsoft Azure HDInsight menggunakan Azure PowerShell

  • Artikel

Azure PowerShell dapat digunakan untuk mengontrol dan mengotomatiskan penyebaran dan pengelolaan beban kerja Anda di Azure. Dalam artikel ini, Anda mempelajari cara mengelola kluster Apache Hadoop di Microsoft Azure HDInsight dengan menggunakan modul Azure PowerShell Az. Untuk daftar cmdlet PowerShell Microsoft Azure HDInsight, lihat referensi Az.Microsoft Azure HDInsight.

Jika Anda tidak memiliki langganan Azure, buat akun gratis sebelum Anda memulai.

Prasyarat

Catatan

Sebaiknya Anda menggunakan modul Azure Az PowerShell untuk berinteraksi dengan Azure. Untuk memulai, lihat Menginstal Azure PowerShell. Untuk mempelajari cara bermigrasi ke modul Az PowerShell, lihat Memigrasikan Azure PowerShell dari AzureRM ke Az.

Modul Az PowerShell sudah diinstal.

Buat kluster

Lihat Buat kluster berbasis Linux di Microsoft Azure HDInsight menggunakan Azure PowerShell

Mencantumkan klaster

Gunakan perintah berikut untuk mencantumkan semua kluster dalam langganan saat ini:

Get-AzHDInsightCluster

Menampilkan klaster

Gunakan perintah berikut ini untuk memperlihatkan detail kluster tertentu di langganan saat ini:

Get-AzHDInsightCluster -ClusterName <Cluster Name>

Hapus kluster

Gunakan perintah berikut untuk menghapus kluster:

Remove-AzHDInsightCluster -ClusterName <Cluster Name>

Anda juga dapat menghapus kluster dengan menghapus grup sumber daya yang berisi kluster. Menghapus grup sumber daya akan menghapus semua sumber daya dalam grup termasuk akun penyimpanan default.

Remove-AzResourceGroup -Name <Resource Group Name>

Menskalakan klaster

Fitur penskalaan kluster memungkinkan Anda mengubah jumlah simpul pekerja yang digunakan oleh kluster yang berjalan di Microsoft Azure HDInsight, tanpa harus membuat ulang kluster. Untuk mengubah ukuran kluster Hadoop dengan menggunakan Azure PowerShell, jalankan perintah berikut dari komputer klien:

Set-AzHDInsightClusterSize -ClusterName <Cluster Name> -TargetInstanceCount <NewSize>

Untuk informasi selengkapnya tentang kluster penskalaan, lihat Skalakan kluster Microsoft HDInsight.

Memperbarui info masuk pengguna HTTP

Set-AzHDInsightGatewayCredential mengatur info masuk HTTP gateway dari kluster Microsoft Azure HDInsight.

$clusterName = "CLUSTERNAME"
$credential = Get-Credential -Message "Enter the HTTP username and password:" -UserName "admin"

Set-AzHDInsightGatewayCredential -ClusterName $clusterName -HttpCredential $credential

Temukan akun penyimpanan default

Skrip PowerShell berikut menunjukkan cara mendapatkan nama akun penyimpanan default dan informasi terkait:

#Connect-AzAccount
$clusterName = "<HDInsight Cluster Name>"

$clusterInfo = Get-AzHDInsightCluster -ClusterName $clusterName
$storageInfo = $clusterInfo.DefaultStorageAccount.split('.')
$defaultStoreageType = $storageInfo[1]
$defaultStorageName = $storageInfo[0]

echo "Default Storage account name: $defaultStorageName"
echo "Default Storage account type: $defaultStoreageType"

if ($defaultStoreageType -eq "blob")
{
    $defaultBlobContainerName = $cluster.DefaultStorageContainer
    $defaultStorageAccountKey = (Get-AzStorageAccountKey -ResourceGroupName $resourceGroupName -Name $defaultStorageAccountName)[0].Value
    $defaultStorageAccountContext = New-AzStorageContext -StorageAccountName $defaultStorageAccountName -StorageAccountKey $defaultStorageAccountKey

    echo "Default Blob container name: $defaultBlobContainerName"
    echo "Default Storage account key: $defaultStorageAccountKey"
}

Temukan grup sumber daya

Dalam mode Resource Manager, setiap kluster Microsoft Azure HDInsight milik grup sumber daya Azure. Untuk menemukan grup sumber daya:

$clusterName = "<HDInsight Cluster Name>"

$cluster = Get-AzHDInsightCluster -ClusterName $clusterName
$resourceGroupName = $cluster.ResourceGroup

Mengirimkan pekerjaan

Untuk mengirimkan pekerjaan MapReduce

Lihat Jalankan contoh MapReduce yang disertakan dalam Microsoft Azure HDInsight.

Untuk mengirimkan pekerjaan Apache Hive

Lihat Jalankan kueri Apache Hive menggunakan PowerShell.

Untuk mengirimkan pekerjaan Apache Sqoop

lihat Gunakan Apache Sqoop dengan Microsoft Azure HDInsight.

Untuk mengirimkan pekerjaan Apache Oozie

Lihat Gunakan Apache Oozie dengan Apache Hadoop untuk menentukan dan menjalankan alur kerja pada Microsoft Azure HDInsight.

Unggah data ke penyimpanan Azure Blob

Lihat Unggah data ke Microsoft Azure HDInsight.

Lihat Juga