Megosztás a következőn keresztül:

Apache Hadoop-fürtök kezelése a HDInsightban az Azure PowerShell használatával

  • Cikk

Az Azure PowerShell segítségével szabályozhatja és automatizálhatja a számítási feladatok üzembe helyezését és felügyeletét az Azure-ban. Ebben a cikkben megtudhatja, hogyan kezelheti az Apache Hadoop-fürtöket az Azure HDInsightban az Azure PowerShell Az modul használatával. A HDInsight PowerShell-parancsmagok listáját az Az.HDInsight-referencia tartalmazza.

Ha még nincs Azure-előfizetése, kezdés előtt hozzon létre egy ingyenes fiókot.

Előfeltételek

Feljegyzés

Javasoljuk, hogy az Azure Az PowerShell modult használja az Azure-ral való interakcióhoz. Első lépésként tekintse meg az Azure PowerShell telepítését ismertető témakört. Az Az PowerShell-modulra történő migrálás részleteiről lásd: Az Azure PowerShell migrálása az AzureRM modulból az Az modulba.

A PowerShell Az modul telepítve van.

Fürtök létrehozása

Lásd: Linux-alapú fürtök létrehozása a HDInsightban az Azure PowerShell használatával

Fürtök listázása

Az alábbi paranccsal listázhatja az aktuális előfizetésben lévő összes fürtöt:

Get-AzHDInsightCluster

Fürt megjelenítése

Az alábbi paranccsal megjelenítheti egy adott fürt adatait az aktuális előfizetésben:

Get-AzHDInsightCluster -ClusterName <Cluster Name>

Fürtök törlése

Fürt törléséhez használja a következő parancsot:

Remove-AzHDInsightCluster -ClusterName <Cluster Name>

A fürtöt a fürtöt tartalmazó erőforráscsoport eltávolításával is törölheti. Az erőforráscsoport törlése törli a csoport összes erőforrását, beleértve az alapértelmezett tárfiókot is.

Remove-AzResourceGroup -Name <Resource Group Name>

Fürtök méretezése

A fürtméretezési funkció lehetővé teszi az Azure HDInsightban futó fürt által használt feldolgozó csomópontok számának módosítását anélkül, hogy újra létre kellene hoznia a fürtöt. Ha módosítani szeretné a Hadoop-fürt méretét az Azure PowerShell használatával, futtassa az alábbi parancsot egy ügyfélszámítógépről:

Set-AzHDInsightClusterSize -ClusterName <Cluster Name> -TargetInstanceCount <NewSize>

A fürtök méretezéséről további információt a HDInsight-fürtök méretezése című témakörben talál.

HTTP-felhasználói hitelesítő adatok frissítése

A Set-AzHDInsightGatewayCredential beállítja egy Azure HDInsight-fürt átjáróJÁNAK HTTP-hitelesítő adatait.

$clusterName = "CLUSTERNAME"
$credential = Get-Credential -Message "Enter the HTTP username and password:" -UserName "admin"

Set-AzHDInsightGatewayCredential -ClusterName $clusterName -HttpCredential $credential

Az alapértelmezett tárfiók megkeresése

Az alábbi PowerShell-szkript bemutatja, hogyan szerezheti be az alapértelmezett tárfiók nevét és a kapcsolódó információkat:

#Connect-AzAccount
$clusterName = "<HDInsight Cluster Name>"

$clusterInfo = Get-AzHDInsightCluster -ClusterName $clusterName
$storageInfo = $clusterInfo.DefaultStorageAccount.split('.')
$defaultStoreageType = $storageInfo[1]
$defaultStorageName = $storageInfo[0]

echo "Default Storage account name: $defaultStorageName"
echo "Default Storage account type: $defaultStoreageType"

if ($defaultStoreageType -eq "blob")
{
    $defaultBlobContainerName = $cluster.DefaultStorageContainer
    $defaultStorageAccountKey = (Get-AzStorageAccountKey -ResourceGroupName $resourceGroupName -Name $defaultStorageAccountName)[0].Value
    $defaultStorageAccountContext = New-AzStorageContext -StorageAccountName $defaultStorageAccountName -StorageAccountKey $defaultStorageAccountKey

    echo "Default Blob container name: $defaultBlobContainerName"
    echo "Default Storage account key: $defaultStorageAccountKey"
}

Az erőforráscsoport megkeresése

Resource Manager módban minden HDInsight-fürt egy Azure-erőforráscsoporthoz tartozik. Az erőforráscsoport megkeresése:

$clusterName = "<HDInsight Cluster Name>"

$cluster = Get-AzHDInsightCluster -ClusterName $clusterName
$resourceGroupName = $cluster.ResourceGroup

Feladatok elküldése

MapReduce-feladatok elküldése

Lásd : A HDInsightban található MapReduce-példák futtatása.

Apache Hive-feladatok elküldése

Lásd: Apache Hive-lekérdezések futtatása a PowerShell használatával.

Apache Sqoop-feladatok elküldése

Lásd: Az Apache Sqoop használata a HDInsighttal.

Apache Oozie-feladatok elküldése

Lásd: Az Apache Oozie és az Apache Hadoop használata munkafolyamat definiálásához és futtatásához a HDInsightban.

Adatok feltöltése az Azure Blob Storage-ba

Lásd: Adatok feltöltése a HDInsightba.

Kapcsolódó információk