Administración de clústeres de Apache Hadoop en HDInsight con Azure PowerShell

Artículo
10/17/2024

Se puede usar Azure PowerShell para controlar y automatizar la implementación y la administración de las cargas de trabajo en Azure. En este artículo aprenderá a administrar clústeres de Apache Hadoop en Azure HDInsight mediante el módulo Az de Azure PowerShell. Para más información sobre los cmdlets de PowerShell de HDInsight, consulte la referencia de Az.HDInsight.

Si no tiene una suscripción a Azure, cree una cuenta gratuita antes de empezar.

Requisitos previos

Nota:

Se recomienda usar el módulo Azure Az de PowerShell para interactuar con Azure. Para empezar, consulte Instalación de Azure PowerShell. Para más información sobre cómo migrar al módulo Az de PowerShell, consulte Migración de Azure PowerShell de AzureRM a Az.

Instalación del módulo Az de PowerShell.

Creación de clústeres

Consulte Crear clústeres basados en Linux en HDInsight con Azure PowerShell

Lista de clústeres

Use el comando siguiente para enumerar todos los clústeres de la suscripción actual:

Get-AzHDInsightCluster

Presentación de clústeres

Use el comando siguiente para mostrar los detalles de un clúster específico de la suscripción actual:

Get-AzHDInsightCluster -ClusterName <Cluster Name>

Eliminación de clústeres

Use el comando siguiente para eliminar un clúster:

Remove-AzHDInsightCluster -ClusterName <Cluster Name>

También puede eliminar un clúster quitando el grupo de recursos que contiene el clúster. La eliminación de un grupo de recursos supone la eliminación de todos los recursos del grupo, incluida la cuenta de almacenamiento predeterminada.

Remove-AzResourceGroup -Name <Resource Group Name>

Escalado de clústeres

La característica de escalado de clústeres permite cambiar la cantidad de nodos de trabajo que usa un clúster que se ejecuta en HDInsight de Azure sin necesidad de volver a crear el clúster. Para cambiar el tamaño del clúster de Hadoop con Azure PowerShell, ejecute el siguiente comando desde un equipo cliente:

Set-AzHDInsightClusterSize -ClusterName <Cluster Name> -TargetInstanceCount <NewSize>

Para más información sobre la escalabilidad de los clústeres, consulte Escalabilidad de clústeres de HDInsight.

Actualización de las credenciales de usuario HTTP

Set-AzHDInsightGatewayCredential establece las credenciales HTTP de puerta de enlace de un clúster de Azure HDInsight.

$clusterName = "CLUSTERNAME"
$credential = Get-Credential -Message "Enter the HTTP username and password:" -UserName "admin"

Set-AzHDInsightGatewayCredential -ClusterName $clusterName -HttpCredential $credential

Búsqueda de la cuenta de almacenamiento predeterminada

El siguiente script de PowerShell muestra cómo obtener el nombre de la cuenta de almacenamiento predeterminada y la información relacionada:

#Connect-AzAccount
$clusterName = "<HDInsight Cluster Name>"

$clusterInfo = Get-AzHDInsightCluster -ClusterName $clusterName
$storageInfo = $clusterInfo.DefaultStorageAccount.split('.')
$defaultStoreageType = $storageInfo[1]
$defaultStorageName = $storageInfo[0]

echo "Default Storage account name: $defaultStorageName"
echo "Default Storage account type: $defaultStoreageType"

if ($defaultStoreageType -eq "blob")
{
    $defaultBlobContainerName = $cluster.DefaultStorageContainer
    $defaultStorageAccountKey = (Get-AzStorageAccountKey -ResourceGroupName $resourceGroupName -Name $defaultStorageAccountName)[0].Value
    $defaultStorageAccountContext = New-AzStorageContext -StorageAccountName $defaultStorageAccountName -StorageAccountKey $defaultStorageAccountKey

    echo "Default Blob container name: $defaultBlobContainerName"
    echo "Default Storage account key: $defaultStorageAccountKey"
}

Búsqueda del grupo de recursos

En el modo de Resource Manager, cada clúster de HDInsight pertenece a un grupo de recursos de Azure. Para buscar el grupo de recursos:

$clusterName = "<HDInsight Cluster Name>"

$cluster = Get-AzHDInsightCluster -ClusterName $clusterName
$resourceGroupName = $cluster.ResourceGroup

Envío de trabajos

Para enviar trabajos de MapReduce

Vea Ejecución de los ejemplos de MapReduce incluidos en HDInsight.

Para enviar trabajos de Apache Hive

Consulte Ejecución de consultas de Apache Hive con PowerShell.

Para enviar trabajos de Apache Sqoop

Consulte Uso de Apache Sqoop con HDInsight.

Para enviar trabajos de Apache Oozie

Consulte Uso de Apache Oozie con Apache Hadoop para definir y ejecutar un flujo de trabajo en HDInsight.

Carga de archivos de datos al almacenamiento de blobs de Azure

Consulte Carga de datos en HDInsight.

Compartir vía