Administración de clústeres de Apache Hadoop en HDInsight con Azure PowerShell
Se puede usar Azure PowerShell para controlar y automatizar la implementación y la administración de las cargas de trabajo en Azure. En este artículo aprenderá a administrar clústeres de Apache Hadoop en Azure HDInsight mediante el módulo Az de Azure PowerShell. Para más información sobre los cmdlets de PowerShell de HDInsight, consulte la referencia de Az.HDInsight.
Si no tiene una suscripción a Azure, cree una cuenta gratuita antes de empezar.
Requisitos previos
Nota:
Se recomienda usar el módulo Azure Az de PowerShell para interactuar con Azure. Para empezar, consulte Instalación de Azure PowerShell. Para más información sobre cómo migrar al módulo Az de PowerShell, consulte Migración de Azure PowerShell de AzureRM a Az.
Instalación del módulo Az de PowerShell.
Creación de clústeres
Consulte Crear clústeres basados en Linux en HDInsight con Azure PowerShell
Lista de clústeres
Use el comando siguiente para enumerar todos los clústeres de la suscripción actual:
Get-AzHDInsightCluster
Presentación de clústeres
Use el comando siguiente para mostrar los detalles de un clúster específico de la suscripción actual:
Get-AzHDInsightCluster -ClusterName <Cluster Name>
Eliminación de clústeres
Use el comando siguiente para eliminar un clúster:
Remove-AzHDInsightCluster -ClusterName <Cluster Name>
También puede eliminar un clúster quitando el grupo de recursos que contiene el clúster. La eliminación de un grupo de recursos supone la eliminación de todos los recursos del grupo, incluida la cuenta de almacenamiento predeterminada.
Remove-AzResourceGroup -Name <Resource Group Name>
Escalado de clústeres
La característica de escalado de clústeres permite cambiar la cantidad de nodos de trabajo que usa un clúster que se ejecuta en HDInsight de Azure sin necesidad de volver a crear el clúster. Para cambiar el tamaño del clúster de Hadoop con Azure PowerShell, ejecute el siguiente comando desde un equipo cliente:
Set-AzHDInsightClusterSize -ClusterName <Cluster Name> -TargetInstanceCount <NewSize>
Para más información sobre la escalabilidad de los clústeres, consulte Escalabilidad de clústeres de HDInsight.
Actualización de las credenciales de usuario HTTP
Set-AzHDInsightGatewayCredential establece las credenciales HTTP de puerta de enlace de un clúster de Azure HDInsight.
$clusterName = "CLUSTERNAME"
$credential = Get-Credential -Message "Enter the HTTP username and password:" -UserName "admin"
Set-AzHDInsightGatewayCredential -ClusterName $clusterName -HttpCredential $credential
Búsqueda de la cuenta de almacenamiento predeterminada
El siguiente script de PowerShell muestra cómo obtener el nombre de la cuenta de almacenamiento predeterminada y la información relacionada:
#Connect-AzAccount
$clusterName = "<HDInsight Cluster Name>"
$clusterInfo = Get-AzHDInsightCluster -ClusterName $clusterName
$storageInfo = $clusterInfo.DefaultStorageAccount.split('.')
$defaultStoreageType = $storageInfo[1]
$defaultStorageName = $storageInfo[0]
echo "Default Storage account name: $defaultStorageName"
echo "Default Storage account type: $defaultStoreageType"
if ($defaultStoreageType -eq "blob")
{
$defaultBlobContainerName = $cluster.DefaultStorageContainer
$defaultStorageAccountKey = (Get-AzStorageAccountKey -ResourceGroupName $resourceGroupName -Name $defaultStorageAccountName)[0].Value
$defaultStorageAccountContext = New-AzStorageContext -StorageAccountName $defaultStorageAccountName -StorageAccountKey $defaultStorageAccountKey
echo "Default Blob container name: $defaultBlobContainerName"
echo "Default Storage account key: $defaultStorageAccountKey"
}
Búsqueda del grupo de recursos
En el modo de Resource Manager, cada clúster de HDInsight pertenece a un grupo de recursos de Azure. Para buscar el grupo de recursos:
$clusterName = "<HDInsight Cluster Name>"
$cluster = Get-AzHDInsightCluster -ClusterName $clusterName
$resourceGroupName = $cluster.ResourceGroup
Envío de trabajos
Para enviar trabajos de MapReduce
Vea Ejecución de los ejemplos de MapReduce incluidos en HDInsight.
Para enviar trabajos de Apache Hive
Consulte Ejecución de consultas de Apache Hive con PowerShell.
Para enviar trabajos de Apache Sqoop
Consulte Uso de Apache Sqoop con HDInsight.
Para enviar trabajos de Apache Oozie
Consulte Uso de Apache Oozie con Apache Hadoop para definir y ejecutar un flujo de trabajo en HDInsight.
Carga de archivos de datos al almacenamiento de blobs de Azure
Consulte Carga de datos en HDInsight.