Ejecución de consultas de Apache Hive con PowerShell

Artículo
09/06/2024

En este documento se proporciona un ejemplo de uso de Azure PowerShell para ejecutar consultas de Apache Hive a un clúster de Apache Hadoop en HDInsight.

Nota

Este documento no ofrece una descripción detallada de las instrucciones de HiveQL que se usan en los ejemplos. Para obtener información sobre el lenguaje HiveQL que se usa en este ejemplo, vea Uso de Apache Hive con Apache Hadoop en HDInsight.

Prerequisites

Un clúster de Apache Hadoop en HDInsight. Consulte Introducción a HDInsight en Linux.
Instalación del módulo Az de PowerShell.

Ejecución de una consulta de Hive

Azure PowerShell proporciona cmdlets que le permiten ejecutar de manera remota las consultas de Hive en HDInsight. Internamente, los cmdlets realizan llamadas de REST a la instancia de WebHCat del clúster de HDInsight.

Los siguientes cmdlets se utilizan al ejecutar las consultas de Hive en un clúster de HDInsight remoto:

Connect-AzAccount: autentica a Azure PowerShell en la suscripción de Azure.
New-AzHDInsightHiveJobDefinition: crea una definición de trabajo con las instrucciones de HiveQL especificadas.
Start-AzHDInsightJob: envía la definición del trabajo a HDInsight e inicia el trabajo. Se devuelve un objeto job.
Wait-AzHDInsightJob: usa el objeto del trabajo para comprobar el estado del trabajo. Esperará hasta que el trabajo se complete o se supere el tiempo de espera.
Get-AzHDInsightJobOutput: se utiliza para recuperar la salida del trabajo.
Invoke-AzHDInsightHiveJob: se utiliza para ejecutar instrucciones de HiveQL. Este cmdlet bloquea toda la consulta y devuelve los resultados.
Use-AzHDInsightCluster: establece el clúster actual que se utilizará para el comando Invoke-AzHDInsightHiveJob.

Los pasos siguientes muestran cómo usar estos cmdlets para ejecutar un trabajo en el clúster de HDInsight:

Mediante un editor, guarde el código siguiente como hivejob.ps1.

# Login to your Azure subscription
$context = Get-AzContext
if ($context -eq $null) 
{
    Connect-AzAccount
}
$context

#Get cluster info
$clusterName = Read-Host -Prompt "Enter the HDInsight cluster name"
$creds=Get-Credential -Message "Enter the login for the cluster"

#HiveQL
#Note: set hive.execution.engine=tez; is not required for
#      Linux-based HDInsight
$queryString = "set hive.execution.engine=tez;" +
            "DROP TABLE log4jLogs;" +
            "CREATE EXTERNAL TABLE log4jLogs(t1 string, t2 string, t3 string, t4 string, t5 string, t6 string, t7 string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ' ' STORED AS TEXTFILE LOCATION 'wasbs:///example/data/';" +
            "SELECT * FROM log4jLogs WHERE t4 = '[ERROR]';"

#Create an HDInsight Hive job definition
$hiveJobDefinition = New-AzHDInsightHiveJobDefinition -Query $queryString 

#Submit the job to the cluster
Write-Host "Start the Hive job..." -ForegroundColor Green

$hiveJob = Start-AzHDInsightJob -ClusterName $clusterName -JobDefinition $hiveJobDefinition -ClusterCredential $creds

#Wait for the Hive job to complete
Write-Host "Wait for the job to complete..." -ForegroundColor Green
Wait-AzHDInsightJob -ClusterName $clusterName -JobId $hiveJob.JobId -ClusterCredential $creds

# Print the output
Write-Host "Display the standard output..." -ForegroundColor Green
Get-AzHDInsightJobOutput `
    -Clustername $clusterName `
    -JobId $hiveJob.JobId `
    -HttpCredential $creds

Abra un nuevo símbolo del sistema de Azure PowerShell . Cambie los directorios a la ubicación del archivo hivejob.ps1 y, a continuación, utilice el siguiente comando para ejecutar el script:
```
.\hivejob.ps1
```
Cuando se ejecuta el script, se le pide que escriba el nombre del clúster y las credenciales de la cuenta de administrador HTTPS o del clúster. También se le puede solicitar que inicie la sesión en su suscripción de Azure.

Cuando el trabajo se complete, la información devuelta será similar a la siguiente:

Display the standard output...
2012-02-03      18:35:34        SampleClass0    [ERROR] incorrect       id
2012-02-03      18:55:54        SampleClass1    [ERROR] incorrect       id
2012-02-03      19:25:27        SampleClass4    [ERROR] incorrect       id

Como se mencionó anteriormente, Invoke-Hive se puede utilizar para ejecutar una consulta y esperar la respuesta. Use el siguiente script para ver cómo funciona Invoke-Hive:

# Login to your Azure subscription
$context = Get-AzContext
if ($context -eq $null) 
{
    Connect-AzAccount
}
$context

#Get cluster info
$clusterName = Read-Host -Prompt "Enter the HDInsight cluster name"
$creds=Get-Credential -Message "Enter the login for the cluster"

# Set the cluster to use
Use-AzHDInsightCluster -ClusterName $clusterName -HttpCredential $creds

$queryString = "set hive.execution.engine=tez;" +
            "DROP TABLE log4jLogs;" +
            "CREATE EXTERNAL TABLE log4jLogs(t1 string, t2 string, t3 string, t4 string, t5 string, t6 string, t7 string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ' ' STORED AS TEXTFILE LOCATION '/example/data/';" +
            "SELECT * FROM log4jLogs WHERE t4 = '[ERROR]';"
Invoke-AzHDInsightHiveJob `
    -StatusFolder "statusout" `
    -Query $queryString

La salida tendrá un aspecto similar al siguiente:

2012-02-03    18:35:34    SampleClass0    [ERROR]    incorrect    id
2012-02-03    18:55:54    SampleClass1    [ERROR]    incorrect    id
2012-02-03    19:25:27    SampleClass4    [ERROR]    incorrect    id

Nota

Para consultas de HiveQL más extensas, puede usar el cmdlet Here-Strings de Azure PowerShell o archivos de script de HiveQL. El siguiente fragmento de código indica cómo usar el cmdlet Invoke-Hive para ejecutar un archivo de script de HiveQL. El archivo de script de HiveQL debe cargarse en wasbs://.

Invoke-AzHDInsightHiveJob -File "wasbs://<ContainerName>@<StorageAccountName>/<Path>/query.hql"

Para obtener más información sobre las cadenas de tipo here-string, consulte HERE-STRINGS.

Solución de problemas

Si una vez completado el trabajo no se devuelve información, consulte los registros de errores. Para ver información de error para este trabajo, agregue lo siguiente al final del archivo hivejob.ps1, guárdelo y, a continuación, ejecútelo de nuevo.

# Print the output of the Hive job.
Get-AzHDInsightJobOutput `
        -Clustername $clusterName `
        -JobId $job.JobId `
        -HttpCredential $creds `
        -DisplayOutputType StandardError

Este cmdlet devuelve la información que se escribió en STDERR durante el procesamiento del trabajo.

Resumen

Como puede ver, Azure PowerShell proporciona una manera fácil de ejecutar consultas de Hive en un clúster de HDInsight, de supervisar el estado del trabajo y de recuperar la salida.

Pasos siguientes

Para obtener información general acerca de Hive en HDInsight:

Uso de Apache Hive con Apache Hadoop en HDInsight

Para obtener información sobre otras maneras de trabajar con Hadoop en HDInsight:

Uso de MapReduce con Apache Hadoop en HDInsight

Compartir vía