Compartir vía

Transformación de datos mediante la actividad de Hive de Hadoop en Azure Data Factory o Synapse Analytics

SE APLICA A: Azure Data Factory Azure Synapse Analytics

Sugerencia

Data Factory en Microsoft Fabric es la próxima generación de Azure Data Factory, con una arquitectura más sencilla, inteligencia artificial integrada y nuevas características. Si no está familiarizado con la integración de datos, comience con Fabric Data Factory. Las cargas de trabajo de ADF existentes pueden actualizarse a Fabric para acceder a nuevas funcionalidades en ciencia de datos, análisis en tiempo real e informes.

La actividad de Hive de HDInsight en una canalización de Azure Data Factory o Synapse Analytics ejecuta consultas de Hive en su propio clúster de HDInsight o en uno a petición. Este artículo se basa en el artículo sobre actividades de transformación de datos , que presenta información general de la transformación de datos y las actividades de transformación admitidas.

Si no está familiarizado con Azure Data Factory y Synapse Analytics, lea los artículos de introducción de Azure Data Factory o Synapse Analytics y realice la Tutorial: transformar datos antes de leer este artículo.

Agregar una actividad de Hive de HDInsight a una canalización usando la interfaz de usuario

Para usar una actividad de Hive de HDInsight para Azure Data Lake Analytics en una canalización, complete los pasos siguientes:

  1. Busque Hive en el panel Actividades de canalización y arrastre una actividad de Hive al lienzo de canalización.

  2. Seleccione la nueva actividad de Hive en el lienzo si aún no lo ha hecho.

  3. Seleccione la pestaña HDI Cluster (Clúster de HDI) para elegir o crear un servicio vinculado a un clúster de HDInsight que se usará para ejecutar la actividad de Hive.

    Muestra la interfaz de usuario de una actividad de Hive.

  4. Seleccione la pestaña Script para seleccionar o crear un servicio vinculado de almacenamiento y una ruta de acceso dentro de la ubicación de almacenamiento, que hospedará el script.

    Muestra la interfaz de usuario de la pestaña Script de una actividad de Hive.

Sintaxis

{
    "name": "Hive Activity",
    "description": "description",
    "type": "HDInsightHive",
    "linkedServiceName": {
        "referenceName": "MyHDInsightLinkedService",
        "type": "LinkedServiceReference"
    },
    "typeProperties": {
        "scriptLinkedService": {
            "referenceName": "MyAzureStorageLinkedService",
            "type": "LinkedServiceReference"
        },
        "scriptPath": "MyAzureStorage\\HiveScripts\\MyHiveScript.hql",
        "getDebugInfo": "Failure",
        "arguments": [
            "SampleHadoopJobArgument1"
        ],
        "defines": {
            "param1": "param1Value"
        }
    }
}

Detalles de la sintaxis

Propiedad Descripción Obligatorio
nombre Nombre de la actividad Sí
descripción Texto que describe para qué se usa la actividad. No
tipo Para la actividad de Hive, el tipo de actividad es HDinsightHive. Sí
nombreDelServicioVinculado Referencia al clúster de HDInsight registrado como servicio vinculado. Para obtener más información sobre este servicio vinculado, consulte el artículo Servicios vinculados de cómputo. Sí
scriptLinkedService Referencia a un servicio vinculado de Azure Storage que se usa para almacenar el script de Hive que se va a ejecutar. Aquí solo se admiten los servicios vinculados Azure Blob Storage y ADLS Gen2. Si no especifica este servicio vinculado, se usará el servicio vinculado de Azure Storage definido en el servicio vinculado de HDInsight. No
scriptPath Proporcione la ruta de acceso al archivo de script almacenado en el Azure Storage al que hace referencia scriptLinkedService. El nombre del archivo distingue mayúsculas de minúsculas. Sí
getDebugInfo Especifica cuándo se copian los archivos de registro en el Azure Storage usado por el clúster de HDInsight (o) especificado por scriptLinkedService. Valores permitidos: Ninguno, Siempre o Error. Valor predeterminado: Ninguno. No
argumentos Especifica una matriz de argumentos para un trabajo de Hadoop. Los argumentos se pasan a cada tarea como línea de comandos. No
defines Especifique parámetros como pares clave-valor para hacer referencia en el script de Hive. No
queryTimeout Valor de tiempo de espera de consulta (en minutos). Aplicable cuando el clúster de HDInsight está habilitado por Enterprise Security Package. No

Nota

El valor predeterminado de queryTimeout es de 120 minutos.

Contenido relacionado

Vea los siguientes artículos, en los que se explica cómo transformar datos de otras maneras:

  • Last updated on