Transforme dados usando a atividade da Colmeia Hadoop em Azure Data Factory ou Synapse Analytics

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

A atividade hdInsight Hive em um Azure Data Factory ou synapse Analytics executa consultas de Hive em seu próprio ou a pedido hdinsight cluster. Este artigo baseia-se no artigo de atividades de transformação de dados , que apresenta uma visão geral da transformação de dados e das atividades de transformação apoiadas.

Se é novo na Azure Data Factory e Synapse Analytics, leia os artigos de introdução para Azure Data Factory ou Synapse Analytics, e faça o Tutorial: transforme dados antes de ler este artigo.

Adicione uma atividade de Colmeia HDInsight a um oleoduto com UI

Para utilizar uma atividade de Colmeia HDInsight para Azure Data Lake Analytics num oleoduto, complete os seguintes passos:

  1. Procure por Colmeia no oleoduto As atividades analisam e arrastam uma atividade de Colmeia para a tela do gasoduto.

  2. Selecione a nova atividade da Colmeia na tela se ainda não estiver selecionada.

  3. Selecione o separador HDI Cluster para selecionar ou criar um novo serviço ligado a um cluster HDInsight que será utilizado para executar a atividade da Colmeia.

    Shows the UI for a Hive activity.

  4. Selecione o separador Script para selecionar ou criar um novo serviço ligado ao armazenamento, e um caminho dentro do local de armazenamento, que irá hospedar o script.

    Shows the UI for the Script tab for a Hive activity.

Syntax

{
    "name": "Hive Activity",
    "description": "description",
    "type": "HDInsightHive",
    "linkedServiceName": {
        "referenceName": "MyHDInsightLinkedService",
        "type": "LinkedServiceReference"
    },
    "typeProperties": {
        "scriptLinkedService": {
            "referenceName": "MyAzureStorageLinkedService",
            "type": "LinkedServiceReference"
        },
        "scriptPath": "MyAzureStorage\\HiveScripts\\MyHiveSript.hql",
        "getDebugInfo": "Failure",
        "arguments": [
            "SampleHadoopJobArgument1"
        ],
        "defines": {
            "param1": "param1Value"
        }
    }
}

Detalhes da sintaxe

Propriedade Descrição Necessário
name Nome da atividade Yes
descrição Texto que descreve para que a atividade é usada No
tipo Para a atividade da Colmeia, o tipo de atividade é HDinsightHive Yes
linkedServiceName Referência ao cluster HDInsight registado como um serviço ligado. Para saber mais sobre este serviço ligado, consulte o artigo de serviços ligados a Compute . Yes
scriptLinkedService Referência a um Serviço Ligado Armazenamento Azure usado para armazenar o script da Colmeia para ser executado. Apenas Armazenamento de Blobs do Azure e serviços ligados à ADLS Gen2 são apoiados aqui. Se não especificar este Serviço Linked, é utilizado o Serviço Ligado Azure Armazenamento definido no Serviço Linked HDInsight. No
scriptPath Fornecer o caminho para o ficheiro de script armazenado no Azure Armazenamento referido pelo scriptLinkedService. O nome do ficheiro é sensível a casos. Yes
obterDebugInfo Especifica quando os ficheiros de registo são copiados para o Azure Armazenamento utilizados pelo cluster HDInsight (ou) especificados pelo scriptLinkedService. Valores permitidos: Nenhum, sempre ou falha. Valor predefinido: Nenhum. No
argumentos Especifica uma série de argumentos para um trabalho de Hadoop. Os argumentos são passados como argumentos de linha de comando para cada tarefa. No
define Especifique os parâmetros como pares chave/valor para referência dentro do script Hive. No
consultaTimeout Valor de tempo limite de consulta (em minutos). Aplicável quando o cluster HDInsight está com o Pacote de Segurança Empresarial ativado. No

Nota

O valor predefinido para consultaTimeout é de 120 minutos.

Passos seguintes

Veja os seguintes artigos que explicam como transformar dados de outras formas: