Transformace dat pomocí aktivity Hadoop Hive v Azure Data Factory nebo Synapse Analytics

VZTAHUJE SE NA: Azure Data Factory Azure Synapse Analytics

Tip

Pro ekvivalentní aktivitu v Data Factory v Microsoft Fabric viz aktivita Azure HDInsight.

Aktivita Hive ve službě HDInsight v rámci Azure Data Factory nebo Synapse Analytics pipeline spouští dotazy Hive na vlastní nebo na vyžádání HDInsight clusteru. Tento článek vychází z článku o aktivitách transformace dat, který představuje obecný přehled transformace dat a podporovaných transformačních aktivit.

Pokud s Azure Data Factory a Synapse Analytics teprve začínáte, přečtěte si úvodní články o Azure Data Factory nebo Synapse Analytics a proveďte Tutorial: transformace dat před přečtením tohoto článku.

Přidejte aktivitu HDInsight Hive do datového kanálu pomocí uživatelského rozhraní

Pokud chcete použít aktivitu HDInsight Hive pro Azure Data Lake Analytics v potrubí, proveďte následující kroky:

  1. Vyhledejte Hive v podokně Aktivity kanálu a přetáhněte aktivitu Hive na plátno kanálu.

  2. Vyberte novou aktivitu Hive na plátně, pokud ještě není vybraná.

  3. Vyberte kartu HDI Cluster a vyberte nebo vytvořte novou propojenou službu k clusteru HDInsight, který bude použit ke spuštění aktivity Hive.

    Zobrazuje uživatelské rozhraní pro aktivitu Hive.

  4. Výběrem karty Skript vyberte nebo vytvořte novou propojenou službu úložiště a cestu v umístění úložiště, která bude hostovat skript.

    Zobrazuje uživatelské rozhraní pro kartu Skript pro aktivitu Hive.

Syntaxe

{
    "name": "Hive Activity",
    "description": "description",
    "type": "HDInsightHive",
    "linkedServiceName": {
        "referenceName": "MyHDInsightLinkedService",
        "type": "LinkedServiceReference"
    },
    "typeProperties": {
        "scriptLinkedService": {
            "referenceName": "MyAzureStorageLinkedService",
            "type": "LinkedServiceReference"
        },
        "scriptPath": "MyAzureStorage\\HiveScripts\\MyHiveScript.hql",
        "getDebugInfo": "Failure",
        "arguments": [
            "SampleHadoopJobArgument1"
        ],
        "defines": {
            "param1": "param1Value"
        }
    }
}

Podrobnosti o syntaxi

Vlastnost Popis Povinné
název Název aktivity Ano
popis Text popisující, k čemu se aktivita používá Ne
typ U aktivity Hive je typ aktivity HDinsightHive. Ano
názevPrepojenéSlužby Odkaz na cluster HDInsight zaregistrovaný jako propojená služba Další informace o této propojené službě najdete v článku o propojených službách Compute. Ano
scriptLinkedService Odkaz na propojenou službu Azure Storage sloužící k uložení skriptu Hive, který se má spustit. Tady jsou podporované jenom Azure Blob Storage a ADLS Gen2 propojené služby. Pokud tuto propojenou službu nezadáte, použije se propojená služba Azure Storage definovaná v propojené službě HDInsight. Ne
scriptPath Zadejte cestu k souboru skriptu uloženému v Azure Storage, na který odkazuje scriptLinkedService. V názvu souboru se rozlišují malá a velká písmena. Ano
getDebugInfo Určuje, kdy se soubory protokolu kopírují do úložiště Azure, které používá cluster HDInsight nebo které je specifikováno službou scriptLinkedService. Povolené hodnoty: Žádné, Vždy nebo Selhání. Výchozí hodnota: Žádný. Ne
argumenty Určuje pole argumentů pro úlohu Hadoop. Argumenty se předávají každému úkolu jako argumenty příkazového řádku. Ne
definuje Zadejte parametry jako páry klíč/hodnota pro odkazování v rámci skriptu Hive. Ne
Časový limit dotazu Hodnota časového limitu dotazu (v minutách). Platí, pokud je cluster HDInsight s povoleným balíčkem zabezpečení podniku. Ne

Poznámka:

Výchozí hodnota pro queryTimeout je 120 minut.

Související obsah

Podívejte se na následující články, které vysvětlují, jak transformovat data jinými způsoby:

  • Last updated on