Dela via


Transformera data med Hadoop Pig-aktivitet i Azure Data Factory eller Synapse Analytics

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

Dricks

Prova Data Factory i Microsoft Fabric, en allt-i-ett-analyslösning för företag. Microsoft Fabric omfattar allt från dataflytt till datavetenskap, realtidsanalys, business intelligence och rapportering. Lär dig hur du startar en ny utvärderingsversion kostnadsfritt!

HDInsight Pig-aktiviteten i en Data Factory-pipeline kör Pig-frågor på eget eller på begäran HDInsight-kluster. Den här artikeln bygger på artikeln om datatransformeringsaktiviteter , som visar en allmän översikt över datatransformering och de omvandlingsaktiviteter som stöds.

Mer information finns i introduktionen till Azure Data Factory eller Synapse Analytics och gör självstudien : transformera data innan du läser den här artikeln.

Lägga till en HDInsight Pig-aktivitet i en pipeline med användargränssnittet

Utför följande steg för att använda en HDInsight Pig-aktivitet till en pipeline:

  1. Sök efter Pig i fönstret Aktiviteter i pipelinen och dra en Pig-aktivitet till pipelinearbetsytan.

  2. Välj den nya Pig-aktiviteten på arbetsytan om den inte redan är markerad.

  3. Välj fliken HDI-kluster för att välja eller skapa en ny länkad tjänst till ett HDInsight-kluster som ska användas för att köra MapReduce-aktiviteten.

    Visar användargränssnittet för en Pig-aktivitet.

  4. Välj fliken Skript för att välja eller skapa en ny skriptlänkad tjänst till en Azure Storage-plats där skriptet ska finnas. Ange ett klassnamn som ska köras där och en filsökväg på lagringsplatsen. Du kan också konfigurera avancerad information, inklusive felsökning av konfiguration och argument och parametrar som ska skickas till skriptet.

    Visar användargränssnittet för fliken Skript för en Pig-aktivitet.

Syntax

{
    "name": "Pig Activity",
    "description": "description",
    "type": "HDInsightPig",
    "linkedServiceName": {
        "referenceName": "MyHDInsightLinkedService",
        "type": "LinkedServiceReference"
    },
    "typeProperties": {
        "scriptLinkedService": {
            "referenceName": "MyAzureStorageLinkedService",
            "type": "LinkedServiceReference"
        },
        "scriptPath": "MyAzureStorage\\PigScripts\\MyPigSript.pig",
        "getDebugInfo": "Failure",
        "arguments": [
            "SampleHadoopJobArgument1"
        ],
        "defines": {
            "param1": "param1Value"
        }
    }   
}

Syntaxinformation

Property Beskrivning Obligatoriskt
name Namnet på aktiviteten Ja
description Text som beskriver vad aktiviteten används för Nej
type För Hive-aktivitet är aktivitetstypen HDinsightPig Ja
linkedServiceName Referens till HDInsight-klustret som registrerats som en länkad tjänst. Mer information om den här länkade tjänsten finns i artikeln Compute linked services (Beräkningslänkade tjänster ). Ja
scriptLinkedService Referens till en länkad Azure Storage-tjänst som används för att lagra Pig-skriptet som ska köras. Här stöds endast Azure Blob Storage- och ADLS Gen2-länkade tjänster. Om du inte anger den här länkade tjänsten används den länkade Azure Storage-tjänsten som definierats i den länkade HDInsight-tjänsten. Nej
scriptPath Ange sökvägen till skriptfilen som lagras i Azure Storage som refereras av scriptLinkedService. Filnamnet är skiftlägeskänsligt. Nej
getDebugInfo Anger när loggfilerna kopieras till Azure Storage som används av HDInsight-klustret (eller) som anges av scriptLinkedService. Tillåtna värden: Ingen, Alltid eller Fel. Standardvärde: Ingen. Nej
Argument Anger en matris med argument för ett Hadoop-jobb. Argumenten skickas som kommandoradsargument till varje uppgift. Nej
Definierar Ange parametrar som nyckel/värde-par för referens i Pig-skriptet. Nej

Se följande artiklar som förklarar hur du transformerar data på andra sätt: