Transformera data med Hadoop Pig-aktivitet i Azure Data Factory eller Synapse Analytics
GÄLLER FÖR:
Azure Data Factory Azure Synapse Analytics
Dricks
Prova Data Factory i Microsoft Fabric, en allt-i-ett-analyslösning för företag. Microsoft Fabric omfattar allt från dataflytt till datavetenskap, realtidsanalys, business intelligence och rapportering. Lär dig hur du startar en ny utvärderingsversion kostnadsfritt!
HDInsight Pig-aktiviteten i en Data Factory-pipeline kör Pig-frågor på eget eller på begäran HDInsight-kluster. Den här artikeln bygger på artikeln om datatransformeringsaktiviteter , som visar en allmän översikt över datatransformering och de omvandlingsaktiviteter som stöds.
Mer information finns i introduktionen till Azure Data Factory eller Synapse Analytics och gör självstudien : transformera data innan du läser den här artikeln.
Lägga till en HDInsight Pig-aktivitet i en pipeline med användargränssnittet
Utför följande steg för att använda en HDInsight Pig-aktivitet till en pipeline:
Sök efter Pig i fönstret Aktiviteter i pipelinen och dra en Pig-aktivitet till pipelinearbetsytan.
Välj den nya Pig-aktiviteten på arbetsytan om den inte redan är markerad.
Välj fliken HDI-kluster för att välja eller skapa en ny länkad tjänst till ett HDInsight-kluster som ska användas för att köra MapReduce-aktiviteten.
Välj fliken Skript för att välja eller skapa en ny skriptlänkad tjänst till en Azure Storage-plats där skriptet ska finnas. Ange ett klassnamn som ska köras där och en filsökväg på lagringsplatsen. Du kan också konfigurera avancerad information, inklusive felsökning av konfiguration och argument och parametrar som ska skickas till skriptet.
Syntax
{
"name": "Pig Activity",
"description": "description",
"type": "HDInsightPig",
"linkedServiceName": {
"referenceName": "MyHDInsightLinkedService",
"type": "LinkedServiceReference"
},
"typeProperties": {
"scriptLinkedService": {
"referenceName": "MyAzureStorageLinkedService",
"type": "LinkedServiceReference"
},
"scriptPath": "MyAzureStorage\\PigScripts\\MyPigSript.pig",
"getDebugInfo": "Failure",
"arguments": [
"SampleHadoopJobArgument1"
],
"defines": {
"param1": "param1Value"
}
}
}
Syntaxinformation
| Property | Beskrivning | Obligatoriskt |
|---|---|---|
| name | Namnet på aktiviteten | Ja |
| description | Text som beskriver vad aktiviteten används för | Nej |
| type | För Hive-aktivitet är aktivitetstypen HDinsightPig | Ja |
| linkedServiceName | Referens till HDInsight-klustret som registrerats som en länkad tjänst. Mer information om den här länkade tjänsten finns i artikeln Compute linked services (Beräkningslänkade tjänster ). | Ja |
| scriptLinkedService | Referens till en länkad Azure Storage-tjänst som används för att lagra Pig-skriptet som ska köras. Här stöds endast Azure Blob Storage- och ADLS Gen2-länkade tjänster. Om du inte anger den här länkade tjänsten används den länkade Azure Storage-tjänsten som definierats i den länkade HDInsight-tjänsten. | Nej |
| scriptPath | Ange sökvägen till skriptfilen som lagras i Azure Storage som refereras av scriptLinkedService. Filnamnet är skiftlägeskänsligt. | Nej |
| getDebugInfo | Anger när loggfilerna kopieras till Azure Storage som används av HDInsight-klustret (eller) som anges av scriptLinkedService. Tillåtna värden: Ingen, Alltid eller Fel. Standardvärde: Ingen. | Nej |
| Argument | Anger en matris med argument för ett Hadoop-jobb. Argumenten skickas som kommandoradsargument till varje uppgift. | Nej |
| Definierar | Ange parametrar som nyckel/värde-par för referens i Pig-skriptet. | Nej |
Relaterat innehåll
Se följande artiklar som förklarar hur du transformerar data på andra sätt: