Adatok átalakítása Hadoop Pig-tevékenység használatával az Azure Data Factoryben vagy a Synapse Analyticsben
A következőkre vonatkozik:
Azure Data Factory Azure Synapse Analytics
Tipp.
Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!
A Data Factory-folyamatok HDInsight Pig-tevékenysége a Pig-lekérdezéseket saját vagy igény szerinti HDInsight-fürtön hajtja végre. Ez a cikk az adatátalakítási tevékenységekről szóló cikkre épül, amely általános áttekintést nyújt az adatátalakításról és a támogatott átalakítási tevékenységekről.
További információért olvassa el az Azure Data Factory vagy a Synapse Analytics bemutatását, és végezze el az oktatóanyagot: adatok átalakítása a cikk elolvasása előtt.
HDInsight Pig-tevékenység hozzáadása egy folyamathoz felhasználói felülettel
Ha HDInsight Pig-tevékenységet szeretne használni egy folyamathoz, hajtsa végre a következő lépéseket:
Keressen rá a Pig kifejezésre a folyamat tevékenységei panelen, és húzzon egy Pig-tevékenységet a folyamatvászonra.
Jelölje ki az új Pig-tevékenységet a vásznon, ha még nincs kijelölve.
A HDI-fürt fülre kattintva válasszon vagy hozzon létre egy új társított szolgáltatást egy HDInsight-fürthöz, amely a MapReduce-tevékenység végrehajtásához lesz használva.
Válassza a Szkript fület egy új szkripthez társított szolgáltatás kiválasztásához vagy létrehozásához egy Azure Storage-helyhez, ahol a szkriptet üzemeltetni fogja. Adja meg az ott végrehajtandó osztálynevet és egy fájl elérési útját a tárolóhelyen belül. Speciális részleteket is konfigurálhat, beleértve a hibakeresési konfigurációt, valamint a szkriptnek továbbítandó argumentumokat és paramétereket.
Syntax
{
"name": "Pig Activity",
"description": "description",
"type": "HDInsightPig",
"linkedServiceName": {
"referenceName": "MyHDInsightLinkedService",
"type": "LinkedServiceReference"
},
"typeProperties": {
"scriptLinkedService": {
"referenceName": "MyAzureStorageLinkedService",
"type": "LinkedServiceReference"
},
"scriptPath": "MyAzureStorage\\PigScripts\\MyPigSript.pig",
"getDebugInfo": "Failure",
"arguments": [
"SampleHadoopJobArgument1"
],
"defines": {
"param1": "param1Value"
}
}
}
Szintaxis részletei
| Property | Leírás | Required |
|---|---|---|
| név | A tevékenység neve | Igen |
| leírás | A tevékenység használatát leíró szöveg | Nem |
| típus | Hive-tevékenység esetén a tevékenység típusa HDinsightPig | Igen |
| linkedServiceName | Hivatkozás a társított szolgáltatásként regisztrált HDInsight-fürtre. A társított szolgáltatással kapcsolatos további információkért tekintse meg a társított számítási szolgáltatásokról szóló cikket. | Igen |
| scriptLinkedService | Hivatkozás egy Azure Storage társított szolgáltatásra, amely a végrehajtandó Pig-szkript tárolására szolgál. Itt csak az Azure Blob Storage és az ADLS Gen2 társított szolgáltatásai támogatottak. Ha nem adja meg ezt a társított szolgáltatást, a RENDSZER a HDInsight társított szolgáltatásban definiált Azure Storage társított szolgáltatást használja. | Nem |
| scriptPath | Adja meg a scriptLinkedService által hivatkozott Azure Storage-ban tárolt szkriptfájl elérési útját. A fájlnév megkülönbözteti a kis- és nagybetűk nevét. | Nem |
| getDebugInfo | Megadja, hogy a naplófájlok mikor legyenek átmásolva a SCRIPTLinkedService által megadott HDInsight-fürt (vagy) által használt Azure Storage-ba. Engedélyezett értékek: Nincs, Mindig vagy Hiba. Alapértelmezett érték: Nincs. | Nem |
| Érvek | Egy Hadoop-feladat argumentumainak tömbje. Az argumentumokat a rendszer parancssori argumentumként továbbítja az egyes tevékenységeknek. | Nem |
| Meghatározza | Adja meg a paramétereket kulcs/érték párként a Pig-szkripten belüli hivatkozáshoz. | Nem |
Kapcsolódó tartalom
Tekintse meg az alábbi cikkeket, amelyekből megtudhatja, hogyan alakíthat át adatokat más módokon: