Adatok átalakítása Hadoop Streaming-tevékenység használatával a Azure Data Factory vagy a Synapse Analyticsben

Vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Data Factory a Microsoft Fabric a Azure Data Factory következő generációja, egyszerűbb architektúrával, beépített AI-vel és új funkciókkal. Ha még nem ismerkedik az adatintegrációval, kezdje a Fabric Data Factoryvel. A meglévő ADF-számítási feladatok frissíthetők Fabric használatával, hogy elérjék az adatkutatás, a valós idejű elemzés és a jelentéskészítés új képességeit.

Az HDInsight streamelési tevékenység egy Azure Data Factory vagy Synapse Analytics pipeline hajtja végre a Hadoop streaming programokat saját vagy igény szerinti HDInsight-fürtön. Ez a cikk az adatátalakítási tevékenységekről szóló cikkre épül, amely általános áttekintést nyújt az adatátalakításról és a támogatott átalakítási tevékenységekről.

További információért olvassa el a Azure Data Factory és Synapse Analytics bevezető cikkeit, és végezze el a Tutorial: adatátalakítást a cikk elolvasása előtt.

HDInsight Streaming-tevékenység hozzáadása egy folyamathoz felhasználói felülettel

Ha HDInsight Streaming-tevékenységet szeretne használni egy folyamathoz, hajtsa végre a következő lépéseket:

  1. Keressen streamelést a folyamattevékenységek panelen, és húzza a streamelési tevékenységet a folyamatvászonra.

  2. Jelölje ki az új streamelési tevékenységet a vásznon, ha még nincs kijelölve.

  3. A HDI-fürt lapon válassza ki vagy hozzon létre egy új társított szolgáltatást egy HDInsight-fürthöz, amely a streamelési tevékenység végrehajtásához lesz használva.

    Megjeleníti a streamelési tevékenység felhasználói felületét.

  4. Válassza a File lapot a streamelési feladat leképezési és csökkentési nevének megadásához, majd válasszon vagy hozzon létre egy új társított szolgáltatást egy Azure Storage-fiókhoz, amely a feladat leképezési, csökkentési, bemeneti és kimeneti fájljait fogja tartalmazni. Speciális részleteket is konfigurálhat, beleértve a hibakeresési konfigurációt, az argumentumokat és a feladatnak továbbítandó paramétereket.

    Megjeleníti a Streamelési tevékenység Fájl lapjának felhasználói felületét.

JSON-minta

{
    "name": "Streaming Activity",
    "description": "Description",
    "type": "HDInsightStreaming",
    "linkedServiceName": {
        "referenceName": "MyHDInsightLinkedService",
        "type": "LinkedServiceReference"
    },
    "typeProperties": {
        "mapper": "MyMapper.exe",
        "reducer": "MyReducer.exe",
        "combiner": "MyCombiner.exe",
        "fileLinkedService": {
            "referenceName": "MyAzureStorageLinkedService",
            "type": "LinkedServiceReference"
        },
        "filePaths": [
            "<containername>/example/apps/MyMapper.exe",
            "<containername>/example/apps/MyReducer.exe",
            "<containername>/example/apps/MyCombiner.exe"
        ],
        "input": "wasb://<containername>@<accountname>.blob.core.windows.net/example/input/MapperInput.txt",
        "output": "wasb://<containername>@<accountname>.blob.core.windows.net/example/output/ReducerOutput.txt",
        "commandEnvironment": [
            "CmdEnvVarName=CmdEnvVarValue"
        ],
        "getDebugInfo": "Failure",
        "arguments": [
            "SampleHadoopJobArgument1"
        ],
        "defines": {
            "param1": "param1Value"
        }
    }
}

Szintaxis részletei

Tulajdonság Leírás Szükséges
név A tevékenység neve Igen
leírás A tevékenység használatát leíró szöveg Nem
típus A Hadoop streamelési tevékenység esetében a tevékenység típusa a HDInsightStreaming Igen
KapcsoltSzolgáltatásNév Hivatkozás a HDInsight-fürtre, amely regisztrálva van, mint társított szolgáltatás. A társított szolgáltatással kapcsolatos további információkért tekintse meg a társított számítási szolgáltatásokról szóló cikket. Igen
leképező A végrehajtható leképező nevét adja meg Igen
szűkítő A végrehajtható redukátor nevét adja meg Igen
kombinátor A végrehajtható kombináló nevét adja meg Nem
fileLinkedService Hivatkozás egy Azure Storage társított szolgáltatásra, amely a végrehajtandó Mapper, Combiner és Reducer programok tárolására szolgál. Itt csak Azure Blob Storage és ADLS Gen2 társított szolgáltatások támogatottak. Ha nem adja meg ezt a társított szolgáltatást, a rendszer a HDInsight társított szolgáltatásban definiált Azure Storage társított szolgáltatást használja. Nem
filePath Adjon meg egy tömböt a Mapper, Combiner és Reducer programok elérési útvonalaival, amelyeket az Azure Storage-ban tárol a fileLinkedService. Az elérési út megkülönbözteti a kis- és nagybetűket. Igen
bevitel Megadja a Mapper bemeneti fájljának WASB-elérési útját. Igen
kimenet Megadja a Reducer kimeneti fájljának WASB-elérési útját. Igen
getDebugInfo (a hibakeresési információk lekérése) Megadja, hogy a naplófájlok mikor legyenek átmásolva az Azure Storage-ra, amelyet a HDInsight-fürt használ, vagy amelyet a scriptLinkedService határoz meg. Engedélyezett értékek: Nincs, Mindig vagy Hiba. Alapértelmezett érték: Nincs. Nem
Érvek Egy Hadoop-feladat argumentumainak tömbje. Az argumentumokat a rendszer parancssori argumentumként továbbítja az egyes tevékenységeknek. Nem
Meghatározza Adja meg a paramétereket kulcs/érték párként a Hive-szkripten belüli hivatkozáshoz. Nem

Kapcsolódó tartalom

Tekintse meg az alábbi cikkeket, amelyekből megtudhatja, hogyan alakíthat át adatokat más módokon:

  • Last updated on