Przekształcanie danych przy użyciu działania usługi Hadoop Pig w usłudze Azure Data Factory lub Synapse Analytics

DOTYCZY: Azure Data Factory Azure Synapse Analytics

Wskazówka

Data Factory w usłudze Microsoft Fabric jest następną generacją Azure Data Factory z prostszą architekturą, wbudowaną sztuczną inteligencją i nowymi funkcjami. Jeśli dopiero zaczynasz integrować dane, zacznij od Fabric Data Factory. Istniejące obciążenia ADF można zaktualizować do Fabric, aby uzyskać dostęp do nowych możliwości w zakresie nauki o danych, analiz w czasie rzeczywistym oraz raportowania.

Działanie HDInsight Pig w potoku usługi Data Factory wykonuje zapytania Pig na własnym klastrze HDInsight lub na klastrze HDInsight na żądanie. Ten artykuł opiera się na artykule dotyczącym działań przekształcania danych, który zawiera ogólne omówienie transformacji danych i obsługiwanych działań przekształcania.

Aby dowiedzieć się więcej, zapoznaj się z wprowadzeniem do Azure Data Factory lub Synapse Analytics i wykonaj Tutorial: transform data przed przeczytaniem tego artykułu.

Dodaj działanie usługi HDInsight Pig do potoku z interfejsem użytkownika

Aby użyć działania HDInsight Pig w potoku, wykonaj następujące kroki:

  1. Wyszukaj Pig w okienku działań potoku i przeciągnij działanie Pig na kanwę potoku.

  2. Wybierz nowe działanie Pig na kanwie, jeśli nie zostało jeszcze wybrane.

  3. Wybierz kartę Klaster usługi HDI, aby wybrać lub utworzyć nową połączoną usługę z klastrem usługi HDInsight, który będzie używany do wykonywania działania MapReduce.

    Pokazuje interfejs użytkownika dla aktywności Pig.

  4. Wybierz kartę Script, aby wybrać lub utworzyć nową usługę powiązaną ze skryptem w lokalizacji Azure Storage, gdzie będzie hostowany skrypt. Określ w nim nazwę klasy, która ma zostać wykonana, oraz ścieżkę pliku w lokalizacji przechowywania. Można również skonfigurować zaawansowane szczegóły, w tym konfigurację debugowania, argumenty i parametry, które mają być przekazywane do skryptu.

    Pokazuje interfejs użytkownika dla zakładki Skrypt dla aktywności Pig.

Składnia

{
    "name": "Pig Activity",
    "description": "description",
    "type": "HDInsightPig",
    "linkedServiceName": {
        "referenceName": "MyHDInsightLinkedService",
        "type": "LinkedServiceReference"
    },
    "typeProperties": {
        "scriptLinkedService": {
            "referenceName": "MyAzureStorageLinkedService",
            "type": "LinkedServiceReference"
        },
        "scriptPath": "MyAzureStorage\\PigScripts\\MyPigScript.pig",
        "getDebugInfo": "Failure",
        "arguments": [
            "SampleHadoopJobArgument1"
        ],
        "defines": {
            "param1": "param1Value"
        }
    }   
}

Szczegóły składni

Właściwości Opis Wymagane
nazwa Nazwa działania Tak
opis Tekst opisujący, do czego służy działanie Nie.
typ W przypadku działania Hive typ działania to HDinsightPig Tak
linkedServiceName Odwołanie do klastra HDInsight zarejestrowanego jako usługa powiązana. Aby dowiedzieć się więcej o tej połączonej usłudze, zobacz artykuł Dotyczący połączonych usług obliczeniowych. Tak
scriptLinkedService Odwołanie do połączonej usługi Azure Storage, używanej do przechowywania skryptu Pig do wykonania. Obsługiwane są tylko Azure Blob Storage i ADLS Gen2 połączone usługi. Jeśli nie określisz tej połączonej usługi, zostanie użyta usługa połączona Azure Storage zdefiniowana w połączonej usłudze HDInsight. Nie.
scriptPath Podaj ścieżkę do pliku skryptu przechowywanego w Azure Storage, do którego odwołuje się skryptLinkedService. W nazwie pliku jest uwzględniana wielkość liter. Nie.
getDebugInfo Określa, kiedy pliki dziennika są kopiowane do Azure Storage używanego przez klaster usługi HDInsight (lub) określony przez scriptLinkedService. Dozwolone wartości: Brak, Zawsze lub Niepowodzenie. Wartość domyślna: None. Nie.
Argumenty Określa tablicę argumentów dla zadania Hadoop. Argumenty są przekazywane jako parametry wiersza polecenia do każdego zadania. Nie.
Definiuje Określ parametry jako pary klucz/wartość na potrzeby odwoływania się do skryptu Pig. Nie.

Powiązana zawartość

Zapoznaj się z następującymi artykułami, które wyjaśniają sposób przekształcania danych na inne sposoby:

  • Last updated on