Przekształcanie danych przy użyciu aktywności przesyłania strumieniowego Hadoop w usłudze Azure Data Factory lub Synapse Analytics

DOTYCZY: Azure Data Factory Azure Synapse Analytics

Wskazówka

Data Factory w usłudze Microsoft Fabric jest następną generacją Azure Data Factory z prostszą architekturą, wbudowaną sztuczną inteligencją i nowymi funkcjami. Jeśli dopiero zaczynasz integrować dane, zacznij od Fabric Data Factory. Istniejące obciążenia ADF można zaktualizować do Fabric, aby uzyskać dostęp do nowych możliwości w zakresie nauki o danych, analiz w czasie rzeczywistym oraz raportowania.

Działanie przesyłania strumieniowego usługi HDInsight w usłudze Azure Data Factory lub Synapse Analytics pipeline wykonuje programy przesyłania strumieniowego Hadoop na twoim własnym lub na żądanie klastrze usługi HDInsight. Ten artykuł opiera się na artykule dotyczącym działań przekształcania danych, który zawiera ogólne omówienie transformacji danych i obsługiwanych działań przekształcania.

Aby dowiedzieć się więcej, przeczytaj artykuły wprowadzające do Azure Data Factory i Synapse Analytics i wykonaj Tutorial: przekształcanie danych przed przeczytaniem tego artykułu.

Za pomocą interfejsu użytkownika dodaj działanie przesyłania strumieniowego usługi HDInsight do potoku.

Aby użyć działania przesyłania strumieniowego usługi HDInsight do potoku, wykonaj następujące kroki:

  1. Wyszukaj pozycję Przesyłanie strumieniowe w okienku Działania potoku i przeciągnij działanie przesyłania strumieniowego na kanwę potoku.

  2. Wybierz nowe działanie przesyłania strumieniowego na kanwie, jeśli nie zostało jeszcze wybrane.

  3. Wybierz kartę Klaster usługi HDI, aby wybrać lub utworzyć nową połączoną usługę z klastrem usługi HDInsight, który będzie używany do wykonywania działania przesyłania strumieniowego.

    Pokazuje interfejs użytkownika dla działania przesyłania strumieniowego.

  4. Wybierz zakładkę File, aby określić nazwy mapera i reduktora dla zadania strumieniowego, a następnie wybierz lub utwórz nową połączoną usługę na koncie Azure Storage, która będzie służyć do przechowywania plików mapera, reduktora, danych wejściowych i wyjściowych zadania. Możesz również skonfigurować zaawansowane szczegóły, w tym konfigurację debugowania, argumenty i parametry, które mają zostać przekazane do zadania.

    Pokazuje interfejs użytkownika karty

Przykład JSON

{
    "name": "Streaming Activity",
    "description": "Description",
    "type": "HDInsightStreaming",
    "linkedServiceName": {
        "referenceName": "MyHDInsightLinkedService",
        "type": "LinkedServiceReference"
    },
    "typeProperties": {
        "mapper": "MyMapper.exe",
        "reducer": "MyReducer.exe",
        "combiner": "MyCombiner.exe",
        "fileLinkedService": {
            "referenceName": "MyAzureStorageLinkedService",
            "type": "LinkedServiceReference"
        },
        "filePaths": [
            "<containername>/example/apps/MyMapper.exe",
            "<containername>/example/apps/MyReducer.exe",
            "<containername>/example/apps/MyCombiner.exe"
        ],
        "input": "wasb://<containername>@<accountname>.blob.core.windows.net/example/input/MapperInput.txt",
        "output": "wasb://<containername>@<accountname>.blob.core.windows.net/example/output/ReducerOutput.txt",
        "commandEnvironment": [
            "CmdEnvVarName=CmdEnvVarValue"
        ],
        "getDebugInfo": "Failure",
        "arguments": [
            "SampleHadoopJobArgument1"
        ],
        "defines": {
            "param1": "param1Value"
        }
    }
}

Szczegóły składni

Właściwości Opis Wymagane
nazwa Nazwa działania Tak
opis Tekst opisujący, do czego służy działanie Nie.
typ W przypadku aktywności przesyłania strumieniowego usługi Hadoop, typ aktywności to HDInsightStreaming. Tak
linkedServiceName Odwołanie do klastra HDInsight zarejestrowanego jako usługa powiązana. Aby dowiedzieć się więcej o tej połączonej usłudze, zobacz artykuł Dotyczący połączonych usług obliczeniowych. Tak
maper Określa nazwę pliku wykonywalnego mappera Tak
reduktor Określa nazwę programu reduktora Tak
kombiner Określa nazwę pliku wykonywalnego kombinatora Nie.
fileLinkedService Odwołanie do powiązanej usługi Azure Storage używanej do przechowywania programów Mapper, Combiner i Reducer do uruchomienia. Obsługiwane są tylko Azure Blob Storage i ADLS Gen2 połączone usługi. Jeśli nie określisz tej połączonej usługi, zostanie użyta usługa połączona Azure Storage zdefiniowana w połączonej usłudze HDInsight. Nie.
ścieżka pliku Podaj tablicę zawierającą ścieżki dostępu do programów Mapper, Combiner i Reducer przechowywanych w Azure Storage, określanych przez fileLinkedService. W ścieżce jest rozróżniana wielkość liter. Tak
dane wejściowe Określa ścieżkę WASB do pliku wejściowego dla Mappera. Tak
We/Wy Określa ścieżkę WASB do pliku wyjściowego reduktora. Tak
getDebugInfo Określa, kiedy pliki dziennika są kopiowane do Azure Storage używanego przez klaster usługi HDInsight (lub) określony przez scriptLinkedService. Dozwolone wartości: Brak, Zawsze lub Niepowodzenie. Wartość domyślna: None. Nie.
Argumenty Określa tablicę argumentów dla zadania Hadoop. Argumenty są przekazywane jako parametry wiersza polecenia do każdego zadania. Nie.
Definiuje Określ parametry jako pary klucz/wartość, aby odwoływać się do skryptu Hive. Nie.

Powiązana zawartość

Zapoznaj się z następującymi artykułami, które wyjaśniają sposób przekształcania danych na inne sposoby:

  • Last updated on