HDFSOutputDatasetConfig Klasa

Przedstawia sposób wyprowadzania danych wyjściowych do ścieżki systemu plików HDFS i być promowany jako plikDataset.

Zainicjuj plik HDFSOutputDatasetConfig.

Dziedziczenie

OutputDatasetConfig

HDFSOutputDatasetConfig

TransformationMixin

HDFSOutputDatasetConfig

Konstruktor

HDFSOutputDatasetConfig(name=None, destination=None)

Parametry

Nazwa	Opis
name Wymagane	str Nazwa danych wyjściowych specyficznych dla tego przebiegu. Jest to zwykle używane do celów pochodzenia. Jeśli ustawiono wartość Brak, automatycznie wygenerujemy nazwę.
destination Wymagane	tuple Miejsce docelowe danych wyjściowych. Jeśli jest ustawiona wartość Brak, zostanie wyświetlona wartość workspaceblobstore datastore w ścieżce /dataset/{run-id}/{output-name}, gdzie identyfikator run-id jest identyfikatorem Przebiegu, a nazwa-danych wyjściowych jest nazwą wyjściową z powyższego parametru nazwy . Miejsce docelowe to krotka, w której pierwszy element jest magazynem danych, a drugi element jest ścieżką w magazynie danych.

Uwagi

Plik HDFSOutputDatasetConfig można przekazać jako argument przebiegu i zostanie on automatycznie przetłumaczony na ścieżkę systemu plików HDFS.

Metody

as_input

Określ sposób korzystania z danych wyjściowych jako danych wejściowych w kolejnych krokach potoku.

as_input

Określ sposób korzystania z danych wyjściowych jako danych wejściowych w kolejnych krokach potoku.

as_input(name=None)

Parametry

Nazwa	Opis
name Wymagane	str Nazwa danych wejściowych specyficznych dla przebiegu.

Zwraca

Typ	Opis
DatasetConsumptionConfig	DatasetConsumptionConfig Wystąpienie opisujące sposób dostarczania danych wejściowych.