Udostępnij za pośrednictwem

HDFSOutputDatasetConfig Klasa

  • Odwołanie

Przedstawia sposób wyprowadzania danych wyjściowych do ścieżki systemu plików HDFS i być promowany jako plikZestaw danych.

Zainicjuj plik HDFSOutputDatasetConfig.

Dziedziczenie
OutputDatasetConfig
HDFSOutputDatasetConfig
TransformationMixin
HDFSOutputDatasetConfig

Konstruktor

HDFSOutputDatasetConfig(name=None, destination=None)

Parametry

name
str
Wymagane

Nazwa danych wyjściowych specyficznych dla tego przebiegu. Jest to zwykle używane do celów pochodzenia. Jeśli zostanie ustawiona wartość Brak, automatycznie wygenerujemy nazwę.

destination
tuple
Wymagane

Miejsce docelowe danych wyjściowych. Jeśli zostanie ustawiona wartość Brak, zostanie ona wyprowadzić do magazynu danych workspaceblobstore w ścieżce /dataset/{run-id}/{ output-name}, gdzie run-id jest identyfikatorem przebiegu , a nazwa wyjściowa jest nazwą wyjściową z powyższego parametru name . Miejsce docelowe to krotka, w której pierwszy element jest magazynem danych, a drugi element jest ścieżką w magazynie danych.

Uwagi

Plik HDFSOutputDatasetConfig można przekazać jako argument przebiegu i zostanie on automatycznie przetłumaczony na ścieżkę systemu plików HDFS.

Metody

as_input

Określ sposób korzystania z danych wyjściowych jako danych wejściowych w kolejnych krokach potoku.

as_input

Określ sposób korzystania z danych wyjściowych jako danych wejściowych w kolejnych krokach potoku.

as_input(name=None)

Parametry

name
str
Wymagane

Nazwa danych wejściowych specyficznych dla przebiegu.

Zwraca

DatasetConsumptionConfig Wystąpienie opisujące sposób dostarczania danych wejściowych.

Typ zwracany

DatasetConsumptionConfig