HDFSOutputDatasetConfig Classe

Rappresentare come restituire un percorso HDFS e essere promosso come FileDataset.

Inizializzare un hdFSOutputDatasetConfig.

Ereditarietà

OutputDatasetConfig

HDFSOutputDatasetConfig

TransformationMixin

HDFSOutputDatasetConfig

Costruttore

HDFSOutputDatasetConfig(name=None, destination=None)

Parametri

name

str

Necessario

Nome dell'output specifico di questa esecuzione. Questa operazione viene generalmente usata per scopi di derivazione. Se impostato su Nessuno, verrà generato automaticamente un nome.

destination

tuple

Necessario

Destinazione dell'output. Se impostato su None, verrà restituito all'archivio dati dell'archivio dati di workspaceblobstore, nel percorso /dataset/{ run-id }/{output-name}, dove run-id è l'ID run e il nome di output è il nome di output del parametro name precedente. La destinazione è una tupla in cui il primo elemento è l'archivio dati e il secondo elemento è il percorso all'interno dell'archivio dati.

Commenti

È possibile passare HDFSOutputDatasetConfig come argomento di un'esecuzione e verrà convertito automaticamente nel percorso HDFS.

Metodi

as_input

Specificare come utilizzare l'output come input nei passaggi successivi della pipeline.

as_input

Specificare come utilizzare l'output come input nei passaggi successivi della pipeline.

as_input(name=None)

Parametri

name

str

Necessario

Nome dell'input specifico dell'esecuzione.

Restituisce

DatasetConsumptionConfig Istanza che descrive come recapitare i dati di input.

Tipo restituito

DatasetConsumptionConfig