HDFSOutputDatasetConfig Klasse

Gibt an, wie die Ausgabe in einem HDFS-Pfad durchgeführt und zu einem Dataset vom Typ „FileDataset“ höher gestuft wird.

Initialisieren Sie eine HDFSOutputDatasetConfig.

Vererbung

OutputDatasetConfig

HDFSOutputDatasetConfig

TransformationMixin

HDFSOutputDatasetConfig

Konstruktor

HDFSOutputDatasetConfig(name=None, destination=None)

Parameter

Name	Beschreibung
name Erforderlich	str Der Name der für diese Ausführung spezifischen Ausgabe. Er wird in der Regel für die Datenherkunft verwendet. Bei Einstellung auf „None“ wird automatisch ein Name generiert.
destination Erforderlich	tuple Das Ziel der Ausgabe. Wenn dieser Wert auf Keine festgelegt ist, wird er im workspaceblobstore-Datenspeicher unter dem Pfad /dataset/{run-id}/{output-name} ausgegeben, wobei run-id die ID der Ausführung und der Ausgabename der Ausgabename aus dem obigen Parameter name ist. Das Ziel ist ein Tupel, wobei das erste Element der Datenspeicher und das zweite Element der Pfad innerhalb des Datenspeichers ist.

Hinweise

Sie können HDFSOutputDatasetConfig als Argument einer Ausführung übergeben, und sie wird automatisch in den HDFS-Pfad übersetzt.

Methoden

as_input

Gibt an, wie die Ausgabe in nachfolgenden Pipelineschritten als Eingabe verwendet werden soll.

as_input

Gibt an, wie die Ausgabe in nachfolgenden Pipelineschritten als Eingabe verwendet werden soll.

as_input(name=None)

Parameter

Name	Beschreibung
name Erforderlich	str Der Name der für die Ausführung spezifischen Eingabe.

Gibt zurück

Typ	Beschreibung
DatasetConsumptionConfig	Eine DatasetConsumptionConfig-Instanz, die beschreibt, wie die Eingabedaten übermittelt werden.