HDFSOutputDatasetConfig Klas

Hiermee wordt aangegeven hoe u uitvoer naar een HDFS-pad uitvoert en wordt gepromoveerd als een FileDataset.

Initialiseer een HDFSOutputDatasetConfig.

Overname

OutputDatasetConfig

HDFSOutputDatasetConfig

TransformationMixin

HDFSOutputDatasetConfig

Constructor

HDFSOutputDatasetConfig(name=None, destination=None)

Parameters

Name	Description
name Vereist	str De naam van de uitvoer die specifiek is voor deze uitvoering. Dit wordt over het algemeen gebruikt voor herkomstdoeleinden. Als deze optie is ingesteld op Geen, wordt automatisch een naam gegenereerd.
destination Vereist	tuple Het doel van de uitvoer. Als deze optie is ingesteld op Geen, wordt deze uitgevoerd naar het gegevensarchief workspaceblobstore, onder het pad /dataset/{run-id}/{output-name}, waarbij run-id de id van de uitvoering is en de uitvoernaam de uitvoernaam is van de bovenstaande naamparameter . Het doel is een tuple waarbij het eerste item het gegevensarchief is en het tweede item het pad binnen het gegevensarchief is.

Opmerkingen

U kunt de HDFSOutputDatasetConfig doorgeven als een argument van een uitvoering en deze wordt automatisch vertaald naar het HDFS-pad.

Methoden

as_input

Geef op hoe de uitvoer moet worden gebruikt als invoer in de volgende pijplijnstappen.

as_input

Geef op hoe de uitvoer moet worden gebruikt als invoer in de volgende pijplijnstappen.

as_input(name=None)

Parameters

Name	Description
name Vereist	str De naam van de invoer die specifiek is voor de uitvoering.

Retouren

Type	Description
DatasetConsumptionConfig	Een DatasetConsumptionConfig exemplaar waarin wordt beschreven hoe de invoergegevens moeten worden geleverd.