Partager via

HDFSOutputDatasetConfig Classe

  • Référence

Représente la sortie vers un chemin HDFS et la promotion en FileDataset.

Initialisez un HDFSOutputDatasetConfig.

Héritage
OutputDatasetConfig
HDFSOutputDatasetConfig
TransformationMixin
HDFSOutputDatasetConfig

Constructeur

HDFSOutputDatasetConfig(name=None, destination=None)

Paramètres

name
str
Obligatoire

Nom de la sortie spécifique à cette série. Il est généralement utilisé pour la traçabilité des données. Si la valeur est None, nous générons automatiquement un nom.

destination
tuple
Obligatoire

Destination de la sortie. Si la valeur est None, elle est générée dans le magasin de données workspaceblobstore, sous le chemin /dataset/{run-id}/{output-name}, où run-id est l’ID d’exécution et output-name est le nom de sortie du paramètre name ci-dessus. La destination est un tuple où le premier élément est le magasin de données et le deuxième élément est le chemin d’accès dans le magasin de données.

Remarques

Vous pouvez passer hdFSOutputDatasetConfig en tant qu’argument d’une exécution et il sera automatiquement traduit en chemin d’accès HDFS.

Méthodes

as_input

Spécifie comment consommer la sortie en tant qu’entrée dans les étapes de pipeline suivantes.

as_input

Spécifie comment consommer la sortie en tant qu’entrée dans les étapes de pipeline suivantes.

as_input(name=None)

Paramètres

name
str
Obligatoire

Nom de l’entrée spécifique à la série.

Retours

Instance de DatasetConsumptionConfig décrivant la façon de fournir les données d’entrée.

Type de retour

DatasetConsumptionConfig