HDFSOutputDatasetConfig Classe

Representa como gerar uma saída para um caminho HDFS e ser promovido como um FileDataset.

Inicialize um HDFSOutputDatasetConfig.

Herança

OutputDatasetConfig

HDFSOutputDatasetConfig

TransformationMixin

HDFSOutputDatasetConfig

Construtor

HDFSOutputDatasetConfig(name=None, destination=None)

Parâmetros

Nome	Description
name Obrigatório	str O nome da saída específica a esta execução. Isso geralmente é usado para fins de linhagem. Se for definido como Nenhum, geraremos um nome automaticamente.
destination Obrigatório	tuple O destino da saída. Se definido como Nenhum, ele será gerado para o armazenamento de dados workspaceblobstore, no caminho /dataset/{run-id}/{output-name}, em que run-id é a ID da execução e o nome da saída é o nome da saída do parâmetro de nome acima. O destino é uma tupla em que o primeiro item é o armazenamento de dados e o segundo item é o caminho dentro do armazenamento de dados.

Comentários

Você pode passar o HDFSOutputDatasetConfig como um argumento de uma execução e ele será convertido automaticamente para o caminho do HDFS.

Métodos

as_input

Especifica como consumir a saída como uma entrada nas etapas de pipeline subsequentes.

as_input

Especifica como consumir a saída como uma entrada nas etapas de pipeline subsequentes.

as_input(name=None)

Parâmetros

Nome	Description
name Obrigatório	str O nome da entrada específica para a ser executada.

Retornos

Tipo	Description
DatasetConsumptionConfig	Uma instância DatasetConsumptionConfig que descreve como entregar os dados de entrada.