HDFSOutputDatasetConfig Класс

Представляет, как выводить путь HDFS и продвигаться в качестве набора FileDataset.

Инициализация HDFSOutputDatasetConfig.

Конструктор

HDFSOutputDatasetConfig(name=None, destination=None)

Параметры

Имя	Описание
name Обязательно	str Имя выходных данных, относящихся к этому запуску. Обычно это используется для целей происхождения. Если задано значение None, мы автоматически создадим имя.
destination Обязательно	tuple Назначение выходных данных. Если задано значение None, он будет выводиться в хранилище данных workspaceblobstore, в разделе пути /dataset/{run-id}/{output-name}, где идентификатор выполнения является идентификатором запуска и выходным именем является выходное имя из приведенного выше параметра имени . Назначение — это кортеж, в котором первый элемент — хранилище данных, а второй — путь в хранилище данных.

Комментарии

HdFSOutputDatasetConfig можно передать в качестве аргумента запуска, и он будет автоматически переведен в путь HDFS.

Методы

as_input

Укажите способ использования выходных данных в качестве входных данных в последующих шагах конвейера.

as_input

Укажите способ использования выходных данных в качестве входных данных в последующих шагах конвейера.

as_input(name=None)

Параметры

Имя	Описание
name Обязательно	str Имя входных данных, относящихся к выполнению.

Возвращаемое значение

Тип	Описание
DatasetConsumptionConfig	DatasetConsumptionConfig Экземпляр, описывающий способ доставки входных данных.