HDFSOutputDatasetConfig クラス

  • リファレンス

HDFS パスに出力し、FileDataset として昇格させる方法を表します。

HDFSOutputDatasetConfig を初期化します。

継承
OutputDatasetConfig
HDFSOutputDatasetConfig
TransformationMixin
HDFSOutputDatasetConfig

コンストラクター

HDFSOutputDatasetConfig(name=None, destination=None)

パラメーター

name
str
必須

この実行に固有の出力の名前。 一般に経路追跡の目的で使用されます。 None に設定すると、名前が自動的に生成されます。

destination
tuple
必須

出力先。 None に設定すると、パス /dataset/{run-id}/{output-name}の下の workspaceblobstore データストアに出力されます。 ここで、run-id は Run の ID、 output-name は上記の name パラメーターからの出力名です。 変換先はタプルで、最初の項目はデータストア、2 番目の項目はデータストア内のパスです。

注釈

実行の引数として HDFSOutputDatasetConfig を渡すと、HDFS パスに自動的に変換されます。

メソッド

as_input

出力を後続のパイプライン ステップで入力として使用する方法を指定します。

as_input

出力を後続のパイプライン ステップで入力として使用する方法を指定します。

as_input(name=None)

パラメーター

name
str
必須

実行に固有の入力の名前。

戻り値

入力データを配信する方法を示す DatasetConsumptionConfig インスタンス。

の戻り値の型 :

DatasetConsumptionConfig