HDFSOutputDatasetConfig Kelas

Menunjukkan cara output ke jalur HDFS dan dipromosikan sebagai FileDataset.

Menginisialisasi HDFSOutputDatasetConfig.

Warisan

OutputDatasetConfig

HDFSOutputDatasetConfig

TransformationMixin

HDFSOutputDatasetConfig

Konstruktor

HDFSOutputDatasetConfig(name=None, destination=None)

Parameter

Nama	Deskripsi
name Diperlukan	str Nama output khusus untuk eksekusi ini. Ini umumnya digunakan untuk tujuan silsilah data. Jika diatur ke Tidak Ada, kami akan secara otomatis membuat nama.
destination Diperlukan	tuple Tujuan output. Jika diatur ke Tidak Ada, itu akan dihasilkan ke penyimpanan data workspaceblobstore, di bawah jalur /dataset/{run-id}/{output-name}, di mana run-id adalah ID Eksekusi dan nama output adalah nama output dari parameter nama di atas. Tujuannya adalah tuple di mana item pertama adalah datastore dan item kedua adalah jalur dalam datastore.

Keterangan

Anda dapat meneruskan HDFSOutputDatasetConfig sebagai argumen eksekusi dan akan secara otomatis diterjemahkan ke jalur HDFS.

Metode

as_input

Tentukan cara menggunakan output sebagai input dalam langkah alur berikutnya.

as_input

Tentukan cara menggunakan output sebagai input dalam langkah alur berikutnya.

as_input(name=None)

Parameter

Nama	Deskripsi
name Diperlukan	str Nama input khusus untuk eksekusi.

Mengembalikan

Jenis	Deskripsi
DatasetConsumptionConfig	Instans DatasetConsumptionConfig menjelaskan cara mengirimkan data input.