Bagikan melalui

HDFSOutputDatasetConfig Kelas

  • Referensi

Menunjukkan cara output ke jalur HDFS dan dipromosikan sebagai FileDataset.

Menginisialisasi HDFSOutputDatasetConfig.

Warisan
OutputDatasetConfig
HDFSOutputDatasetConfig
TransformationMixin
HDFSOutputDatasetConfig

Konstruktor

HDFSOutputDatasetConfig(name=None, destination=None)

Parameter

name
str
Diperlukan

Nama output khusus untuk eksekusi ini. Ini umumnya digunakan untuk tujuan silsilah data. Jika diatur ke Tidak Ada, kami akan secara otomatis membuat nama.

destination
tuple
Diperlukan

Tujuan output. Jika diatur ke Tidak Ada, itu akan dihasilkan ke penyimpanan data workspaceblobstore, di bawah jalur /dataset/{run-id}/{output-name}, di mana run-id adalah ID Eksekusi dan nama output adalah nama output dari parameter nama di atas. Tujuannya adalah tuple di mana item pertama adalah datastore dan item kedua adalah jalur dalam datastore.

Keterangan

Anda dapat meneruskan HDFSOutputDatasetConfig sebagai argumen eksekusi dan akan secara otomatis diterjemahkan ke jalur HDFS.

Metode

as_input

Tentukan cara menggunakan output sebagai input dalam langkah alur berikutnya.

as_input

Tentukan cara menggunakan output sebagai input dalam langkah alur berikutnya.

as_input(name=None)

Parameter

name
str
Diperlukan

Nama input khusus untuk eksekusi.

Mengembalikan

Instans DatasetConsumptionConfig menjelaskan cara mengirimkan data input.

Tipe hasil

DatasetConsumptionConfig