HDFSOutputDatasetConfig 類別
表示如何輸出至 HDFS 路徑,並將其升級為 FileDataset。
初始化 HDFSOutputDatasetConfig。
- 繼承
-
HDFSOutputDatasetConfigHDFSOutputDatasetConfig
建構函式
HDFSOutputDatasetConfig(name=None, destination=None)
參數
名稱 | Description |
---|---|
name
必要
|
這個執行專屬的輸出名稱。 這通常用於譜系用途。 如果設定為 [無],我們會自動產生名稱。 |
destination
必要
|
輸出的目的地。 如果設定為 None,則會輸出至 workspaceblobstore 資料存放區,其路徑 /dataset/{run-id}/{output-name},其中 run-id 是 Run 的識別碼,而 output-name 是上述 name 參數的輸出名稱。 目的地是 Tuple,其中第一個專案是資料存放區,而第二個專案是資料存放區內的路徑。 |
備註
您可以將 HDFSOutputDatasetConfig 當做執行的引數傳遞,而且會自動轉譯為 HDFS 路徑。
方法
as_input |
指定如何在後續管線步驟中使用輸出作為輸入。 |
as_input
指定如何在後續管線步驟中使用輸出作為輸入。
as_input(name=None)
參數
名稱 | Description |
---|---|
name
必要
|
執行特定的輸入名稱。 |
傳回
類型 | Description |
---|---|
DatasetConsumptionConfig實例,描述如何傳遞輸入資料。 |