備註
Databricks CLI 的使用受限於 Databricks 授權 和 Databricks 隱私權聲明,包括任何使用數據條款。
feature-engineering 內的命令群組可讓您管理 Databricks 功能存放區中的功能。
Databricks 特徵工程 create-feature
建立功能。
databricks feature-engineering create-feature FULL_NAME SOURCE INPUTS FUNCTION TIME_WINDOW [flags]
Arguments
FULL_NAME
功能的完整三部分名稱 (目錄、結構描述、名稱)。
SOURCE
功能的資料來源。
INPUTS
用來計算特徵的輸入欄位。
FUNCTION
計算特徵的函數。
TIME_WINDOW
計算特徵的時間範圍。
選項
--description string
功能的描述。
--json JSON
內嵌的 JSON 字串或 @path 整合至包含要求內容的 JSON 檔案。
範例
下列範例會建立功能:
databricks feature-engineering create-feature my_catalog.my_schema.my_feature my_source my_inputs my_function my_time_window --description "My feature description"
Databricks feature-engineering create-kafka-config
建立一個 Kafka 設定。
databricks feature-engineering create-kafka-config NAME BOOTSTRAP_SERVERS SUBSCRIPTION_MODE AUTH_CONFIG [flags]
Arguments
NAME
命名一個能在元儲存庫中唯一識別這個 Kafka 設定的名稱。 這是 Feature 物件用來參考這些設定的識別碼。 可以與主題名稱區分開來。
BOOTSTRAP_SERVERS
指向 Kafka 叢集的主機/埠組逗號分隔清單。
SUBSCRIPTION_MODE
設定要從哪些 Kafka 主題擷取資料的選項。
AUTH_CONFIG
用於連接主題的認證設定。
選項
--json JSON
內嵌的 JSON 字串或 @path 整合至包含要求內容的 JSON 檔案。
Databricks 功能工程 創造 實體化功能
創造一個具體化的特徵。
databricks feature-engineering create-materialized-feature FEATURE_NAME [flags]
Arguments
FEATURE_NAME
Unity 目錄中該功能的完整名稱。
選項
--cron-schedule string
定義物質化管線排程的石英克隆表達式。
--json JSON
內嵌的 JSON 字串或 @path 整合至包含要求內容的 JSON 檔案。
--materialized-feature-id string
伺服器為實體化功能分配的唯一識別碼。
--pipeline-schedule-state MaterializedFeaturePipelineScheduleState
物質化管線的排程狀態。 支援的值:ACTIVE、PAUSED、SNAPSHOT。
Databricks 功能工程創建串流
建立一個串流。
databricks feature-engineering create-stream NAME SOURCE_CONFIG CONNECTION_CONFIG SCHEMA_CONFIG INGESTION_CONFIG [flags]
Arguments
NAME
串流的完整三部分名稱(catalog.schema.stream)。
SOURCE_CONFIG
來源特定配置。 決定串流平台的來源。
CONNECTION_CONFIG
規定如何連接並驗證串流平台。
SCHEMA_CONFIG
串流的結構定義。 目前僅支援直接結構。 未來的里程碑中,我們將透過 UC 連線支援結構登錄。
INGESTION_CONFIG
串流資料擷取的設定:管理式資料表,儲存離線的前填資料,並可選地進行歷史回填。
選項
--description string
用戶提供的說明。
--json JSON
內嵌的 JSON 字串或 @path 整合至包含要求內容的 JSON 檔案。
Databricks 特徵工程 刪除特徵
刪除功能。
databricks feature-engineering delete-feature FULL_NAME [flags]
Arguments
FULL_NAME
要刪除的功能名稱。
範例
下列範例會刪除功能:
databricks feature-engineering delete-feature my_catalog.my_schema.my_feature
Databricks feature-engineering delete-kafka-config
刪除 Kafka 設定檔。
databricks feature-engineering delete-kafka-config NAME [flags]
Arguments
NAME
要刪除的 Kafka 設定名稱。
DataBricks 功能工程刪除 實體化功能
刪除實體化的特徵。
databricks feature-engineering delete-materialized-feature MATERIALIZED_FEATURE_ID [flags]
Arguments
MATERIALIZED_FEATURE_ID
要刪除的實體化特徵的 ID。
Databricks 功能工程刪除串流
刪除串流。
databricks feature-engineering delete-stream NAME [flags]
Arguments
NAME
串流的完整三部分名稱(catalog.schema.stream)可刪除。
databricks 特徵工程 get-feature
取得功能。
databricks feature-engineering get-feature FULL_NAME [flags]
Arguments
FULL_NAME
要取得的功能名稱。
範例
下列範例展示一個特性:
databricks feature-engineering get-feature my_catalog.my_schema.my_feature
Databricks feature-engineering get-kafka-config
取得 Kafka 設定。
databricks feature-engineering get-kafka-config NAME [flags]
Arguments
NAME
要取得的 Kafka 設定名稱。
Databricks 功能工程取得物質化功能
取得具象化的功能。
databricks feature-engineering get-materialized-feature MATERIALIZED_FEATURE_ID [flags]
Arguments
MATERIALIZED_FEATURE_ID
具現化特徵的 ID。
Databricks 功能工程 Get-Stream
找個直播吧。
databricks feature-engineering get-stream NAME [flags]
Arguments
NAME
串流的完整三部分名稱(catalog.schema.stream)可取得。
Databricks 功能-工程清單-功能
列出功能。
databricks feature-engineering list-features [flags]
選項
--page-size int
要傳回的結果數目上限。
--page-token string
分頁權杖,以根據先前的查詢移至下一頁。
範例
下列範例列出所有功能:
databricks feature-engineering list-features
Databricks feature-engineering list-kafka-configs
列出 Kafka 設定。
databricks feature-engineering list-kafka-configs [flags]
選項
--limit int
要傳回的結果數目上限。
--page-size int
要傳回的結果數目上限。
Databricks 功能-工程列表-具象化-功能
列出具體化的功能。
databricks feature-engineering list-materialized-features [flags]
選項
--feature-name string
依功能名稱篩選。
--limit int
要傳回的結果數目上限。
--page-size int
要傳回的結果數目上限。
Databricks 功能工程清單串流
清單串流。
databricks feature-engineering list-streams [flags]
選項
--limit int
要傳回的結果數目上限。
--page-size int
要傳回的結果數目上限。
--parent string
列出串流的父名稱(catalog.schema)為兩部分。
Databricks 特徵工程更新功能
更新功能的描述 (所有其他欄位都是不可變的)。
databricks feature-engineering update-feature FULL_NAME UPDATE_MASK SOURCE INPUTS FUNCTION TIME_WINDOW [flags]
Arguments
FULL_NAME
功能的完整三部分名稱 (目錄、結構描述、名稱)。
UPDATE_MASK
要更新的欄位清單。
SOURCE
功能的資料來源。
INPUTS
用來計算特徵的輸入欄位。
FUNCTION
計算特徵的函數。
TIME_WINDOW
計算特徵的時間範圍。
選項
--description string
功能的描述。
--json JSON
內嵌的 JSON 字串或 @path 整合至包含要求內容的 JSON 檔案。
範例
下列範例會更新功能的描述:
databricks feature-engineering update-feature my_catalog.my_schema.my_feature description my_source my_inputs my_function my_time_window --description "Updated description"
Databricks feature-engineering update-kafka-config
更新 Kafka 設定。
databricks feature-engineering update-kafka-config NAME UPDATE_MASK BOOTSTRAP_SERVERS SUBSCRIPTION_MODE AUTH_CONFIG [flags]
Arguments
NAME
命名一個能在元儲存庫中唯一識別這個 Kafka 設定的名稱。 這是 Feature 物件用來參考這些設定的識別碼。 可以與主題名稱區分開來。
UPDATE_MASK
要更新的欄位清單。
BOOTSTRAP_SERVERS
指向 Kafka 叢集的主機/埠組逗號分隔清單。
SUBSCRIPTION_MODE
設定要從哪些 Kafka 主題擷取資料的選項。
AUTH_CONFIG
用於連接主題的認證設定。
選項
--json JSON
內嵌的 JSON 字串或 @path 整合至包含要求內容的 JSON 檔案。
DataBricks 功能工程更新 Materialized-Feature
更新實體化的特性。
databricks feature-engineering update-materialized-feature MATERIALIZED_FEATURE_ID UPDATE_MASK FEATURE_NAME [flags]
Arguments
MATERIALIZED_FEATURE_ID
伺服器為實體化功能分配的唯一識別碼。
UPDATE_MASK
提供需要更新的實體化特徵欄位。 目前,只有pipeline_state欄位可以更新。
FEATURE_NAME
Unity 目錄中該功能的完整名稱。
選項
--cron-schedule string
定義物質化管線排程的石英克隆表達式。
--json JSON
內嵌的 JSON 字串或 @path 整合至包含要求內容的 JSON 檔案。
--materialized-feature-id string
伺服器為實體化功能分配的唯一識別碼。
--pipeline-schedule-state MaterializedFeaturePipelineScheduleState
物質化管線的排程狀態。 支援的值:ACTIVE、PAUSED、SNAPSHOT。
Databricks 功能工程更新串流
更新直播。
databricks feature-engineering update-stream NAME UPDATE_MASK SOURCE_CONFIG CONNECTION_CONFIG SCHEMA_CONFIG INGESTION_CONFIG [flags]
Arguments
NAME
串流的完整三部分名稱(catalog.schema.stream)。
UPDATE_MASK
要更新的欄位清單。
SOURCE_CONFIG
來源特定配置。 決定串流平台的來源。
CONNECTION_CONFIG
規定如何連接並驗證串流平台。
SCHEMA_CONFIG
串流的結構定義。 目前僅支援直接結構。 未來的里程碑中,我們將透過 UC 連線支援結構登錄。
INGESTION_CONFIG
串流資料擷取的設定:管理式資料表,儲存離線的前填資料,並可選地進行歷史回填。
選項
--description string
用戶提供的說明。
--json JSON
內嵌的 JSON 字串或 @path 整合至包含要求內容的 JSON 檔案。
全域旗標
--debug
是否要啟用偵錯記錄。
-h 或 --help
顯示 Databricks CLI、相關命令群組或相關命令的幫助說明。
--log-file 字串
字串,表示要寫入輸出記錄檔的檔案。 若未指定此旗標,則預設值是將輸出記錄寫入 stderr。
--log-format 格式
記錄格式類型,text 或 json。 預設值是 text。
--log-level 字串
表示日誌格式層級的字串。 若未指定,則日誌的格式層級功能將被停用。
-o, --output 類型
指令輸出類型,text 或 json。 預設值是 text。
-p, --profile 字串
用於執行命令的~/.databrickscfg檔案中的配置檔名稱。 如果未指定此旗標,則如果存在,則會使用名為 DEFAULT 的配置檔。
--progress-format 格式
顯示進度記錄的格式:default、、appendinplace、 或json
-t, --target 字串
如果適用,要使用的套件組合目標