Delta Live Tables CLI (eski)
Önemli
Bu belge kullanımdan kaldırılmıştır ve güncelleştirilmeyebilir.
Bu bilgiler eski Databricks CLI 0.18 ve altındaki sürümler için geçerlidir. Databricks, bunun yerine daha yeni Databricks CLI sürüm 0.205 veya üzerini kullanmanızı önerir. Bkz . Databricks CLI nedir?. Databricks CLI sürümünüzü bulmak için komutunu çalıştırın databricks -v
.
Databricks CLI sürüm 0.18 veya altından Databricks CLI sürüm 0.205 veya üzeri sürüme geçiş yapmak için bkz . Databricks CLI geçişi.
Databricks Delta Live Tables CLI alt komutlarını sonuna ekleyerek databricks pipelines
çalıştırırsınız. Bu alt komutlar Delta Live Tables API'sini çağırır.
databricks pipelines -h
Usage: databricks pipelines [OPTIONS] COMMAND [ARGS]...
Utility to interact with Databricks Delta Live Tables Pipelines.
Options:
-v, --version 0.18.0
--debug Debug Mode. Shows full stack trace on error.
--profile TEXT CLI connection profile to use. The default profile is
"DEFAULT".
-h, --help Show this message and exit.
Commands:
create Creates a pipeline.
delete Deletes the pipeline and cancels any active updates.
deploy [Deprecated] This command is deprecated, use create and edit
commands instead. Creates or edits a pipeline specified by the
pipeline settings.
edit Edits a pipeline.
get Gets a pipeline's current settings and status.
list Lists all pipelines and their statuses.
reset [Deprecated] Use the "start --full-refresh" command instead. Resets
a pipeline so that data can be reprocessed from the beginning.
run [Deprecated] Use the "start" command instead. Starts a pipeline
update.
start Starts a pipeline update.
stop Stops the pipeline by cancelling any active update.
İşlem hattı oluşturma
Kullanım belgelerini görüntülemek için komutunu çalıştırın databricks pipelines create --help
.
Kullanım
databricks pipelines create --settings create-pipeline.json
create-pipeline.json
:
{
"name": "Wikipedia pipeline (SQL)",
"storage": "/Users/username/data",
"clusters": [
{
"label": "default",
"autoscale": {
"min_workers": 1,
"max_workers": 5
}
}
],
"libraries": [
{
"notebook": {
"path": "/Users/username/Delta Live Tables quickstart (SQL)"
}
}
],
"target": "wikipedia_analysis",
"continuous": false
}
Successfully created pipeline: https://<databricks-instance>/#joblist/pipelines/4ee6b5c2-7017-11ec-90d6-0242ac120003 with ID: 4ee6b5c2-7017-11ec-90d6-0242ac120003.
İşlem hattını düzenleme
Kullanım belgelerini görüntülemek için komutunu çalıştırın databricks pipelines edit --help
.
Kullanım
databricks pipelines edit --settings edit-pipeline.json
edit-pipeline.json
:
{
"id": "4ee6b5c2-7017-11ec-90d6-0242ac120003",
"name": "Wikipedia pipeline (SQL)",
"storage": "/Users/username/data",
"clusters": [
{
"label": "default",
"autoscale": {
"min_workers": 1,
"max_workers": 3
}
}
],
"libraries": [
{
"notebook": {
"path": "/Users/username/Delta Live Tables quickstart (SQL)"
}
}
],
"target": "wikipedia_quickstart_data",
"continuous": false
}
Successfully edited pipeline settings: https://<databricks-instance>/#joblist/pipelines/4ee6b5c2-7017-11ec-90d6-0242ac120003.
İşlem hattını silme
Kullanım belgelerini görüntülemek için komutunu çalıştırın databricks pipelines delete --help
.
Kullanım
databricks pipelines delete --pipeline-id 4ee6b5c2-7017-11ec-90d6-0242ac120003
Pipeline 4ee6b5c2-7017-11ec-90d6-0242ac120003 deleted
İşlem hattı hakkında bilgi alma
Kullanım belgelerini görüntülemek için komutunu çalıştırın databricks pipelines get --help
.
Kullanım
databricks pipelines get --pipeline-id 4ee6b5c2-7017-11ec-90d6-0242ac120003
{
"pipeline_id": "4ee6b5c2-7017-11ec-90d6-0242ac120003",
"spec": {
"id": "4ee6b5c2-7017-11ec-90d6-0242ac120003",
"name": "Wikipedia pipeline (SQL)",
"storage": "/Users/username/data",
"clusters": [
{
"label": "default",
"autoscale": {
"min_workers": 1,
"max_workers": 5
}
}
],
"libraries": [
{
"notebook": {
"path": "/Users/username/Delta Live Tables quickstart (SQL)"
}
}
],
"target": "wikipedia_analysis",
"continuous": false
},
"state": "IDLE",
"name": "Wikipedia pipeline (SQL)",
"creator_user_name": "username@databricks.com",
"last_modified": 1641600056265
}
Tüm işlem hatlarını ve durumlarıyla ilgili bilgileri listeleme
Kullanım belgelerini görüntülemek için komutunu çalıştırın databricks pipelines list --help
.
Kullanım
databricks pipelines list
[
{
"pipeline_id": "8a93e1b4-7024-11ec-90d6-0242ac120003",
"state": "IDLE",
"name": "Retail sales pipeline (SQL)",
"latest_updates": [
{
"update_id": "9df03924-7024-11ec-90d6-0242ac120003",
"state": "COMPLETED",
"creation_time": "2021-10-29T16:18:57.982Z"
},
{
"update_id": "a57e601c-7024-11ec-90d6-0242ac120003",
"state": "COMPLETED",
"creation_time": "2021-10-28T18:19:30.371Z"
}
],
"creator_user_name": "user@databricks.com"
},
{
"pipeline_id": "b46e2670-7024-11ec-90d6-0242ac120003",
"state": "IDLE",
"name": "DLT quickstart (Python)",
"latest_updates": [
{
"update_id": "bcd8fa2e-7024-11ec-90d6-0242ac120003",
"state": "COMPLETED",
"creation_time": "2021-12-16T18:19:25.827Z"
},
{
"update_id": "c2c7a2c8-7024-11ec-90d6-0242ac120003",
"state": "COMPLETED",
"creation_time": "2021-10-29T22:22:32.586Z"
},
{
"update_id": "c88d2818-7024-11ec-90d6-0242ac120003",
"state": "COMPLETED",
"creation_time": "2021-10-29T22:16:18.258Z"
}
],
"creator_user_name": "user@databricks.com"
}
]
İşlem hattı güncelleştirmesini başlatma
Kullanım belgelerini görüntülemek için komutunu çalıştırın databricks pipelines start --help
.
databricks pipelines start --pipeline-id 4ee6b5c2-7017-11ec-90d6-0242ac120003
Started an update c6462e2e-beb7-4c24-a9d3-962eaa19781b for pipeline 4ee6b5c2-7017-11ec-90d6-0242ac120003.
Tam yenileme ile işlem hattı güncelleştirmesi başlatma
Kullanım belgelerini görüntülemek için komutunu çalıştırın databricks pipelines start --help
.
Kullanım
databricks pipelines start --pipeline-id 4ee6b5c2-7017-11ec-90d6-0242ac120003 --full-refresh
Started an update ed885d3d-4fc0-44fd-b5dd-59471c789327 with full refresh for pipeline 4ee6b5c2-7017-11ec-90d6-0242ac120003.
İşlem hattı güncelleştirmesini durdurma
Kullanım belgelerini görüntülemek için komutunu çalıştırın databricks pipelines stop --help
.
Kullanım
databricks pipelines stop --pipeline-id 4ee6b5c2-7017-11ec-90d6-0242ac120003
Stopped pipeline 4ee6b5c2-7017-11ec-90d6-0242ac120003.