Panduan API Delta Live Tables
Penting
Konten artikel ini telah dihentikan dan mungkin tidak diperbarui. Lihat Tabel Langsung Delta di Referensi DATABricks REST API.
Delta Live Tables API memungkinkan Anda membuat, mengedit, menghapus, memulai, dan melihat detail tentang alur.
Penting
Untuk mengakses API Databricks REST, Anda harus melakukan autentikasi.
Buat alur
| Titik akhir | Metode HTTP |
|---|---|
2.0/pipelines |
POST |
Membuat alur Delta Live Tables baru.
Contoh
Contoh ini membuat alur yang dipicu baru.
Minta
curl --netrc -X POST \
https://<databricks-instance>/api/2.0/pipelines \
--data @pipeline-settings.json
pipeline-settings.json:
{
"name": "Wikipedia pipeline (SQL)",
"storage": "/Users/username/data",
"clusters": [
{
"label": "default",
"autoscale": {
"min_workers": 1,
"max_workers": 5,
"mode": "ENHANCED"
}
}
],
"libraries": [
{
"notebook": {
"path": "/Users/username/DLT Notebooks/Delta Live Tables quickstart (SQL)"
}
}
],
"continuous": false
}
Ganti:
<databricks-instance>dengan nama instans ruang kerja Azure Databricks, misalnyaadb-1234567890123456.7.azuredatabricks.net.
Contoh ini menggunakan file .netrc.
Respons
{
"pipeline_id": "a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5"
}
Struktur permintaan
Lihat PipelineSettings.
Struktur tanggapan
| Nama Bidang | Jenis | Deskripsi |
|---|---|---|
| pipeline_id | STRING |
Pengidentifikasi unik untuk alur yang baru dibuat. |
Mengedit alur
| Titik akhir | Metode HTTP |
|---|---|
2.0/pipelines/{pipeline_id} |
PUT |
Memperbarui pengaturan untuk alur yang ada.
Contoh
Contoh ini menambahkan parameter target ke saluran dengan ID a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5:
Minta
curl --netrc -X PUT \
https://<databricks-instance>/api/2.0/pipelines/a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5 \
--data @pipeline-settings.json
pipeline-settings.json
{
"id": "a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5",
"name": "Wikipedia pipeline (SQL)",
"storage": "/Users/username/data",
"clusters": [
{
"label": "default",
"autoscale": {
"min_workers": 1,
"max_workers": 5,
"mode": "ENHANCED"
}
}
],
"libraries": [
{
"notebook": {
"path": "/Users/username/DLT Notebooks/Delta Live Tables quickstart (SQL)"
}
}
],
"target": "wikipedia_quickstart_data",
"continuous": false
}
Ganti:
<databricks-instance>dengan nama instans ruang kerja Azure Databricks, misalnyaadb-1234567890123456.7.azuredatabricks.net.
Contoh ini menggunakan file .netrc.
Struktur permintaan
Lihat PipelineSettings.
Menghapus alur
| Titik akhir | Metode HTTP |
|---|---|
2.0/pipelines/{pipeline_id} |
DELETE |
Menghapus alur dari sistem Delta Live Tables.
Contoh
Contoh ini menghapus alur dengan ID a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5:
Minta
curl --netrc -X DELETE \
https://<databricks-instance>/api/2.0/pipelines/a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5
Ganti:
<databricks-instance>dengan nama instans ruang kerja Azure Databricks, misalnyaadb-1234567890123456.7.azuredatabricks.net.
Contoh ini menggunakan file .netrc.
Memulai eksekusi alur
| Titik akhir | Metode HTTP |
|---|---|
2.0/pipelines/{pipeline_id}/updates |
POST |
Memulai pembaruan untuk alur. Anda dapat memulai pembaruan untuk seluruh grafik alur, atau pembaruan selektif tabel tertentu.
Contoh
Memulai refresh penuh
Contoh ini memulai pembaruan dengan penyegaran penuh untuk saluran dengan ID a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5:
Minta
curl --netrc -X POST \
https://<databricks-instance>/api/2.0/pipelines/a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5/updates \
--data '{ "full_refresh": "true" }'
Ganti:
<databricks-instance>dengan nama instans ruang kerja Azure Databricks, misalnyaadb-1234567890123456.7.azuredatabricks.net.
Contoh ini menggunakan file .netrc.
Respons
{
"update_id": "a1b23c4d-5e6f-78gh-91i2-3j4k5lm67no8",
"request_id": "a1b23c4d-5e6f-78gh-91i2-3j4k5lm67no8"
}
Memulai pembaruan tabel yang dipilih
Contoh ini memulai pembaruan yang merefresh tabel sales_orders_cleaned dan sales_order_in_chicago dalam alur dengan ID a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5:
Minta
curl --netrc -X POST \
https://<databricks-instance>/api/2.0/pipelines/a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5/updates \
--data '{ "refresh_selection": ["sales_orders_cleaned", "sales_order_in_chicago"] }'
Ganti:
<databricks-instance>dengan nama instans ruang kerja Azure Databricks, misalnyaadb-1234567890123456.7.azuredatabricks.net.
Contoh ini menggunakan file .netrc.
Respons
{
"update_id": "a1b23c4d-5e6f-78gh-91i2-3j4k5lm67no8",
"request_id": "a1b23c4d-5e6f-78gh-91i2-3j4k5lm67no8"
}
Memulai pembaruan penuh tabel yang dipilih
Contoh ini memulai pembaruan tabel sales_orders_cleaned dan sales_order_in_chicago, serta pembaruan dengan refresh penuh tabel customers dan sales_orders_raw dalam alur dengan ID a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5.
Minta
curl --netrc -X POST \
https://<databricks-instance>/api/2.0/pipelines/a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5/updates \
--data '{ "refresh_selection": ["sales_orders_cleaned", "sales_order_in_chicago"], "full_refresh_selection": ["customers", "sales_orders_raw"] }'
Ganti:
<databricks-instance>dengan nama instans ruang kerja Azure Databricks, misalnyaadb-1234567890123456.7.azuredatabricks.net.
Contoh ini menggunakan file .netrc.
Respons
{
"update_id": "a1b23c4d-5e6f-78gh-91i2-3j4k5lm67no8",
"request_id": "a1b23c4d-5e6f-78gh-91i2-3j4k5lm67no8"
}
Struktur permintaan
| Nama Bidang | Jenis | Deskripsi |
|---|---|---|
full_refresh |
BOOLEAN |
Apakah akan memproses ulang semua data. Jika true, sistem Tabel Delta Live akan mereset semua tabel yang dapat direset sebelum menjalankan alur.Bidang ini bersifat opsional. Nilai defaultnya adalah false.Kesalahan ditampilkan jika full_refesh benar dan refresh_selection atau full_refresh_selection diatur. |
refresh_selection |
Larik dari STRING |
Daftar tabel yang akan diperbarui. Menggunakanrefresh_selection untuk memulai refresh sekumpulan tabel yang dipilih dalam grafik alur.Bidang ini bersifat opsional. Jika keduanya refresh_selection danfull_refresh_selection kosong, seluruh grafik alur di-refresh.Kesalahan ditampilkan jika: * full_refesh benar danrefresh_selection diatur.* Satu atau beberapa tabel yang ditentukan tidak ada dalam grafik alur. |
full_refresh_selection |
Larik dari STRING |
Daftar tabel yang akan diperbarui dengan refresh penuh. Gunakan full_refresh_selection untuk memulai pembaruan sekumpulan tabel yang dipilih. Status tabel yang ditentukan direset sebelum sistem Tabel Delta Live memulai pembaruan.Bidang ini bersifat opsional. Jika keduanya refresh_selection danfull_refresh_selection kosong, seluruh grafik alur di-refresh.Kesalahan ditampilkan jika: * full_refesh benar danrefresh_selection diatur.* Satu atau beberapa tabel yang ditentukan tidak ada dalam grafik alur. * Satu atau beberapa tabel yang ditentukan tidak dapat direset. |
Struktur tanggapan
| Nama Bidang | Jenis | Deskripsi |
|---|---|---|
update_id |
STRING |
Pengidentifikasi unik dari pembaruan yang baru dibuat. |
request_id |
STRING |
Pengidentifikasi unik permintaan yang memulai pembaruan. |
Mendapatkan status permintaan pembaruan alur
| Titik akhir | Metode HTTP |
|---|---|
2.0/pipelines/{pipeline_id}/requests/{request_id} |
GET |
Mendapatkan status dan informasi untuk pembaruan alur yang terkait dengan request_id, di mana request_id adalah pengidentifikasi unik untuk permintaan yang memulai pembaruan alur. Jika pembaruan dicoba ulang atau dimulai ulang, pembaruan baru akan mewarisi request_id.
Contoh
Untuk alur dengan ID a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5, contoh ini mengembalikan status dan informasi untuk pembaruan yang terkait dengan ID a83d9f7c-d798-4fd5-aa39-301b6e6f4429permintaan :
Minta
curl --netrc -X GET \
https://<databricks-instance>/api/2.0/pipelines/a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5/requests/a83d9f7c-d798-4fd5-aa39-301b6e6f4429
Ganti:
<databricks-instance>dengan nama instans ruang kerja Azure Databricks, misalnyaadb-1234567890123456.7.azuredatabricks.net.
Contoh ini menggunakan file .netrc.
Respons
{
"status": "TERMINATED",
"latest_update":{
"pipeline_id": "a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5",
"update_id": "90da8183-89de-4715-b5a9-c243e67f0093",
"config":{
"id": "aae89b88-e97e-40c4-8e1a-1b7ac76657e8",
"name": "Retail sales (SQL)",
"storage": "/Users/username/data",
"configuration":{
"pipelines.numStreamRetryAttempts": "5"
},
"clusters":[
{
"label": "default",
"autoscale":{
"min_workers": 1,
"max_workers": 5,
"mode": "ENHANCED"
}
}
],
"libraries":[
{
"notebook":{
"path": "/Users/username/DLT Notebooks/Delta Live Tables quickstart (SQL)"
}
}
],
"continuous": false,
"development": true,
"photon": true,
"edition": "advanced",
"channel": "CURRENT"
},
"cause": "API_CALL",
"state": "COMPLETED",
"cluster_id": "1234-567891-abcde123",
"creation_time": 1664304117145,
"full_refresh": false,
"request_id": "a83d9f7c-d798-4fd5-aa39-301b6e6f4429"
}
}
Struktur respons
| Nama Bidang | Jenis | Deskripsi |
|---|---|---|
status |
STRING |
Status permintaan pembaruan alur. Salah satu * ACTIVE: Pembaruan untuk permintaan ini berjalan secara aktif atau dapat dicoba kembali dalam pembaruan baru.* TERMINATED: Permintaan dihentikan dan tidak akan dicoba ulang atau dimulai ulang. |
pipeline_id |
STRING |
Pengidentifikasi unik dari alur. |
update_id |
STRING |
Pengidentifikasi unik pembaruan. |
config |
PipelineSettings | Pengaturan alur. |
cause |
STRING |
Pemicu pembaruan. Salah satu dari API_CALL,RETRY_ON_FAILURE, , SERVICE_UPGRADESCHEMA_CHANGE,JOB_TASK, atau USER_ACTION. |
state |
STRING |
Status pembaruan. Salah satu dari QUEUED, CREATEDWAITING_FOR_RESOURCES, , INITIALIZINGRESETTING,SETTING_UP_TABLES, , RUNNINGSTOPPING, , COMPLETED,FAILED, atau CANCELED. |
cluster_id |
STRING |
Pengidentifikasi kluster yang menjalankan pembaruan. |
creation_time |
INT64 |
Stempel waktu saat pembaruan dibuat. |
full_refresh |
BOOLEAN |
Apakah pembaruan ini mereset semua tabel sebelum menjalankan |
refresh_selection |
Larik dari STRING |
Daftar tabel yang akan diperbarui tanpa refresh penuh. |
full_refresh_selection |
Larik dari STRING |
Daftar tabel yang akan diperbarui dengan refresh penuh. |
request_id |
STRING |
Pengidentifikasi unik permintaan yang memulai pembaruan. Ini adalah nilai yang dikembalikan oleh permintaan pembaruan . Jika pembaruan dicoba ulang atau dimulai ulang, pembaruan baru akan mewarisi request_id. Namun, update_id akan berbeda. |
Menghentikan pembaruan saluran yang aktif
| Titik akhir | Metode HTTP |
|---|---|
2.0/pipelines/{pipeline_id}/stop |
POST |
Menghentikan pembaruan alur yang aktif. Jika tidak ada pembaruan yang berjalan, permintaan ini tidak boleh dilakukan.
Untuk alur berkelanjutan, eksekusi alur dijeda. Tabel yang sedang diproses selesai di-refresh, tetapi tabel downstream tidak di-refresh. Pada pembaruan alur berikutnya, Tabel Delta Live melakukan refresh tabel yang dipilih yang tidak menyelesaikan pemrosesan, dan melanjutkan pemrosesan DAG alur yang tersisa.
Untuk alur yang dipicu, eksekusi alur dihentikan. Tabel yang sedang diproses selesai di-refresh, tetapi tabel downstream tidak di-refresh. Pada pembaruan alur berikutnya, Tabel Delta Live me-refresh semua tabel.
Contoh
Contoh ini menghentikan pembaruan untuk saluran dengan ID a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5:
Minta
curl --netrc -X POST \
https://<databricks-instance>/api/2.0/pipelines/a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5/stop
Ganti:
<databricks-instance>dengan nama instans ruang kerja Azure Databricks, misalnyaadb-1234567890123456.7.azuredatabricks.net.
Contoh ini menggunakan file .netrc.
Membuat daftar peristiwa alur
| Titik akhir | Metode HTTP |
|---|---|
2.0/pipelines/{pipeline_id}/events |
GET |
Mengambil peristiwa untuk alur.
Contoh
Contoh ini mengambil maksimal 5 peristiwa untuk alur dengan ID a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5.
Minta
curl --netrc -X GET \
https://<databricks-instance>/api/2.0/pipelines/a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5/events?max_results=5
Ganti:
<databricks-instance>dengan nama instans ruang kerja Azure Databricks, misalnyaadb-1234567890123456.7.azuredatabricks.net.
Contoh ini menggunakan file .netrc.
Struktur permintaan
| Nama Bidang | Jenis | Deskripsi |
|---|---|---|
page_token |
STRING |
Token halaman dikembalikan oleh panggilan sebelumnya. Bidang ini saling eksklusif dengan semua bidang dalam permintaan ini kecuali max_results. Kesalahan ditampilkan jika ada bidang selain max_results yang disetel saat bidang ini diatur. Bidang ini bersifat opsional. |
max_results |
INT32 |
Jumlah maksimum entri yang dikembalikan dalam satu halaman. Sistem dapat mengembalikan kurang dari max_results peristiwa dalam tanggapan, meskipun ada lebih banyak peristiwa yang tersedia.Bidang ini bersifat opsional. Nilai defaultnya adalah 25. Nilai maksimalnya adalah 100. Sebuah kesalahan dikembalikan jika nilai max_results lebih besar dari 100. |
order_by |
STRING |
String yang menunjukkan urutan pengurutan berdasarkan stempel waktu untuk hasil, misalnya, ["timestamp asc"].Urutan pengurutan dapat menaik atau menurun. Secara default, peristiwa dikembalikan dalam urutan menurun berdasarkan stempel waktu. Bidang ini bersifat opsional. |
filter |
STRING |
Kriteria untuk memilih subset hasil, dinyatakan menggunakan sintaks seperti SQL. Filter yang didukung adalah: * level='INFO' (atau WARN atau ERROR)* level in ('INFO', 'WARN')* id='[event-id]'* timestamp > 'TIMESTAMP' (atau >=,<,<=,=)Ekspresi komposit didukung, misalnya: level in ('ERROR', 'WARN') AND timestamp> '2021-07-22T06:37:33.083Z'Bidang ini bersifat opsional. |
Struktur respons
| Nama Bidang | Jenis | Deskripsi |
|---|---|---|
events |
Array peristiwa alur. | Daftar peristiwa yang cocok dengan kriteria permintaan. |
next_page_token |
STRING |
Jika ada, token untuk mengambil halaman peristiwa berikutnya. |
prev_page_token |
STRING |
Jika ada, token untuk mengambil halaman peristiwa sebelumnya. |
Dapatkan detail alur
| Titik akhir | Metode HTTP |
|---|---|
2.0/pipelines/{pipeline_id} |
GET |
Mendapatkan detail tentang alur, termasuk pengaturan alur dan pembaruan terkini.
Contoh
Contoh ini mendapatkan detail untuk alur dengan ID a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5:
Minta
curl --netrc -X GET \
https://<databricks-instance>/api/2.0/pipelines/a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5
Ganti:
<databricks-instance>dengan nama instans ruang kerja Azure Databricks, misalnyaadb-1234567890123456.7.azuredatabricks.net.
Contoh ini menggunakan file .netrc.
Respons
{
"pipeline_id": "a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5",
"spec": {
"id": "a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5",
"name": "Wikipedia pipeline (SQL)",
"storage": "/Users/username/data",
"clusters": [
{
"label": "default",
"autoscale": {
"min_workers": 1,
"max_workers": 5,
"mode": "ENHANCED"
}
}
],
"libraries": [
{
"notebook": {
"path": "/Users/username/DLT Notebooks/Delta Live Tables quickstart (SQL)"
}
}
],
"target": "wikipedia_quickstart_data",
"continuous": false
},
"state": "IDLE",
"cluster_id": "1234-567891-abcde123",
"name": "Wikipedia pipeline (SQL)",
"creator_user_name": "username",
"latest_updates": [
{
"update_id": "8a0b6d02-fbd0-11eb-9a03-0242ac130003",
"state": "COMPLETED",
"creation_time": "2021-08-13T00:37:30.279Z"
},
{
"update_id": "a72c08ba-fbd0-11eb-9a03-0242ac130003",
"state": "CANCELED",
"creation_time": "2021-08-13T00:35:51.902Z"
},
{
"update_id": "ac37d924-fbd0-11eb-9a03-0242ac130003",
"state": "FAILED",
"creation_time": "2021-08-13T00:33:38.565Z"
}
],
"run_as_user_name": "username"
}
Struktur respons
| Nama Bidang | Jenis | Deskripsi |
|---|---|---|
pipeline_id |
STRING |
Pengidentifikasi unik dari alur. |
spec |
PipelineSettings | Pengaturan alur. |
state |
STRING |
Status alur. Salah satu dari IDLE atau RUNNING.Jika status = RUNNING, maka setidaknya ada satu pembaruan aktif. |
cluster_id |
STRING |
Pengenal kluster yang menjalankan alur. |
name |
STRING |
Nama yang mudah digunakan untuk alur ini. |
creator_user_name |
STRING |
Nama pengguna pembuat alur. |
latest_updates |
Array UpdateStateInfo | Status pembaruan terbaru untuk alur, diurutkan dengan pembaruan terbaru terlebih dahulu. |
run_as_user_name |
STRING |
Nama pengguna yang digunakan untuk menjalankan alur. |
Mendapatkan detail pembaruan
| Titik akhir | Metode HTTP |
|---|---|
2.0/pipelines/{pipeline_id}/updates/{update_id} |
GET |
Mendapatkan detail untuk pembaruan alur.
Contoh
Contoh ini mendapatkan detail untuk pembaruan 9a84f906-fc51-11eb-9a03-0242ac130003 untuk alur dengan ID a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5:
Minta
curl --netrc -X GET \
https://<databricks-instance>/api/2.0/pipelines/a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5/updates/9a84f906-fc51-11eb-9a03-0242ac130003
Ganti:
<databricks-instance>dengan nama instans ruang kerja Azure Databricks, misalnyaadb-1234567890123456.7.azuredatabricks.net.
Contoh ini menggunakan file .netrc.
Respons
{
"update": {
"pipeline_id": "a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5",
"update_id": "9a84f906-fc51-11eb-9a03-0242ac130003",
"config": {
"id": "a12cd3e4-0ab1-1abc-1a2b-1a2bcd3e4fg5",
"name": "Wikipedia pipeline (SQL)",
"storage": "/Users/username/data",
"configuration": {
"pipelines.numStreamRetryAttempts": "5"
},
"clusters": [
{
"label": "default",
"autoscale": {
"min_workers": 1,
"max_workers": 5,
"mode": "ENHANCED"
}
}
],
"libraries": [
{
"notebook": {
"path": "/Users/username/DLT Notebooks/Delta Live Tables quickstart (SQL)"
}
}
],
"target": "wikipedia_quickstart_data",
"continuous": false,
"development": false
},
"cause": "API_CALL",
"state": "COMPLETED",
"creation_time": 1628815050279,
"full_refresh": true,
"request_id": "a83d9f7c-d798-4fd5-aa39-301b6e6f4429"
}
}
Struktur respons
| Nama Bidang | Jenis | Deskripsi |
|---|---|---|
pipeline_id |
STRING |
Pengidentifikasi unik dari alur. |
update_id |
STRING |
Pengidentifikasi unik pembaruan ini. |
config |
PipelineSettings | Pengaturan alur. |
cause |
STRING |
Pemicu pembaruan. Salah satu dari API_CALL,RETRY_ON_FAILURE, . SERVICE_UPGRADE |
state |
STRING |
Status pembaruan. Salah satu dari QUEUED, CREATEDWAITING_FOR_RESOURCES, , INITIALIZINGRESETTING,SETTING_UP_TABLES, , RUNNINGSTOPPING, , COMPLETED,FAILED, atau CANCELED. |
cluster_id |
STRING |
Pengenal kluster yang menjalankan alur. |
creation_time |
INT64 |
Stempel waktu saat pembaruan dibuat. |
full_refresh |
BOOLEAN |
Apakah ini penyegaran penuh. Jika benar, semua tabel alur diatur ulang sebelum menjalankan pembaruan. |
Buat daftar alur
| Titik akhir | Metode HTTP |
|---|---|
2.0/pipelines/ |
GET |
Mencantumkan alur yang ditentukan dalam sistem Delta Live Tables.
Contoh
Contoh ini mengambil detail untuk alur di mana nama berisi quickstart:
Minta
curl --netrc -X GET \
https://<databricks-instance>/api/2.0/pipelines?filter=name%20LIKE%20%27%25quickstart%25%27
Ganti:
<databricks-instance>dengan nama instans ruang kerja Azure Databricks, misalnyaadb-1234567890123456.7.azuredatabricks.net.
Contoh ini menggunakan file .netrc.
Respons
{
"statuses": [
{
"pipeline_id": "e0f01758-fc61-11eb-9a03-0242ac130003",
"state": "IDLE",
"name": "DLT quickstart (Python)",
"latest_updates": [
{
"update_id": "ee9ae73e-fc61-11eb-9a03-0242ac130003",
"state": "COMPLETED",
"creation_time": "2021-08-13T00:34:21.871Z"
}
],
"creator_user_name": "username"
},
{
"pipeline_id": "f4c82f5e-fc61-11eb-9a03-0242ac130003",
"state": "IDLE",
"name": "My DLT quickstart example",
"creator_user_name": "username"
}
],
"next_page_token": "eyJ...==",
"prev_page_token": "eyJ..x9"
}
Struktur permintaan
| Nama Bidang | Jenis | Deskripsi |
|---|---|---|
page_token |
STRING |
Token halaman dikembalikan oleh panggilan sebelumnya. Bidang ini bersifat opsional. |
max_results |
INT32 |
Jumlah maksimum entri yang dikembalikan dalam satu halaman. Sistem dapat mengembalikan kurang dari max_results peristiwa dalam tanggapan, meskipun ada lebih banyak peristiwa yang tersedia.Bidang ini bersifat opsional. Nilai defaultnya adalah 25. Nilai maksimalnya adalah 100. Sebuah kesalahan dikembalikan jika nilai max_results lebih besar dari 100. |
order_by |
Larik dari STRING |
Daftar string yang menentukan urutan hasil, misalnya,["name asc"]. Bidang order_by yang didukung adalah id danname. Default adalah id asc.Bidang ini bersifat opsional. |
filter |
STRING |
Pilih subset hasil berdasarkan kriteria yang ditentukan. Filter yang didukung adalah: "notebook='<path>'" untuk memilih saluran yang mereferensikan jalur notebook yang disediakan.name LIKE '[pattern]' untuk memilih saluran dengan nama yang cocok dengan pattern. Wildcard didukung, misalnya:name LIKE '%shopping%'Filter komposit tidak didukung. Bidang ini bersifat opsional. |
Struktur respons
| Nama Bidang | Jenis | Deskripsi |
|---|---|---|
statuses |
Array PipelineStateInfo | Daftar peristiwa yang cocok dengan kriteria permintaan. |
next_page_token |
STRING |
Jika ada, token untuk mengambil halaman peristiwa berikutnya. |
prev_page_token |
STRING |
Jika ada, token untuk mengambil halaman peristiwa sebelumnya. |
Struktur data
Di bagian ini:
- ABFSSStorageInfo
- ClusterLogConf
- DbfsStorageInfo
- FileStorageInfo
- InitScriptInfo
- KeyValue
- NotebookLibrary
- PipelinesAutoScale
- PipelineLibrary
- PipelinesNewCluster
- PipelineSettings
- PipelineStateInfo
- UpdateStateInfo
- WorkspaceStorageInfo
ABFSSStorageInfo
Informasi penyimpanan Azure Data Lake Storage (ADLS).
| Nama Bidang | Jenis | Deskripsi |
|---|---|---|
destination |
STRING |
Tujuan file. Contoh: abfss://... |
ClusterLogConf
Jalur ke log kluster.
| Nama Bidang | Jenis | Deskripsi |
|---|---|---|
dbfs |
DbfsStorageInfo | Lokasi DBFS dari log kluster. Tujuan harus disediakan. Contohnya,{ "dbfs" : { "destination" : "dbfs:/home/cluster_log" } } |
DbfsStorageInfo
Informasi penyimpanan DBFS.
| Nama Bidang | Jenis | Deskripsi |
|---|---|---|
destination |
STRING |
Tujuan DBFS. Contoh: dbfs:/my/path |
FileStorageInfo
Informasi penyimpanan file.
Catatan
Jenis lokasi ini hanya tersedia untuk kluster yang disiapkan menggunakan Databricks Container Services.
| Nama Bidang | Jenis | Deskripsi |
|---|---|---|
destination |
STRING |
Tujuan file. Contoh: file:/my/file.sh |
InitScriptInfo
Jalur menuju skrip init.
Untuk petunjuk tentang penggunaan skrip init dengan Databricks Container Services, lihat Menggunakan skrip init.
Catatan
Jenis penyimpanan file (nama bidang: file) hanya tersedia untuk kluster yang disiapkan menggunakan Databricks Container Services. Lihat FileStorageInfo.
| Nama Bidang | Jenis | Deskripsi |
|---|---|---|
workspace ATAUdbfs (tidak digunakan lagi)ATAU abfss |
WorkspaceStorageInfo DbfsStorageInfo (tidak digunakan lagi) ABFSSStorageInfo |
Lokasi ruang kerja skrip init. Tujuan harus disediakan. Contohnya,{ "workspace" : { "destination" : "/Users/someone@domain.com/init_script.sh" } }(Tidak digunakan lagi) Lokasi DBFS skrip init. Tujuan harus disediakan. Contohnya, { "dbfs" : { "destination" : "dbfs:/home/init_script" } }Lokasi Azure Data Lake Storage (ADLS) skrip init. Tujuan harus disediakan. Misalnya: { "abfss": { "destination" : "abfss://..." } } |
KeyValue
Pasangan kunci-nilai yang menentukan parameter konfigurasi.
| Nama Bidang | Jenis | Deskripsi |
|---|---|---|
key |
STRING |
Nama properti konfigurasi. |
value |
STRING |
Nilai properti konfigurasi. |
NotebookLibrary
Spesifikasi untuk notebook yang berisi kode alur.
| Nama Bidang | Jenis | Deskripsi |
|---|---|---|
path |
STRING |
Jalur absolut ke notebook. Bidang ini wajib diisi. |
PipelinesAutoScale
Atribut yang menentukan kluster penskalaan otomatis.
| Nama Bidang | Jenis | Deskripsi |
|---|---|---|
min_workers |
INT32 |
Jumlah minimum pekerja yang dapat diskalakan kluster ke bawah ketika kurang dimanfaatkan. Ini juga merupakan jumlah awal pekerja yang akan dimiliki kluster setelah pembuatan. |
max_workers |
INT32 |
Jumlah maksimum pekerja yang dapat diskalakan kluster ke atas ketika kelebihan beban. max_workers harus benar-benar lebih besar dari min_workers. |
mode |
STRING |
Mode penskalaan otomatis untuk kluster: * ENHANCED untuk menggunakan autoscaling yang disempurnakan.* LEGACY untuk menggunakan fungsionalitas autoscaling kluster. |
PipelineLibrary
Spesifikasi untuk dependensi alur.
| Nama Bidang | Jenis | Deskripsi |
|---|---|---|
notebook |
NotebookLibrary | Jalur ke notebook yang menentukan kumpulan data Delta Live Tables. Jalur harus berada di ruang kerja Databricks, misalnya:{ "notebook" : { "path" : "/my-pipeline-notebook-path" } }. |
PipelinesNewCluster
Spesifikasi kluster alur.
Sistem Delta Live Tables menetapkan atribut berikut. Atribut ini tidak dapat dikonfigurasi oleh pengguna:
spark_version
| Nama Bidang | Jenis | Deskripsi |
|---|---|---|
label |
STRING |
Label untuk spesifikasi kluster, baikdefault untuk mengonfigurasi kluster default, ataumaintenance untuk mengonfigurasi kluster pemeliharaan.Bidang ini bersifat opsional. Nilai defaultnya adalah default. |
spark_conf |
KeyValue | Objek yang berisi set pasangan kunci-nilai konfigurasi Spark opsional yang ditentukan pengguna. Anda juga dapat meneruskan string opsi JVM tambahan ke driver dan eksekutor melalui masing-masing spark.driver.extraJavaOptions dan spark.executor.extraJavaOptions.Contoh konf Spark: {"spark.speculation": true, "spark.streaming.ui.retainedBatches": 5} atau{"spark.driver.extraJavaOptions": "-verbose:gc -XX:+PrintGCDetails"} |
node_type_id |
STRING |
Bidang ini mengkodekan, melalui satu nilai, sumber daya yang tersedia untuk masing-masing node Spark di kluster ini. Misalnya, simpul Spark dapat disediakan dan dioptimalkan untuk memori atau komputasi beban kerja intensif Daftar jenis node yang tersedia dapat diambil dengan menggunakan panggilan CLUSTERs API . |
driver_node_type_id |
STRING |
Jenis node dari driver Spark. Bidang ini bersifat opsional; jika tidak diatur, jenis node driver akan diatur dengan nilai yang sama seperti node_type_id yang ditentukan di atas. |
ssh_public_keys |
Larik dari STRING |
Konten kunci umum SSH yang akan ditambahkan ke setiap node Spark di kluster ini. Kunci privat yang sesuai dapat digunakan untuk masuk dengan nama pengguna ubuntu pada port 2200. Maksimal 10 kunci yang dapat ditentukan. |
custom_tags |
KeyValue | Objek yang berisi set tag untuk sumber daya kluster. Databricks mengetag semua sumber daya kluster dengan tag ini selain dengan default_tags. Catatan: * Tag tidak didukung pada jenis node lama seperti yang dioptimalkan komputasi dan dioptimalkan memori * Azure Databricks mengizinkan hingga 45 tag kustom. |
cluster_log_conf |
ClusterLogConf | Konfigurasi untuk pengiriman log Spark ke tujuan penyimpanan jangka panjang. Hanya satu tujuan yang dapat ditentukan untuk satu kluster. Jika konfigurasi ini diberikan, log akan dikirimkan ke tujuan setiap5 mins. Tujuan log driver adalah <destination>/<cluster-ID>/driver, sedangkan tujuan log eksekutor adalah <destination>/<cluster-ID>/executor. |
spark_env_vars |
KeyValue | Objek yang berisi set pasangan kunci-nilai variabel lingkungan opsional yang ditentukan pengguna. Pasangan kunci-nilai dari bentuk (X, Y) diekspor apa adanya (yaitu,export X='Y') sembari meluncurkan driver dan pekerja.Untuk menentukan set tambahan SPARK_DAEMON_JAVA_OPTS, Databricks menyarankan menambahkannya $SPARK_DAEMON_JAVA_OPTS seperti yang ditunjukkan dalam contoh berikut. Ini untuk memastikan agar semua variabel lingkungan terkelola Azure Databricks default juga disertakan.Contoh variabel lingkungan Spark: {"SPARK_WORKER_MEMORY": "28000m", "SPARK_LOCAL_DIRS": "/local_disk0"} atau{"SPARK_DAEMON_JAVA_OPTS": "$SPARK_DAEMON_JAVA_OPTS -Dspark.shuffle.service.enabled=true"} |
init_scripts |
Larik dari InitScriptInfo | Konfigurasi untuk penyimpanan skrip init. Tujuan dapat ditentukan berapa pun jumlahnya. Skrip dijalankan secara berurutan dalam urutan yang disediakan. Jika cluster_log_conf ditentukan, log skrip init dikirimkan ke<destination>/<cluster-ID>/init_scripts. |
instance_pool_id |
STRING |
ID opsional dari pool instans di mana kluster berada. Lihat Referensi konfigurasi kumpulan. |
driver_instance_pool_id |
STRING |
ID opsional dari kumpulan instans yang akan digunakan untuk node driver. Anda juga harus menentukaninstance_pool_id. Lihat API Kumpulan Instans. |
policy_id |
STRING |
ID kebijakan kluster. |
num_workers OR autoscale |
INT32 OR InitScriptInfo |
Jika num_workers, jumlah node pekerja yang seharusnya dimiliki oleh kluster ini. Kluster memiliki satu driver Spark dan eksekutor num_workers dengan total num_workers + 1 node Spark. Ketika membaca properti kluster, bidang ini lebih mencerminkan jumlah pekerja yang diinginkan daripada jumlah pekerja yang sebenarnya. Contohnya, jika kluster diubah ukurannya dari 5 menjadi 10 pekerja, bidang ini diperbarui untuk mencerminkan ukuran target 10 pekerja, sedangkan pekerja yang terdaftar di eksekutor secara bertahap akan meningkat dari 5 ke 10 saat node baru disediakan. Jika menskalakan otomatis, parameter diperlukan untuk secara otomatis menskalakan kluster ke atas dan ke bawah sesuai muatan. Bidang ini bersifat opsional. |
apply_policy_default_values |
BOOLEAN |
Apakah akan menggunakan nilai default kebijakan untuk atribut kluster yang hilang. |
PipelineSettings
Pengaturan untuk penyebaran alur.
| Nama Bidang | Jenis | Deskripsi |
|---|---|---|
id |
STRING |
Pengenal unik untuk alur ini. Pengidentifikasi dibuat oleh sistem Delta Live Tables, dan tidak boleh diberikan saat membuat saluran. |
name |
STRING |
Nama yang mudah digunakan untuk alur ini. Bidang ini bersifat opsional. Secara default, nama alur harus unik. Untuk menggunakan nama duplikat, atur allow_duplicate_names ke true dalam konfigurasi alur. |
storage |
STRING |
Jalur ke direktori DBFS untuk menyimpan titik pemeriksaan dan tabel yang dibuat oleh alur. Bidang ini bersifat opsional. Sistem menggunakan lokasi default jika bidang ini kosong. |
configuration |
Peta STRING:STRING |
Daftar pasangan nilai kunci untuk ditambahkan ke konfigurasi Spark dari kluster yang akan menjalankan alur. Bidang ini bersifat opsional. Elemen harus diformat sebagai pasangan kunci:nilai. |
clusters |
Array PipelinesNewCluster | Serangkaian spesifikasi untuk kluster untuk menjalankan alur. Bidang ini bersifat opsional. Jika ini tidak ditentukan, sistem akan memilih konfigurasi kluster default untuk alur. |
libraries |
Array PipelineLibrary | Notebook yang berisi kode alur dan dependensi apa pun yang diperlukan untuk menjalankan alur. |
target |
STRING |
Nama database untuk data output alur yang bertahan. Lihat Menerbitkan data dari Tabel Langsung Delta ke metastore Apache Hive untuk informasi selengkapnya. |
continuous |
BOOLEAN |
Apakah ini adalah alur yang berkelanjutan. Bidang ini bersifat opsional. Nilai defaultnya adalah false. |
development |
BOOLEAN |
Apakah akan menjalankan alur dalam mode pengembangan. Bidang ini bersifat opsional. Nilai defaultnya adalah false. |
photon |
BOOLEAN |
Apakah akselerasi Photon diaktifkan untuk alur ini. Bidang ini bersifat opsional. Nilai defaultnya adalah false. |
channel |
STRING |
Saluran rilis Tabel Delta Live yang menentukan versi runtime yang akan digunakan untuk alur ini. Nilai yang didukung adalah: * preview untuk menguji alur dengan perubahan yang akan datang pada runtime Tabel Delta Live.* current untuk menggunakan versi runtime Tabel Delta Live saat ini.Bidang ini bersifat opsional. Nilai defaultnya adalah current. |
edition |
STRING |
Edisi produk Tabel Delta Live untuk menjalankan alur: * CORE mendukung beban kerja penyerapan streaming.* PRO juga mendukung beban kerja penyerapan streaming dan menambahkan dukungan untuk pemrosesan pengambilan data perubahan (CDC).* ADVANCED mendukung semua fitur edisi PRO dan menambahkan dukungan untuk beban kerja yang memerlukan ekspektasi Tabel Delta Live untuk menerapkan batasan kualitas data.Bidang ini bersifat opsional. Nilai defaultnya adalah advanced. |
PipelineStateInfo
Status alur, status pembaruan terbaru, dan informasi tentang sumber daya terkait.
| Nama Bidang | Jenis | Deskripsi |
|---|---|---|
state |
STRING |
Status alur. Salah satu dari IDLE atau RUNNING. |
pipeline_id |
STRING |
Pengidentifikasi unik dari alur. |
cluster_id |
STRING |
Pengidentifikasi unik dari kluster yang menjalankan alur. |
name |
STRING |
Nama alur yang mudah digunakan. |
latest_updates |
Array UpdateStateInfo | Status pembaruan terbaru untuk alur, diurutkan dengan pembaruan terbaru terlebih dahulu. |
creator_user_name |
STRING |
Nama pengguna pembuat alur. |
run_as_user_name |
STRING |
Nama pengguna yang digunakan untuk menjalankan alur. Ini adalah nilai hanya baca yang diturunkan dari pemilik alur. |
UpdateStateInfo
Status pembaruan alur saat ini.
| Nama Bidang | Jenis | Deskripsi |
|---|---|---|
update_id |
STRING |
Pengidentifikasi unik untuk pembaruan ini. |
state |
STRING |
Status pembaruan. Salah satu dari QUEUED, CREATED,WAITING_FOR_RESOURCES, , INITIALIZINGRESETTING,SETTING_UP_TABLES, , RUNNINGSTOPPING, , COMPLETED,FAILED, atau CANCELED. |
creation_time |
STRING |
Stempel waktu saat pembaruan ini dibuat. |
WorkspaceStorageInfo
Informasi penyimpanan ruang kerja.
| Nama Bidang | Jenis | Deskripsi |
|---|---|---|
destination |
STRING |
Tujuan file. Contoh: /Users/someone@domain.com/init_script.sh |
Saran dan Komentar
Segera hadir: Sepanjang tahun 2024 kami akan menghentikan penggunaan GitHub Issues sebagai mekanisme umpan balik untuk konten dan menggantinya dengan sistem umpan balik baru. Untuk mengetahui informasi selengkapnya, lihat: https://aka.ms/ContentUserFeedback.
Kirim dan lihat umpan balik untuk