grup perintah data-quality

Nota

Informasi ini berlaku untuk Databricks CLI versi 0.205 ke atas. Databricks CLI ada di Pratinjau Publik.

Penggunaan Databricks CLI tunduk pada Lisensi Databricks dan Pemberitahuan Privasi Databricks, termasuk ketentuan Data Penggunaan apa pun.

data-quality Grup perintah dalam Databricks CLI berisi perintah untuk mengelola kualitas data objek Katalog Unity. Lihat Pemantauan kualitas data.

penyegaran batal kualitas data databricks

Batalkan refresh monitor kualitas data. Saat ini hanya didukung untuk tabel object_type. Panggilan harus dilakukan di ruang kerja yang sama dengan tempat monitor dibuat.

Pemanggil harus memiliki salah satu set izin berikut:

  1. KELOLA dan USE_CATALOG pada katalog induk tabel.
  2. USE_CATALOG pada katalog induk tabel, serta KELOLA dan USE_SCHEMA pada skema induk tabel.
  3. USE_CATALOG pada katalog induk tabel, USE_SCHEMA pada skema induk tabel, dan KELOLA pada tabel.
databricks data-quality cancel-refresh OBJECT_TYPE OBJECT_ID REFRESH_ID [flags]

Arguments

OBJECT_TYPE

    Jenis objek yang dipantau. Dapat berupa salah satu hal berikut: schema atau table.

OBJECT_ID

    UUID objek permintaan. Ini schema_id untuk skema, dan table_id untuk tabel.

     schema_id Temukan dari: (1) Schema_id sumber daya Skema. (2) Di Catalog Explorer → pilih → skema masuk ke tab Detail → bidang ID Skema.

     table_id Temukan dari: (1) Table_id sumber daya Tabel. (2) Di Catalog Explorer → pilih tabel → masuk ke tab Detail → bidang ID Tabel.

REFRESH_ID

    Id unik operasi refresh.

Opsi

Bendera global

Contoh

Contoh berikut membatalkan operasi refresh:

databricks data-quality cancel-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 refresh-12345

databricks data-quality create-monitor

Buat monitor kualitas data pada objek Katalog Unity. Pemanggil harus menyediakan monitor anomaly_detection_config skema atau data_profiling_config untuk pemantau tabel.

Untuk tabel object_type, pemanggil harus memiliki salah satu set izin berikut:

  1. KELOLA dan USE_CATALOG pada katalog induk tabel, USE_SCHEMA pada skema induk tabel, dan SELECT pada tabel.
  2. USE_CATALOG pada katalog induk tabel, KELOLA dan USE_SCHEMA pada skema induk tabel, dan SELECT pada tabel.
  3. USE_CATALOG pada katalog induk tabel, USE_SCHEMA pada skema induk tabel, serta KELOLA dan SELECT pada tabel.

Aset ruang kerja, seperti dasbor, akan dibuat di ruang kerja tempat panggilan ini dilakukan.

Untuk object_type skema, pemanggil harus memiliki salah satu set izin berikut:

  1. KELOLA dan USE_CATALOG pada katalog induk skema.
  2. USE_CATALOG pada katalog induk skema, serta KELOLA dan USE_SCHEMA pada skema.
databricks data-quality create-monitor OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

    Jenis objek yang dipantau. Dapat berupa salah satu hal berikut: schema atau table.

OBJECT_ID

    UUID objek permintaan. Ini schema_id untuk skema, dan table_id untuk tabel.

     schema_id Temukan dari: (1) Schema_id sumber daya Skema. (2) Di Catalog Explorer → pilih → skema masuk ke tab Detail → bidang ID Skema.

     table_id Temukan dari: (1) Table_id sumber daya Tabel. (2) Di Catalog Explorer → pilih tabel → masuk ke tab Detail → bidang ID Tabel.

Opsi

--json JSON

    String JSON sebaris atau @path ke file JSON dengan isi permintaan

Bendera global

Contoh

Contoh berikut membuat monitor kualitas data untuk tabel:

databricks data-quality create-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --json '{"data_profiling_config": {"enabled": true}}'

Contoh berikut membuat monitor menggunakan file JSON:

databricks data-quality create-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --json @monitor-config.json

refresh-buat kualitas databricks

Buat refresh. Panggilan harus dilakukan di ruang kerja yang sama dengan tempat monitor dibuat.

Pemanggil harus memiliki salah satu set izin berikut:

  1. KELOLA dan USE_CATALOG pada katalog induk tabel.
  2. USE_CATALOG pada katalog induk tabel, serta KELOLA dan USE_SCHEMA pada skema induk tabel.
  3. USE_CATALOG pada katalog induk tabel, USE_SCHEMA pada skema induk tabel, dan KELOLA pada tabel.
databricks data-quality create-refresh OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

    Jenis objek yang dipantau. Dapat berupa salah satu hal berikut: schema atau table.

OBJECT_ID

    UUID objek permintaan. Ini schema_id untuk skema, dan table_id untuk tabel.

     schema_id Temukan dari: (1) Schema_id sumber daya Skema. (2) Di Catalog Explorer → pilih → skema masuk ke tab Detail → bidang ID Skema.

     table_id Temukan dari: (1) Table_id sumber daya Tabel. (2) Di Catalog Explorer → pilih tabel → masuk ke tab Detail → bidang ID Tabel.

Opsi

--json JSON

    String JSON sebaris atau @path ke file JSON dengan isi permintaan

Bendera global

Contoh

Contoh berikut membuat refresh untuk pemantau tabel:

databricks data-quality create-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890

Contoh berikut membuat refresh menggunakan JSON:

databricks data-quality create-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --json '{}'

databricks data-quality delete-monitor

Hapus monitor kualitas data pada objek Katalog Unity.

Untuk tabel object_type, pemanggil harus memiliki salah satu set izin berikut:

  1. KELOLA dan USE_CATALOG pada katalog induk tabel.
  2. USE_CATALOG pada katalog induk tabel, serta KELOLA dan USE_SCHEMA pada skema induk tabel.
  3. USE_CATALOG pada katalog induk tabel, USE_SCHEMA pada skema induk tabel, dan KELOLA pada tabel.

Penting

Tabel metrik dan dasbor tidak akan dihapus sebagai bagian dari panggilan ini; aset tersebut harus dibersihkan secara manual (jika diinginkan).

Untuk object_type skema, pemanggil harus memiliki salah satu set izin berikut:

  1. KELOLA dan USE_CATALOG pada katalog induk skema.
  2. USE_CATALOG pada katalog induk skema, serta KELOLA dan USE_SCHEMA pada skema.
databricks data-quality delete-monitor OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

    Jenis objek yang dipantau. Dapat berupa salah satu hal berikut: schema atau table.

OBJECT_ID

    UUID objek permintaan. Ini schema_id untuk skema, dan table_id untuk tabel.

     schema_id Temukan dari: (1) Schema_id sumber daya Skema. (2) Di Catalog Explorer → pilih → skema masuk ke tab Detail → bidang ID Skema.

     table_id Temukan dari: (1) Table_id sumber daya Tabel. (2) Di Catalog Explorer → pilih tabel → masuk ke tab Detail → bidang ID Tabel.

Opsi

Bendera global

Contoh

Contoh berikut menghapus monitor kualitas data:

databricks data-quality delete-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890

get-monitor kualitas databricks

Baca monitor kualitas data pada objek Katalog Unity.

Untuk tabel object_type, pemanggil harus memiliki salah satu set izin berikut:

  1. KELOLA dan USE_CATALOG pada katalog induk tabel.
  2. USE_CATALOG pada katalog induk tabel, serta KELOLA dan USE_SCHEMA pada skema induk tabel.
  3. USE_CATALOG pada katalog induk tabel, USE_SCHEMA pada skema induk tabel, dan SELECT pada tabel.

Untuk object_type skema, pemanggil harus memiliki salah satu set izin berikut:

  1. KELOLA dan USE_CATALOG pada katalog induk skema.
  2. USE_CATALOG pada katalog induk skema, dan USE_SCHEMA pada skema.

Informasi yang dikembalikan mencakup nilai konfigurasi pada entitas dan entitas induk serta informasi tentang aset yang dibuat oleh monitor. Beberapa informasi (misalnya dasbor) dapat difilter jika pemanggil berada di ruang kerja yang berbeda dari tempat monitor dibuat.

databricks data-quality get-monitor OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

    Jenis objek yang dipantau. Dapat berupa salah satu hal berikut: schema atau table.

OBJECT_ID

    UUID objek permintaan. Ini schema_id untuk skema, dan table_id untuk tabel.

     schema_id Temukan dari: (1) Schema_id sumber daya Skema. (2) Di Catalog Explorer → pilih → skema masuk ke tab Detail → bidang ID Skema.

     table_id Temukan dari: (1) Table_id sumber daya Tabel. (2) Di Catalog Explorer → pilih tabel → masuk ke tab Detail → bidang ID Tabel.

Opsi

Bendera global

Contoh

Contoh berikut mendapatkan informasi tentang monitor kualitas data:

databricks data-quality get-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890

penyegaran get-refresh kualitas data databricks

Dapatkan informasi refresh monitor kualitas data. Panggilan harus dilakukan di ruang kerja yang sama dengan tempat monitor dibuat.

Untuk tabel object_type, pemanggil harus memiliki salah satu set izin berikut:

  1. KELOLA dan USE_CATALOG pada katalog induk tabel.
  2. USE_CATALOG pada katalog induk tabel, serta KELOLA dan USE_SCHEMA pada skema induk tabel.
  3. USE_CATALOG pada katalog induk tabel, USE_SCHEMA pada skema induk tabel, dan SELECT pada tabel.

Untuk object_type skema, pemanggil harus memiliki salah satu set izin berikut:

  1. KELOLA dan USE_CATALOG pada katalog induk skema.
  2. USE_CATALOG pada katalog induk skema, dan USE_SCHEMA pada skema.
databricks data-quality get-refresh OBJECT_TYPE OBJECT_ID REFRESH_ID [flags]

Arguments

OBJECT_TYPE

    Jenis objek yang dipantau. Dapat berupa salah satu hal berikut: schema atau table.

OBJECT_ID

    UUID objek permintaan. Ini schema_id untuk skema, dan table_id untuk tabel.

     schema_id Temukan dari: (1) Schema_id sumber daya Skema. (2) Di Catalog Explorer → pilih → skema masuk ke tab Detail → bidang ID Skema.

     table_id Temukan dari: (1) Table_id sumber daya Tabel. (2) Di Catalog Explorer → pilih tabel → masuk ke tab Detail → bidang ID Tabel.

REFRESH_ID

    Id unik operasi refresh.

Opsi

Bendera global

Contoh

Contoh berikut mendapatkan informasi tentang refresh:

databricks data-quality get-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 refresh-12345

databricks data-quality list-refresh

Mencantumkan refresh monitor kualitas data. Panggilan harus dilakukan di ruang kerja yang sama dengan tempat monitor dibuat.

Untuk tabel object_type, pemanggil harus memiliki salah satu set izin berikut:

  1. KELOLA dan USE_CATALOG pada katalog induk tabel.
  2. USE_CATALOG pada katalog induk tabel, serta KELOLA dan USE_SCHEMA pada skema induk tabel.
  3. USE_CATALOG pada katalog induk tabel, USE_SCHEMA pada skema induk tabel, dan SELECT pada tabel.

Untuk object_type skema, pemanggil harus memiliki salah satu set izin berikut:

  1. KELOLA dan USE_CATALOG pada katalog induk skema.
  2. USE_CATALOG pada katalog induk skema, dan USE_SCHEMA pada skema.
databricks data-quality list-refresh OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

    Jenis objek yang dipantau. Dapat berupa salah satu hal berikut: schema atau table.

OBJECT_ID

    UUID objek permintaan. Ini schema_id untuk skema, dan table_id untuk tabel.

     schema_id Temukan dari: (1) Schema_id sumber daya Skema. (2) Di Catalog Explorer → pilih → skema masuk ke tab Detail → bidang ID Skema.

     table_id Temukan dari: (1) Table_id sumber daya Tabel. (2) Di Catalog Explorer → pilih tabel → masuk ke tab Detail → bidang ID Tabel.

Opsi

--page-size int

    Jumlah maksimum refresh untuk dikembalikan per halaman.

--page-token string

    Token untuk memperoleh halaman hasil berikutnya.

Bendera global

Contoh

Contoh berikut mencantumkan semua refresh untuk monitor:

databricks data-quality list-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890

Contoh berikut mencantumkan refresh dengan penomoran halaman:

databricks data-quality list-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --page-size 10

databricks data-quality update-monitor

Perbarui monitor kualitas data pada objek Katalog Unity.

Untuk tabel object_type, pemanggil harus memiliki salah satu set izin berikut:

  1. KELOLA dan USE_CATALOG pada katalog induk tabel.
  2. USE_CATALOG pada katalog induk tabel, serta KELOLA dan USE_SCHEMA pada skema induk tabel.
  3. USE_CATALOG pada katalog induk tabel, USE_SCHEMA pada skema induk tabel, dan KELOLA pada tabel.

Untuk object_type skema, pemanggil harus memiliki salah satu set izin berikut:

  1. KELOLA dan USE_CATALOG pada katalog induk skema.
  2. USE_CATALOG pada katalog induk skema, serta KELOLA dan USE_SCHEMA pada skema.
databricks data-quality update-monitor OBJECT_TYPE OBJECT_ID UPDATE_MASK OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

    Jenis objek yang dipantau. Dapat berupa salah satu hal berikut: schema atau table.

OBJECT_ID

    UUID objek permintaan. Ini schema_id untuk skema, dan table_id untuk tabel.

UPDATE_MASK

    Masker bidang untuk menentukan bidang mana yang akan diperbarui sebagai daftar yang dipisahkan koma. Contoh nilai: data_profiling_config.custom_metrics,data_profiling_config.schedule.quartz_cron_expression.

Opsi

--json JSON

    String JSON sebaris atau @path ke file JSON dengan isi permintaan

Bendera global

Contoh

Contoh berikut memperbarui konfigurasi monitor:

databricks data-quality update-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 "data_profiling_config.schedule.quartz_cron_expression" table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --json '{"data_profiling_config": {"schedule": {"quartz_cron_expression": "0 0 12 * * ?"}}}'

Bendera global

Bendera dunia

--debug

  Apakah debug logging ingin diaktifkan?

-h atau --help

    Tampilkan bantuan untuk Databricks CLI atau grup perintah terkait atau perintah terkait.

--log-file tali

    String yang mewakili file yang akan digunakan untuk menulis log output. Jika bendera ini tidak ditentukan, maka defaultnya adalah menulis log output ke stderr.

--log-format Format

    Jenis format log, text atau json. Nilai defaultnya adalah text.

--log-level tali

    Untaian yang menggambarkan tingkat format log. Jika tidak ditentukan, maka tingkat format log akan dinonaktifkan.

-o, --output jenis

    Jenis output perintah, text atau json. Nilai defaultnya adalah text.

-p, --profile tali

    Nama profil dalam file ~/.databrickscfg yang digunakan untuk menjalankan perintah. Jika bendera ini tidak ditentukan maka jika ada, profil bernama DEFAULT digunakan.

--progress-format Format

    Format untuk menampilkan log kemajuan: default, , append, inplaceatau json

-t, --target tali

    Jika berlaku, target bundel yang akan digunakan