Pengklasifikasi kustom

Important

Fitur ini ada di Beta. Admin ruang kerja dapat mengontrol akses ke fitur ini dari halaman Pratinjau . Lihat Kelola Pratinjau Azure Databricks.

Halaman ini menjelaskan cara membuat dan mengelola pengklasifikasi kustom untuk Klasifikasi Databricks di Unity Catalog. Pengklasifikasi kustom memperluas sistem klasifikasi bawaan sehingga Anda dapat mendeteksi data sensitif yang khusus untuk organisasi Anda, seperti ID karyawan internal, kode produk kepemilikan, pengidentifikasi vendor, atau nomor akun mitra.

Untuk membuat pengklasifikasi kustom, Anda terlebih dahulu memilih tag yang diatur. Kemudian, jelaskan data yang akan dideteksi, berikan kolom sampel yang berisi nilai representatif, atau keduanya. Azure Databricks menghasilkan pratinjau apa yang dideteksi pengklasifikasi sehingga Anda dapat meninjaunya sebelum menyimpannya. Klasifikasi Data kemudian mendeteksi pengklasifikasi ini selama pemindaian regulernya.

Note

Pengklasifikasi khusus mendeteksi data sensitif pada tingkat kolom selama pemindaian klasifikasi. Untuk menetapkan tag yang diatur ke seluruh tabel dan volume, seperti tingkat sensitivitas tingkat tabel, otomatiskan penugasan tag (beta) sebagai gantinya.

Dengan menggunakan pengklasifikasi kustom, Anda dapat:

  • Menandai data khusus organisasi: Mendeteksi dan mengonfigurasi pemberian tag otomatis untuk jenis data yang unik untuk organisasi Anda, seperti ID karyawan, kode mitra, atau nomor akun internal.
  • Memperluas kontrol tata kelola: Menerapkan masker tingkat kolom ABAC ke data sensitif.

Note

Konfigurasi pengklasifikasi kustom dan metadata deteksi yang Azure Databricks hasilkan dari kolom sampel Anda dienkripsi saat tidak aktif. Anda dapat menggunakan kunci yang dikelola pelanggan (CMK) pada katalog sistem Anda untuk mengelola kunci enkripsi. Mengonfigurasi CMK pada katalog sistem mengenkripsi semua data dalam katalog sistem, bukan hanya data pengklasifikasi kustom.

Konfigurasikan kunci yang dikelola pelanggan pada katalog sistem di Catalog Explorer.

Requirements

  • Klasifikasi Data harus diaktifkan pada setidaknya satu katalog di metastore. Lihat Menggunakan klasifikasi data.
  • Ruang kerja Anda harus memiliki komputasi tanpa server yang tersedia (diaktifkan secara default di ruang kerja dengan Katalog Unity).
  • Untuk membuat, mengedit, atau menghapus pengklasifikasi kustom, Anda harus menjadi admin metastore.
  • Untuk membuat atau mengedit pengklasifikasi kustom, Anda harus memiliki ASSIGN hak istimewa pada tag yang diatur yang digunakan pengklasifikasi. Lihat Mengelola izin pada tag yang diatur.
  • Untuk memilih kolom sampel untuk pengklasifikasi, Anda harus memiliki SELECT pada tabel yang berisinya. Azure Databricks mengambil sampel dari kolom untuk menghasilkan pratinjau.

Membuat pengklasifikasi kustom

  1. Dari halaman hasil Klasifikasi Data, klik Kelola pengklasifikasi kustom.

    Tombol Kelola pengklasifikasi kustom di halaman hasil Klasifikasi Data.

  2. Di panel sisi Pengklasifikasi kustom , klik Tambahkan pengklasifikasi.

  3. Pilih tag. Pilih tag yang dikelola yang sudah ada, atau buat tag baru untuk mendefinisikannya secara langsung. Jika tag memiliki nilai yang diizinkan, pilih nilai tertentu yang ingin Anda deteksi.

    Wizard “Tambahkan pengklasifikasi kustom” dengan langkah Pilih tag yang aktif, menampilkan pemilih tag terkelola di atas langkah Tentukan pengklasifikasi dan Hasilkan pengklasifikasi yang diciutkan.

  4. Tentukan pengklasifikasi. Berikan deskripsi, contoh kolom, atau keduanya agar Azure Databricks mengetahui apa yang perlu dipindai:

    • Di Jelaskan cara mengklasifikasikan, jelaskan data yang akan dideteksi dalam bahasa biasa, seperti Columns that store a person's contact details.
    • Di bawah Pilih kolom data sampel, telusuri pohon katalog dan pilih hingga 10 kolom yang berisi nilai representatif untuk kelas tersebut.

    Untuk cara menulis deskripsi yang efektif dan memilih kolom sampel yang baik, lihat Menentukan pengklasifikasi.

    Langkah Tentukan pengklasifikasi pada wizard Tambahkan pengklasifikasi kustom, yang menampilkan bidang Jelaskan cara mengklasifikasikan teks di atas browser katalog Pilih kolom data sampel dengan dua kolom yang dipilih.

  5. Buat pengklasifikasi. Azure Databricks menghasilkan pratinjau tentang apa yang dideteksi oleh pengklasifikasi. Untuk menyesuaikan hasilnya, edit deskripsi atau kolom sampel dan pratinjau diregenerasi. Lihat Pratinjau klasifikasi.

    Langkah Hasilkan pengklasifikasi pada wizard Tambahkan Pengklasifikasi Kustom, yang menampilkan pratinjau Pengklasifikasi yang dihasilkan dengan ringkasan dalam bahasa yang mudah dipahami dan kartu contoh kolom yang mencantumkan nama kolom serta nilai contoh.

  6. Klik Buat. Tombol ini tetap dinonaktifkan hingga pratinjau dibuat.

Deteksi dari pengklasifikasi kustom biasanya muncul di halaman hasil dalam beberapa jam.

Tentukan pengklasifikasi

Anda menentukan pengklasifikasi kustom dengan deskripsi, kolom sampel, atau keduanya.

Deskripsi Anda menjelaskan apa yang diwakili data, dan secara langsung memengaruhi bagaimana Azure Databricks menghasilkan pengklasifikasi. Anda dapat menggunakan deskripsi untuk mengajarkan Azure Databricks menyertakan atau mengecualikan kecocokan (misalnya, "nomor telepon milik pelanggan individual, bukan dukungan publik atau jalur penjualan").

Kolom sampel membantu Azure Databricks mempelajari bentuk data yang akan diambil sampelnya. Anda memerlukan SELECT hak istimewa pada tabel untuk menggunakan kolomnya sebagai sampel.

Pengklasifikasi kustom berlaku untuk semua katalog di metastore yang mengaktifkan Klasifikasi Data. Pencakupan per katalog atau per skema tidak didukung.

Pratinjau pengklasifikasi

Sebelum Anda menyimpan pengklasifikasi kustom, Azure Databricks menghasilkan pratinjau sehingga Anda dapat memverifikasi aturan deteksinya. Pratinjau menjelaskan apa yang dideteksi pengklasifikasi dalam bahasa yang sederhana dan menampilkan contoh nama kolom dan nilai yang sesuai.

Kolom dan nilai dalam pratinjau adalah contoh yang dihasilkan AI, bukan data tabel nyata. Jika pratinjau tidak cocok dengan apa yang ingin Anda deteksi, edit deskripsi atau kolom sampel untuk menghasilkan pratinjau baru.

Mengelola pengklasifikasi kustom

Panel samping Pengklasifikasi kustom menampilkan semua pengklasifikasi kustom yang dikonfigurasi untuk metastore. Dari panel ini, Anda dapat mencari berdasarkan nama tag, mengedit pengklasifikasi yang ada, atau menghapus pengklasifikasi.

Daftar klasifier kustom di panel samping Klasifier kustom.

Mengedit pengklasifikasi kustom

Untuk memperbarui pengklasifikasi kustom yang ada:

  1. Di panel sisi Pengklasifikasi kustom, pilih pengklasifikasi kustom yang ingin Anda edit. Tampilan edit memperlihatkan deskripsi tersimpan, kolom sampel, dan pratinjau pengklasifikasi.
  2. Edit deskripsi, atau tambahkan atau hapus kolom sampel. Azure Databricks membuat ulang pratinjau secara otomatis.
  3. Jika pratinjau sudah benar, klik Perbarui.

Deteksi yang ada dari konfigurasi sebelumnya tetap ada.

Tag yang dikelola dan nilai tag tidak dapat diubah setelah klasifikator kustom dibuat. Untuk beralih ke tag lain, hapus pengklasifikasi kustom dan buat yang baru.

Menghapus pengklasifikasi kustom

  1. Di panel sisi Pengklasifikasi kustom, pilih pengklasifikasi kustom yang ingin Anda hapus.
  2. Klik Hapus.
  3. Konfirmasikan Penghapusan.

Saat Anda menghapus pengklasifikasi kustom:

  • Tidak ada deteksi baru yang dihasilkan oleh pengklasifikasi tersebut.
  • Deteksi yang ada dihapus dari halaman hasil Klasifikasi Data.
  • Tag yang sudah diterapkan secara otomatis ke kolom tidak dihapus secara otomatis.

Lihat deteksi pengklasifikasi kustom

Untuk melihat deteksi pengklasifikasi kustom, ikuti langkah yang sama seperti untuk klasifikasi bawaan. Lihat Melihat hasil klasifikasi.

Keterbatasan

  • Anda dapat membuat maksimal 50 pengklasifikasi kustom per metastore.
  • Setiap pengklasifikasi kustom harus memiliki deskripsi, kolom sampel, atau keduanya. Anda dapat mereferensikan maksimal 10 kolom sampel.
  • Penamaan tag yang diatur tunduk pada aturan Kebijakan Tag.
  • Pengklasifikasi kustom berlaku untuk semua katalog berkemampuan Klasifikasi Data di metastore. Pencakupan per katalog atau per skema tidak didukung.
  • Tag yang diatur yang digunakan oleh pengklasifikasi kustom tidak dapat diubah setelah pembuatan. Untuk menggunakan tag yang berbeda, hapus dan buat ulang pengklasifikasi kustom.
  • Pengklasifikasi kustom baru dan yang diperbarui hanya berlaku untuk pemindaian Klasifikasi Data berikutnya. Hasil pemindaian yang ada tidak secara otomatis diklasifikasi ulang, sehingga deteksi untuk data yang dipindai sebelumnya muncul setelah pemindaian berikutnya selesai.
  • Semua batasan Klasifikasi Data juga berlaku untuk pengklasifikasi kustom, termasuk jenis tabel yang didukung. Lihat Batasan.

Troubleshooting

Topik berikut membantu Anda memecahkan masalah umum dengan pengklasifikasi kustom.

Klasifikator kustom ditangguhkan

Jika pengklasifikasi kustom tidak dapat lagi menghasilkan deteksi, Azure Databricks menangguhkannya dan menampilkan peringatan di halaman hasil Klasifikasi Data. Peringatan menyatakan alasannya. Pengklasifikasi kustom yang ditangguhkan tidak menghasilkan deteksi baru.

Peringatan yang menunjukkan bahwa satu atau beberapa klasifikator kustom ditangguhkan.

Azure Databricks menangguhkan pengklasifikasi kustom karena alasan berikut:

  • Tag yang dikelola tidak lagi valid. Nilai tag atau tag yang diatur dihapus, atau tag tidak memiliki nilai yang diperlukan. Pulihkan tag atau nilai, atau hapus pengklasifikasi kustom dan buat yang baru dengan tag yang valid. Mengedit deskripsi atau kolom sampel tidak mengatasi penangguhan ini.
  • Azure Databricks tidak dapat menghasilkan aturan deteksi dari deskripsi dan kolom sampel yang Anda berikan. Edit pengklasifikasi kustom untuk memperbaiki deskripsi atau mengganti kolom sampel yang tidak dapat diakses atau tidak representatif, lalu simpan untuk meregenerasi pengklasifikasi.

Izin ditolak saat membuat atau mencantumkan pengklasifikasi kustom

Anda harus menjadi admin metastore. Membuat atau mengedit pengklasifikasi ASSIGN kustom juga memerlukan hak istimewa pada tag yang diatur. Lihat Persyaratan.

Tidak dapat memilih kolom sampel

Anda harus memiliki SELECT pada tabel yang berisi kolom . Jika Anda tidak memiliki SELECT pada tabel tersebut, minta pemilik tabel untuk memberikannya kepada Anda, atau pilih kolom lain.

Sumber daya tambahan

  • Last updated on