Panduan penyiapan Katalog Unity

Halaman ini membahas penyiapan Katalog Unity awal untuk admin ruang kerja di ruang kerja Azure Databricks baru, termasuk:

  • Mengonfirmasi bahwa ruang kerja Anda diaktifkan untuk Katalog Unity
  • Mengelola akses dan identitas ruang kerja
  • Membuat sumber daya komputasi yang mematuhi Katalog Unity
  • Membuat katalog dan skema untuk data Anda
  • Memberi pengguna hak istimewa yang mereka butuhkan

Sebelum Anda mulai

Sebelum memulai, biasakan diri Anda dengan konsep Unity Catalog berikut:

  • Metastore: Kontainer Unity Catalog tingkat atas, tercakup ke satu wilayah cloud. Ini menyimpan semua objek yang dapat diamankan: katalog, kredensial penyimpanan, lokasi eksternal, dan banyak lagi. Lihat Metastore.
  • Katalog: Objek kontainer data tingkat tertinggi dalam metastore. Katalog menyimpan skema, yang pada gilirannya berisi tabel, tampilan, volume, dan fungsi. Lihat Katalog.
  • Peran admin: Unity Catalog memiliki tiga peran admin utama, admin akun, admin ruang kerja, dan admin metastore, masing-masing dengan cakupan dan tanggung jawab yang berbeda. Lihat Hak istimewa admin di Katalog Unity.

Anda juga memerlukan hal berikut:

  • Ruang kerja Azure Databricks pada paket Premium.
  • Hak istimewa admin ruang kerja. Anda mungkin memerlukan hak istimewa admin akun dalam kasus berikut:
    • Jika ruang kerja Anda belum memiliki sumber daya komputasi, Anda memerlukan hak istimewa admin akun untuk memverifikasi bahwa Katalog Unity diaktifkan melalui konsol akun di Langkah 1: Konfirmasikan bahwa ruang kerja Anda diaktifkan untuk Katalog Unity.
    • Jika ruang kerja Anda tidak ditautkan ke metastore Unity Catalog, Anda memerlukan hak istimewa admin akun untuk menautkannya.
    • Jika metastore tidak ada, Anda memerlukan hak istimewa admin akun untuk membuatnya.

Langkah 1: Konfirmasikan bahwa ruang kerja Anda diaktifkan untuk Unity Catalog

Gunakan salah satu metode berikut untuk mengonfirmasi bahwa ruang kerja Anda dilampirkan ke metastore Unity Catalog.

Gunakan konsol akun

Metode ini memerlukan hak istimewa admin akun.

  1. Sebagai admin akun Azure Databricks, masuk ke konsol akun.
  2. Klik ikon Ruang Kerja.Ruang kerja.
  3. Temukan ruang kerja Anda dan periksa kolom Metastore. Jika ada nama metastore, ruang kerja Anda diaktifkan untuk Katalog Unity.

Menjalankan kueri SQL

Metode ini tidak memerlukan hak istimewa admin, tetapi memerlukan sumber daya komputasi yang mematuhi Katalog Unity. Langkah 3: Membuat komputasi yang mematuhi Katalog Unity memandu Anda membuat sumber daya komputasi yang sesuai dengan UC.

Jalankan perintah berikut di editor kueri SQL atau buku catatan yang dilampirkan ke sumber daya komputasi:

SELECT CURRENT_METASTORE();

Jika kueri mengembalikan ID metastore, berarti ruang kerja Anda telah diaktifkan dengan Unity Catalog.

Output metastore saat ini

Jika ruang kerja Anda tidak diaktifkan untuk Katalog Unity, lihat Mutakhirkan ruang kerja Azure Databricks ke Katalog Unity.

Langkah 2: Mengelola akses dan identitas ruang kerja

Admin ruang kerja dapat menambahkan pengguna dan grup, menetapkan peran admin, dan mengelola perwakilan layanan.

Menambahkan pengguna

Tambahkan pengguna individual yang memerlukan akses ke ruang kerja ini. Untuk petunjuknya, lihat Mengelola pengguna.

Mengatur pengguna ke dalam grup

Databricks merekomendasikan pengelolaan akses melalui grup daripada pengguna individual. Memberikan hak istimewa kepada sebuah grup akan menerapkannya kepada semua anggotanya, sehingga mengurangi beban administratif seiring pertumbuhan tim Anda.

  • Jika organisasi Anda sudah memiliki grup di Penyedia Identitas (IdP): Menyinkronkannya ke Azure Databricks menggunakan manajemen identitas otomatis atau provisi SCIM sehingga keanggotaan grup tetap sinkron secara otomatis. Lihat Manajemen identitas otomatis.
  • Jika Anda belum memiliki grup: Sebagai admin ruang kerja, buat grup tingkat akun dengan membuka Pengaturan>Identitas dan akses>Kelola di samping Grup. Lihat bagian Kelola grup.

Menetapkan peran admin

Admin ruang kerja dapat melakukan sebagian besar tugas administratif sehari-hari: menambahkan dan menghapus pengguna, mengelola komputasi, mengonfigurasi pengaturan ruang kerja, dan memberikan akses ke data. Peran ini sesuai untuk anggota platform data pusat atau tim IT yang bertanggung jawab untuk memelihara ruang kerja. Selektiflah tentang siapa yang menerima peran ini. Admin ruang kerja memiliki akses luas ke sumber daya dan pengaturan ruang kerja.

Biasanya, peran admin ruang kerja adalah satu-satunya peran administrator yang perlu Anda tetapkan. Secara opsional, Anda dapat menetapkan admin metastore untuk kasus penggunaan khusus. Misalnya, Anda dapat menetapkan peran ini ke tim tata kelola data khusus atau sekelompok kecil insinyur platform senior jika Anda perlu:

  • Delegasikan pembuatan katalog kepada admin di luar ruang kerja.
  • Kelola skrip init dan daftar izin JAR.
  • Menerima data bersama melalui OpenSharing.
  • Mentransfer kepemilikan objek saat anggota tim pergi.

Untuk petunjuk tentang menetapkan peran ini, lihat Hak istimewa admin di Katalog Unity.

Langkah 3: Membuat komputasi yang mematuhi Katalog Unity

Untuk menjalankan beban kerja Unity Catalog, sumber daya komputasi harus memenuhi persyaratan keamanan Katalog Unity. Tabel berikut ini memperlihatkan jenis komputasi mana yang sesuai:

Jenis komputasi Kompatibel dengan UC
Gudang SQL Yes
Komputasi nirserver (buku catatan, tugas, alur kerja) Yes
Kluster — Mode akses pengguna tunggal Yes
Kluster — Mode akses bersama Yes
Kluster — Mode akses bersama tanpa isolasi No

Untuk membuat komputasi yang sesuai dengan UC:

Sebagai admin ruang kerja, Anda dapat membatasi pembuatan kluster hanya untuk admin, atau menggunakan kebijakan kluster untuk memungkinkan pengguna membuat kluster yang mematuhi Katalog Unity mereka sendiri. Lihat Izin komputasi dan Membuat dan mengelola kebijakan komputasi.

Langkah 4: Membuat katalog dan skema

Katalog adalah unit utama isolasi data di Unity Catalog. Semua skema, tabel, volume, tampilan, dan fungsi hidup dalam katalog.

Kapan membuat katalog baru

Ruang kerja baru secara otomatis disediakan dengan katalog ruang kerja — secara default, katalog ini dinamai sesuai dengan ruang kerja Anda. Untuk memeriksa apakah Anda memiliki katalog ruang kerja, klik Ikon data.Katalog di bar samping dan cari katalog yang cocok dengan nama ruang kerja Anda. Jika ada, Anda mungkin tidak perlu segera membuat katalog tambahan.

Seiring waktu, pertimbangkan untuk membuat katalog baru seiring meningkatnya penggunaan, yang diatur berdasarkan batasan logis seperti:

  • Tim atau unit bisnis: katalog terpisah untuk teknik, keuangan, dan pemasaran
  • Lingkungan: katalog dev, staging, dan prod yang terpisah untuk memisahkan data pengembangan dari data produksi
  • Proyek: katalog khusus per produk atau inisiatif data utama

Jika batas data organisasi Anda sudah ditentukan dengan baik, Anda dapat membuat katalog sekarang.

Membuat katalog

Untuk membuat katalog, jalankan SQL berikut.

CREATE CATALOG IF NOT EXISTS <catalog-name>;

Note

Data terkelola dalam katalog ini disimpan di lokasi penyimpanan terkelola default metastore. Untuk menggunakan lokasi lain, tentukan MANAGED LOCATION. Lihat Menyambungkan ke penyimpanan objek cloud menggunakan Katalog Unity.

Kemudian, buat skema untuk mengatur tabel Anda dan objek data lainnya:

CREATE SCHEMA IF NOT EXISTS <catalog-name>.<schema-name>;

Untuk instruksi terperinci dan cara menggunakan Catalog Explorer, lihat Membuat katalog dan Membuat skema.

Langkah 5: Memberikan hak istimewa kepada pengguna

Di Unity Catalog, pengguna tidak memiliki akses ke data secara default. Admin ruang kerja dapat memberikan hak istimewa untuk objek yang dapat diamankan di seluruh ruang kerja. Databricks merekomendasikan pemberian hak istimewa kepada grup daripada pengguna individual. Ini membuat akses lebih mudah dikelola saat tim Anda tumbuh.

Mengaktifkan penemuan data

Azure Databricks merekomendasikan untuk memberikan hak istimewa BROWSE pada semua katalog ke grup All account users. BROWSE memungkinkan pengguna untuk melihat bahwa objek ada dan melihat metadata mereka di Catalog Explorer tanpa memberikan akses ke data yang mendasar. Ini memungkinkan pengguna Anda untuk menemukan data dan meminta akses tanpa mengharuskan admin untuk memberikan izin terlebih dahulu.

GRANT BROWSE ON CATALOG <catalog-name> TO `account users`;

Memberikan akses data

Untuk mengakses data di Unity Catalog, pengguna biasanya memerlukan hak istimewa khusus untuk operasi (seperti SELECT membaca tabel) dan hak istimewa penggunaan yang sesuai (seperti USE CATALOG pada katalog induk, dan USE SCHEMA pada skema induk). Lihat konsep model izin di Unity Catalog.

Berikan hak istimewa ini hanya kepada pengguna dan grup yang memerlukan akses ke katalog dan skema tertentu. Misalnya, untuk memberikan akses baca-saja ke skema, gunakan SQL berikut:

GRANT USE CATALOG ON CATALOG <catalog-name> TO `<group-name>`;
GRANT USE SCHEMA ON SCHEMA <catalog-name>.<schema-name> TO `<group-name>`;
GRANT SELECT ON SCHEMA <catalog-name>.<schema-name> TO `<group-name>`;

Untuk akses baca-tulis:

GRANT USE CATALOG ON CATALOG <catalog-name> TO `<group-name>`;
GRANT USE SCHEMA ON SCHEMA <catalog-name>.<schema-name> TO `<group-name>`;
GRANT SELECT, MODIFY ON SCHEMA <catalog-name>.<schema-name> TO `<group-name>`;

Pola akses berubah dari waktu ke waktu. Gunakan halaman berikut sebagai referensi saat mengelola hak istimewa di Unity Catalog:

Daftar periksa penyiapan

Jika Anda telah menyelesaikan kelima langkah, Unity Catalog disiapkan di ruang kerja Anda dan pengguna Anda dapat mulai bekerja dengan data. Gunakan daftar periksa berikut untuk mengonfirmasi bahwa semuanya sudah ada:

Langkah berikutnya

Dengan penyiapan Unity Catalog, Anda dapat mulai menerapkan kemampuan tata kelola yang lebih canggih ke ruang kerja Anda.

Kontrol akses berbasis atribut

Kontrol akses berbasis atribut (ABAC) memungkinkan Anda menentukan kebijakan akses dinamis dan halus berdasarkan atribut data dan pengguna yang mengaksesnya. Alih-alih mengelola izin tabel menurut tabel, Anda menulis kebijakan yang secara otomatis menerapkan pemfilteran tingkat baris dan masking tingkat kolom. Misalnya, Anda dapat menyembunyikan kolom sensitif dari pengguna di luar wilayah tertentu atau menutupi PII untuk peran yang tidak istimewa.

Masking kolom ABAC dalam praktik

Klasifikasi data

Klasifikasi data menggunakan agen untuk memindai katalog Anda secara otomatis dan menandai data sensitif seperti PII, informasi keuangan, dan kredensial. Setelah klasifikasi, tag dapat diintegrasikan langsung dengan kebijakan ABAC, memungkinkan Anda menerapkan kontrol tata kelola berdasarkan apa yang sebenarnya dikandung data daripada mengelola objek akses berdasarkan objek.

Hasil klasifikasi data

Pemantauan kualitas data

Pemantauan kualitas data menyediakan deteksi anomali di semua tabel dalam skema dan pembuatan profil data di tingkat tabel. Deteksi anomali secara otomatis memantau kesegaran dan kelengkapan berdasarkan pola data historis, serta menampilkan masalah tanpa konfigurasi manual. Pembuatan profil data menangkap distribusi statistik dari waktu ke waktu, memungkinkan Anda melacak integritas data dan mengatur pemberitahuan untuk perubahan yang tidak terduga.

Dasbor pemantauan kualitas data

Tata kelola AI dengan Unity AI Gateway

Unity AI Gateway memperluas tata kelola Unity Catalog ke AI. Ini menyediakan tata kelola tingkat perusahaan untuk endpoint LLM, agen, dan server MCP, sehingga Anda dapat menerapkan kontrol akses, pencatatan audit, dan observabilitas di seluruh interaksi AI dalam satu UI terpadu.

  • Last updated on