Bagikan melalui

Membuat katalog

  • Artikel

Artikel ini memperlihatkan cara membuat katalog di Katalog Unity. Katalog berisi skema (database), dan skema berisi tabel, tampilan, volume, model, dan fungsi.

Untuk mempelajari selengkapnya tentang katalog, lihat Apa itu katalog di Azure Databricks?.

Catatan

Untuk mempelajari cara membuat katalog asing, objek Katalog Unity yang mencerminkan database dalam sistem data eksternal, lihat Membuat katalog asing. Lihat juga Mengelola dan bekerja dengan katalog asing.

Persyaratan

Untuk membuat katalog, terlepas dari jenis katalog:

  • Anda harus menjadi admin metastore Azure Databricks atau memiliki CREATE CATALOG hak istimewa di metastore.
  • Sumber daya komputasi yang Anda gunakan untuk menjalankan buku catatan untuk membuat katalog harus berada di Databricks Runtime 11.3 atau lebih tinggi dan harus menggunakan mode akses yang mematuhi Katalog Unity. Lihat Mode akses. Gudang SQL selalu mendukung Katalog Unity.

Untuk membuat katalog bersama:

Untuk membuat katalog standar:

  • Jika Anda menentukan lokasi penyimpanan terkelola untuk katalog, Anda harus memiliki CREATE MANAGED STORAGE hak istimewa pada lokasi eksternal target.
  • Jika tidak ada penyimpanan terkelola tingkat metastore, maka Anda harus menentukan lokasi penyimpanan terkelola untuk katalog.

Untuk membuat katalog asing:

  • Anda harus menjadi pemilik koneksi yang Anda gunakan untuk membuat katalog asing atau memiliki CREATE FOREIGN CATALOG hak istimewa pada koneksi.
  • Anda harus menggunakan komputasi pada Databricks Runtime 13.1 atau lebih tinggi. Gudang SQL harus Pro atau Tanpa Server.

Membuat katalog

Untuk membuat katalog, Anda dapat menggunakan Catalog Explorer, perintah SQL, REST API, Databricks CLI, atau Terraform. Saat Anda membuat katalog, dua skema (database) secara otomatis dibuat: default dan information_schema.

Penjelajah Katalog

  1. Masuk ke ruang kerja yang ditautkan ke metastore.

  2. Klik Ikon katalog Katalog.

  3. Klik tombol Buat Katalog .

  4. Pada dialog Buat katalog baru, masukkan Nama katalog dan pilih Tipe katalog yang ingin Anda buat:

    • Katalog standar : objek yang dapat diamankan yang mengatur data dan aset AI yang dikelola oleh Katalog Unity. Untuk semua kasus penggunaan kecuali Federasi Lakehouse dan katalog yang dibuat dari berbagi Berbagi Delta.
    • Katalog asing : objek yang dapat diamankan yang mencerminkan database dalam sistem data eksternal menggunakan Federasi Lakehouse. Lihat Ringkasan penyiapan Federasi Lakehouse.
    • Katalog bersama: objek yang dapat diamankan yang mengatur data dan aset lain yang dibagikan dengan Anda sebagai berbagi Berbagi Delta. Membuat katalog dari berbagi membuat aset tersebut tersedia untuk dibaca pengguna di ruang kerja Anda. Lihat Apa itu berbagi?.

  5. Bergantung pada jenis katalog, tentukan opsi berikut:

    • Untuk katalog standar: Ini opsional tetapi sangat disarankan agar Anda menentukan lokasi Penyimpanan terkelola. Anda harus memiliki CREATE MANAGED STORAGE hak istimewa pada lokasi eksternal target yang Anda gunakan sebagai lokasi penyimpanan terkelola. Lihat Menentukan lokasi penyimpanan terkelola di Katalog Unity.

      Anda dapat secara opsional menentukan subpath dari lokasi eksternal yang ditentukan. Jika Anda tidak memiliki lokasi eksternal yang ditentukan, Anda bisa membuatnya dengan mengklik Buat lokasi eksternal baru.

      Penting

      Jika ruang kerja Anda tidak memiliki lokasi penyimpanan tingkat metastore, Anda harus menentukan lokasi penyimpanan terkelola saat membuat katalog.

    • Untuk katalog asing: Anda harus memilih Koneksi, yang merupakan objek yang dapat diamankan di Katalog Unity yang menentukan jalur dan kredensial untuk mengakses sistem database eksternal. Lihat Ringkasan penyiapan Federasi Lakehouse.

      Saat Anda telah memilih koneksi, masukkan nama Database atau Katalog Databricks lainnya yang ingin Anda cerminkan.

      Persyaratan berbeda tergantung pada sumber data:

      • MySQL menggunakan namespace dua lapisan dan oleh karena itu tidak memerlukan nama database.
      • Untuk koneksi ke katalog di ruang kerja Databricks lain, masukkan nama Databricks Catalog alih-alih nama database.

      Jika Anda tidak memiliki koneksi yang ditentukan, Anda bisa membuatnya dengan mengklik Buat koneksi baru.

    • Untuk katalog bersama: Anda harus memilih Penyedia dan Berbagi. Setelah memilih penyedia, Anda dapat memilih salah satu berbagi penyedia.

      Jika Anda tidak yakin penyedia mana dan berbagi yang Anda inginkan, Anda mungkin merasa lebih mudah untuk menelusuri atau mencari penyedia dan berbagi menggunakan browser Catalog Explorer. Lihat Melihat penyedia dan Melihat berbagi yang telah dibagikan penyedia dengan Anda.

  6. Klik Buat.

  7. Pada dialog Katalog dibuat! , klik Tampilkan katalog untuk menerima katalog sebagai dikonfigurasi secara otomatis, atau klik Konfigurasi katalog (disarankan) untuk mengonfigurasi izin katalog, pengikatan ruang kerja, dan metadata.

    Jika Anda mengklik Tampilkan katalog, katalog akan dapat diakses oleh semua ruang kerja yang dilampirkan ke metastore, dan BROWSE hak istimewa akan diberikan kepada semua pengguna akun. Anda dapat melewati langkah-langkah lainnya dalam prosedur ini dan melanjutkan untuk menambahkan skema ke katalog. Lihat Membuat skema.

    Anda dapat kembali ke halaman detail katalog di Catalog Explorer kapan saja untuk memperbarui pemilik, tag, komentar, pengikatan ruang kerja, izin, dan skema.

  8. Pada halaman Konfigurasikan Ruang Kerja katalog>, tentukan ruang kerja tempat katalog terikat.

    Secara default, katalog dibagikan dengan semua ruang kerja yang dilampirkan ke metastore saat ini. Jika katalog akan berisi data yang harus dibatasi untuk ruang kerja tertentu, kosongkan opsi Semua ruang kerja memiliki akses dan gunakan tombol Tetapkan ke ruang kerja untuk menambahkan ruang kerja tersebut. Ruang kerja saat ini harus disertakan.

    Setelah menetapkan ruang kerja, Anda dapat mengubah tingkat akses Baca & Tulis defaultnya menjadi Baca Saja: pilih ruang kerja dari daftar dan klik tombol Kelola Tingkat Akses.

    Untuk informasi selengkapnya, lihat Membatasi akses katalog ke ruang kerja tertentu.

  9. Klik Berikutnya untuk menetapkan Izin untuk katalog Anda.

    Semua pengguna akun memiliki BROWSE hak istimewa secara default, memberi mereka kemampuan untuk menemukan metadata katalog tanpa memiliki akses baca ke data.

    Untuk memberikan hak istimewa kepada pengguna, grup, atau perwakilan layanan, klik Berikan dan ikuti instruksi di hak istimewa Katalog Unity dan objek yang dapat diamankan.

  10. Klik Berikutnya untuk menambahkan tag opsional dan komentar Metadata.

    Tag adalah pasangan kunci-nilai yang dapat Anda gunakan untuk menata dan mengategorikan katalog untuk menyederhanakan pencarian dan penemuan aset data Anda. Nilai bersifat opsional. Lihat Menerapkan tag ke objek yang dapat diamankan Katalog Unity.

    Komentar adalah bidang terbuka yang sering digunakan untuk memberikan deskripsi untuk membantu pengguna menemukan aset data di katalog. Lihat Menambahkan komentar ke data dan aset AI.

  11. Klik Simpan.

  12. Tambahkan skema dan objek data ke katalog.

    Lihat Membuat skema.

Anda dapat menggunakan Catalog Explorer untuk memperbarui pemilik, tag, komentar, pengikatan ruang kerja, dan izin kapan saja setelah Anda membuat katalog.

SQL

Untuk membuat katalog standar, jalankan perintah SQL berikut ini di notebook atau editor kueri SQL. Item dalam tanda kurung bersifat opsional. Ganti nilai tempat penampung:

  • <catalog-name>: Nama untuk katalog.

  • <location-path>: Opsional tetapi sangat disarankan. Berikan jalur lokasi penyimpanan jika Anda ingin tabel terkelola dalam katalog ini disimpan di lokasi yang berbeda dari penyimpanan akar default yang dikonfigurasi untuk metastore.

    Penting

    Jika ruang kerja Anda tidak memiliki lokasi penyimpanan tingkat metastore, Anda harus menentukan lokasi penyimpanan terkelola saat membuat katalog.

    Jalur ini harus ditentukan dalam konfigurasi lokasi eksternal, dan Anda harus memiliki CREATE MANAGED STORAGE hak istimewa pada konfigurasi lokasi eksternal. Anda dapat menggunakan jalur yang ditentukan dalam konfigurasi lokasi eksternal atau subpath (dengan kata lain, 'abfss://my-container-name@storage-account-name.dfs.core.windows.net/finance' atau 'abfss://my-container-name@storage-account-name.dfs.core.windows.net/finance/product').

  • <comment>: Deskripsi opsional atau komentar lainnya.

CREATE CATALOG [ IF NOT EXISTS ] <catalog-name>
   [ MANAGED LOCATION '<location-path>' ]
   [ COMMENT <comment> ];

Misalnya, untuk membuat katalog bernama example:

CREATE CATALOG IF NOT EXISTS example;

Untuk membuat katalog bersama, jalankan perintah berikut ini di buku catatan atau editor kueri SQL. Item dalam tanda kurung bersifat opsional.

CREATE CATALOG [IF NOT EXISTS] <catalog-name>
USING SHARE <provider-name>.<share-name>;
[ COMMENT <comment> ];

Untuk membuat katalog asing, jalankan perintah berikut ini di buku catatan atau editor kueri SQL. Item dalam tanda kurung bersifat opsional. Ganti nilai tempat penampung:

  • <catalog-name>: Nama untuk katalog di Azure Databricks.
  • <connection-name>: Objek koneksi yang menentukan sumber data, jalur, dan kredensial akses.
  • <database-name>: Nama database yang ingin Anda cerminkan sebagai katalog di Azure Databricks. Tidak diperlukan untuk MySQL, yang menggunakan namespace dua lapisan. Untuk Databricks-ke-Databricks Lakehouse Federation, gunakan catalog '<external-catalog-name>' sebagai gantinya.
  • <external-catalog-name>: Databricks-to-Databricks saja: Nama katalog di ruang kerja Databricks eksternal yang Anda cerminkan. Lihat Menjalankan kueri federasi di ruang kerja Databricks lain.
CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS [(database '<database-name>') | (catalog '<external-catalog-name>')];

Lihat juga Membuat katalog asing.

Untuk membatasi akses katalog ke ruang kerja tertentu di akun Anda, juga dikenal sebagai pengikatan katalog ruang kerja, lihat Membatasi akses katalog ke ruang kerja tertentu.

Untuk deskripsi parameter terperinci, lihat MEMBUAT KATALOG.

Setelah Anda membuat katalog, tetapkan hak istimewa ke katalog. Lihat Hak istimewa Unity Catalog dan objek yang dapat diamankan.

Lainnya

Terraform: Anda dapat membuat katalog menggunakan penyedia Databricks Terraform dan databricks_catalog. Anda dapat mengambil informasi tentang katalog menggunakan databricks_catalogs.

REST API: Gunakan POST /api/2.1/unity-catalog/catalogs.

Databricks CLI: databricks catalogs create <catalog-name> [options] Untuk daftar opsi, jalankan databricks catalogs create -h. Opsi juga dijelaskan dalam referensi API. Ikuti tautan API di paragraf sebelumnya.

Setelah Anda membuat katalog, tetapkan hak istimewa ke katalog. Lihat Hak istimewa Unity Catalog dan objek yang dapat diamankan.

Informasi selengkapnya