Baca dalam bahasa Inggris

Bagikan melalui

Catatan Rilis Umum Katalog Unity

  • Artikel

Penting

Dokumentasi ini telah dihentikan dan mungkin tidak diperbarui. Produk, layanan, atau teknologi yang disebutkan dalam konten ini tidak lagi didukung. Lihat Apa itu Katalog Unity?.

25 Agustus 2022

Unity Catalog sekarang tersedia secara umum di Azure Databricks.

Artikel ini menjelaskan Katalog Unity pada tanggal rilis General Availability (GA)-nya. Ini berfokus terutama pada fitur dan pembaruan yang ditambahkan ke Unity Catalog sejak Pratinjau Umum. Untuk informasi saat ini tentang Katalog Unity, lihat Apa itu Katalog Unity?. Untuk catatan rilis yang menjelaskan pembaruan untuk Unity Catalog sejak GA, lihat catatan rilis platform Azure Databricks dan versi catatan rilis Databricks Runtime dan kompatibilitas.

Batas metastore dan kuota sumber daya

Pada 25 Agustus 2022

  • Akun Azure Databricks Anda hanya dapat memiliki satu metastore per wilayah
  • Metastore dapat memiliki hingga 1000 katalog.
  • Katalog dapat memiliki hingga 10.000 skema.
  • Skema dapat memiliki hingga 10.000 tabel.

Untuk kuota Unity Catalog saat ini, lihat kuota sumber daya .

Format penyimpanan yang didukung di GA

Pada 25 Agustus 2022:

  • Semua tabel Unity Catalog terkelola menyimpan data dengan Delta Lake
  • Tabel Katalog Unity Eksternal dan lokasi eksternal mendukung data dalam format Delta Lake, JSON, CSV, Avro, Parquet, ORC, dan teks.

Untuk format tabel yang didukung Unity Catalog saat ini, lihat dukungan format file .

Mengelola sumber daya Unity Catalog dari konsol akun

Gunakan UI konsol akun Azure Databricks untuk:

  • Mengelola siklus hidup metastore (membuat, memperbarui, menghapus, dan melihat metastore yang dikelola oleh Unity Catalog)
  • Menetapkan dan menghapus metastor untuk ruang kerja

Jenis kluster yang didukung dan versi Runtime Databricks

Unity Catalog memerlukan kluster yang menjalankan Databricks Runtime 11.1 atau lebih tinggi. Katalog Unity didukung secara default pada semua SQL warehouse versi komputasi.

Versi sebelumnya dari Databricks Runtime mendukung versi pratinjau Unity Catalog. Kluster yang berjalan pada versi Databricks Runtime yang lebih lama tidak menyediakan dukungan untuk semua fitur dan fungsi GA dari Unity Catalog.

Katalog Unity memerlukan salah satu mode akses berikut saat Anda membuat kluster baru:

  • Para
    • Bahasa: SQL atau Python
    • Kluster aman yang dapat dibagikan oleh beberapa pengguna. Pengguna kluster sepenuhnya terisolasi sehingga mereka tidak dapat melihat data dan kredensial satu sama lain.
  • Pengguna tunggal
    • Bahasa: SQL, Scala, Python, R
    • Kluster aman yang dapat digunakan secara eksklusif oleh satu pengguna tertentu.

Untuk informasi selengkapnya tentang mode akses kluster, lihat Mode akses.

Untuk informasi tentang fungsionalitas Katalog Unity yang diperbarui di versi Databricks Runtime yang lebih baru, lihat catatan rilis untuk versi tersebut.

Tabel sistem

information_schema didukung penuh untuk aset data Unity Catalog. Setiap metastore menyertakan katalog yang disebut sebagai system yang mencakup metastore yang terlingkup information_schema. Lihat skema Informasi. Anda dapat menggunakan information_schema untuk menjawab pertanyaan seperti berikut ini:

"Hitung jumlah tabel per katalog"

SELECT table_catalog, count(table_name)
FROM system.information_schema.tables
GROUP BY 1
ORDER by 2 DESC

"Tunjukkan semua tabel yang telah diubah dalam 24 jam terakhir"

SELECT table_name, table_owner, created_by, last_altered, last_altered_by, table_catalog
FROM system.information_schema.tables
WHERE  datediff(now(), last_altered) < 1

Dukungan Streaming Terstruktur

Beban kerja Streaming Terstruktur sekarang didukung dengan Katalog Unity. Untuk detail dan batasan, lihat Batasan.

Lihat juga Menggunakan Katalog Unity dengan Streaming Terstruktur.

Fungsi SQL

Fungsi SQL yang ditentukan pengguna sekarang didukung penuh pada Unity Catalog. Untuk informasi tentang cara membuat dan menggunakan UDF SQL, lihat CREATE FUNCTION (SQL dan Python).

Sintaks SQL untuk lokasi eksternal di Unity Catalog

Definisi data standar dan perintah bahasa definisi data sekarang didukung di Spark SQL untuk lokasi eksternal, termasuk yang berikut ini:

CREATE | DROP | ALTER | DESCRIBE | SHOW EXTERNAL LOCATION

Anda juga dapat mengelola dan melihat izin dengan GRANT, REVOKE, dan SHOW untuk lokasi eksternal dengan SQL. Lihat Lokasi eksternal.

Contoh Sintaks:

CREATE EXTERNAL LOCATION <your-location-name>
  URL `<your-location-path>'
  WITH (CREDENTIAL <your-credential-name>);

GRANT READ FILES, WRITE FILES, CREATE EXTERNAL TABLE ON EXTERNAL LOCATION `<your-location-name>`
  TO `finance`;

Batasan Katalog Unity di GA

Pada 25 Agustus 2022, Unity Catalog memiliki batasan berikut. Untuk batasan saat ini, lihat Batasan.

  • Scala, R, dan beban kerja menggunakan Machine Learning Runtime hanya didukung pada kluster menggunakan mode akses pengguna tunggal. Beban kerja dalam bahasa ini tidak mendukung penggunaan tampilan dinamis untuk keamanan tingkat baris atau tingkat kolom.
  • Kloning dangkal tidak didukung saat menggunakan Katalog Unity sebagai sumber atau target kloning.
  • Bucketing tidak didukung untuk tabel Unity Catalog. Jika Anda menjalankan perintah yang mencoba membuat tabel yang di-bucket di Katalog Unity, perintah tersebut akan melemparkan pengecualian.
  • Menulis ke jalur yang sama atau tabel Delta Lake dari ruang kerja di beberapa wilayah bisa menyebabkan kinerja yang tidak dapat diandalkan jika sebagian kluster mengakses Katalog Unity dan yang lain tidak.
  • Mode timpa untuk operasi penulisan DataFrame ke dalam Unity Catalog hanya tersedia untuk tabel Delta, bukan untuk format file lainnya. Pengguna harus memiliki hak istimewa CREATE pada skema induk dan harus menjadi pemilik objek yang ada.
  • Streaming saat ini memiliki batasan berikut:
    • Ini tidak didukung dalam kluster menggunakan mode akses bersama. Untuk beban kerja streaming, Anda harus menggunakan mode akses pengguna tunggal.
    • Titik pemeriksaan asinkron belum didukung.
    • Pada Databricks Runtime versi 11.2 ke bawah, kueri streaming yang berlangsung lebih dari 30 hari pada kluster semua tujuan atau pekerjaan akan memberikan pengecualian. Untuk kueri streaming yang berjalan lama, konfigurasikan percobaan ulang pekerjaan otomatis atau gunakan Databricks Runtime 11.3 ke atas.
  • Mereferensikan tabel Unity Catalog dari alur Delta Live Tables saat ini tidak didukung.
  • Grup yang sebelumnya dibuat di ruang kerja tidak dapat digunakan dalam pernyataan Katalog Unity GRANT. Hal ini untuk memastikan tampilan grup yang konsisten yang dapat menjangkau seluruh ruang kerja. Untuk menggunakan grup dalam pernyataan GRANT, buat grup Anda di dalam konsol akun dan perbarui otomatisasi untuk manajemen entitas atau grup (seperti konektor SCIM, Okta, dan Microsoft Entra ID, serta Terraform) agar merujuk ke titik akhir akun, bukan titik akhir ruang kerja.

Wilayah ketersediaan Katalog Unity di GA

Pada 25 Agustus 2022, Katalog Unity tersedia di wilayah berikut. Untuk daftar wilayah yang saat ini didukung, lihat wilayah Azure Databricks.

  • canadacentral
  • centralus
  • francecentral
  • germanywestcentral
  • japaneast
  • norwayeast
  • southafricanorth
  • swedencentral
  • switzerlandnorth
  • switzerlandwest
  • uaenorth
  • westcentralus
  • westus3
  • australiaeast
  • brazilsouth
  • centralindia
  • eastus
  • eastus2
  • koreacentral
  • northcentralus
  • northeurope
  • southeastasia
  • ukwest
  • westeurope
  • westus