Aset dikelola versus aset eksternal di dalam Unity Catalog

Setiap objek yang dapat diamankan yang Anda daftarkan di Unity Catalog diatur secara terpusat. Ini berarti bahwa Unity Catalog mengelola metadata objek, memungkinkannya mengontrol semua aspek tata kelola termasuk akses, audit, dan silsilah data.

Namun, untuk aset data seperti tabel dan volume, Unity Catalog juga dapat mengontrol lokasi penyimpanan dan siklus hidup file data yang mendasar di akun cloud Anda, yang mencakup bagaimana file tersebut diatur, dioptimalkan, dan saat dihapus. Perbedaan inilah yang memisahkan dikelola dari aset data eksternal .

• Aset terkelola: Unity Catalog mengontrol tata kelola (kontrol akses, audit, silsilah data) dan siklus hidup penyimpanan file yang mendasar (pengoptimalan file, bagaimana tataannya, dan kapan dihapus).
• Aset eksternal: Unity Catalog hanya mengontrol tata kelola. Siklus hidup penyimpanan file yang mendasar dikendalikan oleh Anda atau sistem eksternal.

Saat mendaftarkan aset terkelola di Unity Catalog, Anda mempertahankan kepemilikan penuh atas data Anda. File data selalu tetap berada di akun cloud Anda. Katalog Unity menentukan lokasi penyimpanan dalam akun Anda, tetapi tidak mentransfernya ke Azure Databricks ataupun memilikinya.

Perbedaan antara terkelola dan eksternal hanya berlaku untuk tabel dan volume. Objek yang dapat diamankan Unity Catalog lainnya, seperti tampilan, model, dan fungsi, tidak memiliki varian terkelola dan eksternal.

Ringkasan perbedaan

Tabel berikut ini meringkas perbedaan antara aset terkelola dan eksternal di Katalog Unity:

Harta benda	Tabel atau volume yang dikelola oleh Unity Catalog	Tabel atau volume eksternal
Lokasi penyimpanan	Diatur oleh Unity Catalog (di akun cloud Anda)	Diatur oleh Anda
Manajemen siklus hidup file	Dikelola oleh Unity Catalog (pengoptimalan, organisasi, penghapusan)	Dikelola oleh Anda
Menghilangkan perilaku	File data dihapus secara permanen setelah periode retensi 8 hari	File data tetap di tempat
Kepemilikan data	Yes	Yes

Penggunaan kata "kelola" di seluruh Katalog Unity

Kata kelola memiliki beberapa penggunaan di seluruh Katalog Unity. Bagian ini meringkas arti kelola dalam konteks yang berbeda.

Ketika orang mengatakan bahwa objek dikelola oleh Unity Catalog, mereka biasanya berarti bahwa Unity Catalog mengatur akses ke objek tersebut. Ini berlaku untuk semua objek Katalog Unity terdaftar, termasuk tabel dan volume eksternal.

Kata yang dikelola dalam "tabel terkelola" atau "volume terkelola" memiliki arti yang lebih spesifik: Katalog Unity menentukan di mana di akun cloud Anda file data yang mendasar disimpan, dan mengontrol siklus hidup file (pengoptimalan, organisasi, dan penghapusan). Ini disebut sebagai lokasi penyimpanan terkelola. Data Anda tetap berada di akun cloud Anda setiap saat. Azure Databricks tidak memiliki atau menyimpan data Anda.

Kata MANAGE ini juga muncul sebagai hak istimewa yang dapat Anda tetapkan ke objek Katalog Unity. Umumnya, MANAGE memungkinkan pengguna untuk menetapkan atau mencabut hak istimewa, mentransfer kepemilikan, dan menghapus objek tanpa menjadi pemilik. Lihat KELOLA.

Tabel berikut ini meringkas penggunaan umum pengelolaan ini:

Istilah	Meaning	Berlaku pada
"Dikelola oleh Unity Catalog"	Katalog Unity mengatur akses, audit, dan silsilah data untuk objek.	Semua objek Katalog Unity terdaftar, termasuk tabel dan volume eksternal
Tabel terkelola atau volume terkelola	Unity Catalog juga mengontrol lokasi penyimpanan yang mendasar (lokasi penyimpanan terkelola) dan siklus hidup data dalam akun cloud Anda.	Tabel dan volume saja
Lokasi penyimpanan terkelola	Jalur yang ditunjuk dalam akun cloud Anda di mana Unity Catalog menyimpan file data untuk tabel dan volume terkelola. Anda dapat mengonfigurasi lokasi penyimpanan terkelola di tingkat metastore, katalog, atau skema. Lihat Menentukan lokasi penyimpanan terkelola di Unity Catalog.	Tabel dan volume saja
Hak istimewa MANAGE	Hak istimewa yang memungkinkan pengguna untuk menetapkan atau mencabut hak istimewa, mentransfer kepemilikan, dan menghapus objek tanpa menjadi pemilik. Lihat KELOLA.	Semua objek Katalog Unity yang dapat diamankan

Tabel terkelola dan eksternal

Tabel terkelola Unity Catalog adalah tabel di mana Unity Catalog menentukan lokasi penyimpanan untuk file data yang mendasar. Katalog Unity menyimpan tabel terkelola di lokasi penyimpanan terkelola yang ditentukan pada skema, katalog, atau metastore yang berisi. Saat Anda menghapus tabel terkelola, Unity Catalog menghapus file data yang mendasar. Tabel terkelola menggunakan format Delta atau Apache Iceberg.

Tabel eksternal adalah tabel tempat Anda menentukan lokasi penyimpanan untuk file data yang mendasar. Saat Anda menghapus tabel eksternal, Unity Catalog menghapus metadata tabel dari metastore, tetapi file data yang mendasar tetap ada. Tabel eksternal mendukung beberapa format, termasuk Delta, CSV, JSON, Avro, Parquet, dan ORC.

Untuk informasi selengkapnya tentang jenis tabel, lihat Jenis tabel Databricks Unity Catalog.

Tabel terkelola dan eksternal mendukung akses baca, tulis, dan buat akses dari mesin eksternal melalui API terbuka, termasuk Unity REST API dan Iceberg REST Catalog (IRC). Ini berarti bahwa tabel terkelola tidak mengakibatkan vendor lock-in. Mesin apa pun yang mendukung API ini dapat mengakses tabel terkelola. Lihat Mengakses data Databricks menggunakan sistem eksternal.

Volume terkelola dan eksternal

Volume terkelola Unity Catalog adalah volume di mana Unity Catalog menentukan lokasi penyimpanan. Katalog Unity secara otomatis menyimpan volume terkelola di lokasi penyimpanan terkelola dari skema yang berisi dalam akun cloud Anda. Seperti halnya tabel terkelola, Anda mempertahankan kepemilikan penuh atas data yang mendasar. Saat Anda menghilangkan volume terkelola, Unity Catalog menghapus file data yang mendasar.

Volume eksternal adalah volume tempat Anda menentukan lokasi penyimpanan. Lokasi harus berupa jalur yang dicakup oleh lokasi eksternal Katalog Unity. Saat Anda menghilangkan volume eksternal, Unity Catalog menghapus definisi volume, tetapi file data yang mendasar tetap ada.

Untuk informasi selengkapnya tentang volume, lihat Apa itu volume Katalog Unity?.