Penyediaan kredensial Katalog Unity untuk akses sistem eksternal

Penting

Tips

Untuk informasi tentang cara membaca data Azure Databricks menggunakan Microsoft Fabric, lihat Gunakan Microsoft Fabric untuk membaca data yang terdaftar di Katalog Unity.

Halaman ini menjelaskan bagaimana fungsionalitas penjual kredensial Unity Catalog mendukung akses ke data dalam Azure Databricks dari mesin pemrosesan eksternal.

Penyediaan kredensial mendukung sistem eksternal yang terhubung ke API Unity REST dan katalog REST Apache Iceberg. Lihat Mengakses tabel Databricks dari klien Delta dan mengakses data Databricks menggunakan sistem eksternal.

Apa itu pembagian kredensial Katalog Unity?

Penyediaan kredensial memberikan kredensial sementara menggunakan REST API Katalog Unity. Kredensial yang diberikan mewarisi hak istimewa prinsipal Azure Databricks yang digunakan untuk mengonfigurasi integrasi. Ada dua jenis penjual kredensial:

Penyediaan kredensial tabel memberikan akses ke data yang terdaftar di metastore Unity Catalog Anda.
Penyediaan kredensial jalur memberikan akses ke lokasi eksternal di metastore Unity Catalog Anda.

Persyaratan

Akses eksternal harus dikonfigurasi pada metastore dengan EXTERNAL USE SCHEMA diberikan kepada prinsipal yang meminta. Lihat Mengaktifkan akses data eksternal di metastore.
URL ruang kerja harus dapat diakses oleh mesin yang meminta, termasuk mesin di belakang daftar akses IP atau Azure Private Link.
URL penyimpanan cloud harus dapat diakses melalui firewall dan kontrol jaringan.

Penjual kredensial tabel

Kredensial tabel mencakup string token akses berumur singkat dan URL lokasi penyimpanan cloud yang dapat digunakan mesin eksternal untuk mengakses data dan metadata tabel dari lokasi penyimpanan cloud.

Jenis akses yang didukung

Kredensial tabel vending menyediakan dukungan untuk jenis dan operasi tabel berikut:

Jenis tabel	Read	Menulis	Buat
Delta yang Dikelola	Yes	Ya*	Ya*
Delta Eksternal	Yes	Yes	Yes
Gunung Es Terkelola	Yes	Yes	Yes
Delta dengan bacaan Iceberg (UniForm)	Yes	Yes**	No

* Membuat dan menulis ke tabel terkelola Unity Catalog dari klien Delta ada di Beta.

** Setelah menulis secara eksternal ke tabel UniForm dari klien Delta, jalankan MSCK REPAIR TABLE untuk menghasilkan metadata Iceberg.

Nota

Beberapa klien mendukung akses ke tabel yang didukung oleh Delta Lake, sementara yang lain mengharuskan Anda mengaktifkan iceberg reads (UniForm) pada tabel. Lihat Baca tabel Delta dengan klien Iceberg.

Meminta kredensial tabel sementara untuk akses data eksternal

Dukungan untuk penyediaan kredensial bervariasi bergantung pada klien eksternal. Jika didukung, klien harus secara otomatis memanfaatkan kredensial yang disediakan ketika koneksi dikonfigurasi.

Bagian ini menyediakan contoh panggilan eksplisit endpoint API penyedia kredensial. Beberapa klien eksternal mungkin mengharuskan Anda mengatur konfigurasi secara eksplisit untuk mengakses data dan metadata di penyimpanan objek cloud yang mendukung tabel Katalog Unity Anda. Anda dapat menggunakan nilai yang dikembalikan oleh penjual kredensial untuk mengonfigurasi akses.

Nota

Anda dapat mengambil daftar tabel yang mendukung penyediaan kredensial dengan memanggil ListTables API dengan opsi include_manifest_capabilities diaktifkan. Hanya tabel yang ditandai HAS_DIRECT_EXTERNAL_ENGINE_READ_SUPPORT atau HAS_DIRECT_EXTERNAL_ENGINE_WRITE_SUPPORT yang memenuhi syarat untuk referensi dalam API kredensial tabel sementara. Lihat GET /api/2.1/unity-catalog/tables.

Contoh curl berikut secara eksplisit meminta kredensial sementara untuk akses data eksternal. Permintaan ini harus diselesaikan oleh prinsipal ruang kerja dengan hak istimewa yang memadai.

curl -X POST -H "Authorization: Bearer $OAUTH_TOKEN" \
https://<workspace-instance>/api/2.1/unity-catalog/temporary-table-credentials \
-d '{"table_id": "<string>", "operation": "<READ|READ_WRITE>"}'

Untuk detailnya, lihat POST /api/2.1/unity-catalog/temporary-table-credentials dalam referensi REST API Azure Databricks.

Keterbatasan

Ada batasan berikut:

Tidak semua klien eksternal mendukung penyediaan kredensial, dan dukungan mungkin bervariasi tergantung pada penyimpanan objek cloud yang digunakan.
Hanya tabel terkelola Unity Catalog dan tabel eksternal Unity Catalog yang didukung.
- Tabel yang diaktifkan untuk pembacaan Iceberg memiliki persyaratan ini. Lihat Baca tabel Delta dengan klien Iceberg.
- Klien pembaca Delta Lake hanya dapat membaca tabel yang berbasis Delta Lake, dan harus mendukung semua protokol pembaca atau penulis yang diaktifkan pada tabel tersebut. Lihat Kompatibilitas dan protokol fitur Delta Lake.
- Tabel eksternal yang tidak menggunakan Delta Lake tidak memberikan jaminan transaksi.
Tipe tabel atau tabel berikut dengan fitur yang diaktifkan tidak didukung:
- Tabel dengan filter baris atau masker kolom.
- Tabel yang dibagikan menggunakan Delta Sharing.
- Tabel gabungan Lakehouse (tabel asing).
- tampilan
- Materialisasi pandangan.
- Lakeflow Spark Declarative Pipelines tabel streaming.
- Tabel online.
- Indeks Pencarian Vektor.
Refresh kredensial tidak didukung pada Iceberg 1.9.0. Gunakan rilis Iceberg terbaru untuk pembaruan kredensial.

Vending kredensial jalur

Kredensial yang dikeluarkan memungkinkan akses langsung ke lokasi penyimpanan cloud, yang dibatasi pada jalur yang relevan. Mereka berlaku untuk waktu yang terbatas dan tidak memberikan akses yang lebih luas di luar lokasi atau tabel yang ditentukan.

Meminta kredensial path sementara untuk akses data eksternal