Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
Halaman ini menyediakan gambaran umum fungsionalitas dan rekomendasi untuk membuat data dikelola dan diatur oleh Azure Databricks tersedia untuk sistem eksternal.
Pola-pola ini berfokus pada skenario di mana organisasi Anda perlu mengintegrasikan alat atau sistem tepercaya untuk Azure Databricks data. Jika Anda mencari panduan tentang berbagi data di luar organisasi Anda, lihat Berbagi data dan aset AI dengan aman.
Akses eksternal apa yang didukung Azure Databricks?
Azure Databricks merekomendasikan penggunaan Unity Catalog untuk mengatur semua aset data Anda. Unity Catalog menyediakan integrasi ke klien Delta Lake menggunakan unity REST API dan klien Apache Iceberg menggunakan katalog Iceberg REST. Untuk daftar lengkap integrasi yang didukung, lihat Integrasi Katalog Unity.
Katalog Unity juga mendukung mode kompatibilitas untuk tabel terkelola, tampilan materialisasi, dan tabel streaming, yang memungkinkan akses baca-saja dari klien yang tidak mendukung REST API. Dalam hal ini, mereka dapat langsung mengakses data dalam salinan data kloning.
Tabel berikut ini menyediakan gambaran umum format dukungan dan pola akses untuk objek Katalog Unity.
| Objek Katalog Unity | Format yang didukung | Pola akses |
|---|---|---|
| Tabel yang dikelola | Danau Delta, Gunung Es | Unity REST API, Iceberg REST catalog, OpenSharing, mode kompatibilitas (baca-saja) |
| Tampilan materialisasi dan tabel streaming | Danau Delta, Gunung Es | Gunakan akses eksternal untuk alur untuk klien yang mendukung Delta 4.0 atau Iceberg v3.
Mode kompatibilitas untuk klien lama. Read-only. Unity REST API, katalog Iceberg REST, akses file (melalui mode kompatibilitas) |
| Tabel eksternal | Danau Delta | Unity REST API, katalog REST Iceberg, OpenSharing, URI cloud |
| Tabel eksternal | CSV, JSON, Avro, Parquet, ORC, teks | Unity REST API, URI cloud |
| Volume eksternal | Semua jenis data | URI Cloud |
| Tabel asing* | Danau Delta, Gunung Es | Unity REST API, Iceberg REST catalog (Pratinjau), OpenSharing |
| Tabel asing* | CSV, JSON, Avro, Parquet, ORC, teks | Unity REST API, URI cloud |
* Hanya tabel asing yang difederasi menggunakan federasi katalog yang didukung. Untuk menjamin pembacaan terbaru dari mesin eksternal pada tabel asing, pelanggan dapat secara berkala menyegarkan metadata menggunakan pekerjaan Lakeflow.
Untuk detail selengkapnya tentang objek Katalog Unity ini, lihat yang berikut ini:
- Tabel terkelola Unity Catalog untuk Delta Lake dan Apache Iceberg
- Bekerja dengan tabel eksternal
- Apa yang dimaksud dengan volume pada Katalog Unity?
Penjual kredensial Katalog Unity
Pengelolaan kredensial Unity Catalog memungkinkan pengguna untuk mengonfigurasi klien eksternal untuk mendapatkan hak istimewa pada data yang diatur oleh Azure Databricks. Klien Iceberg dan Delta dapat mendukung penyediaan kredensial. Lihat penyediaan kredensial Katalog Unity untuk akses sistem eksternal.
Mengakses tabel dengan klien Delta
Gunakan Unity REST API untuk membaca, menulis, dan membuat Tabel terkelola dan eksternal Unity Catalog yang didukung oleh Delta Lake dari klien Delta yang didukung. Lihat Mengakses tabel Databricks dari klien Delta.
Penting
Membuat dan menulis ke dalam tabel terkelola Unity Catalog dari klien Delta berstatus Pratinjau Umum.
Untuk tabel eksternal, Unity Catalog tidak mengatur baca dan tulis yang dilakukan langsung terhadap penyimpanan objek cloud dari sistem eksternal, jadi Anda harus mengonfigurasi kebijakan dan kredensial tambahan di akun cloud Anda untuk memastikan bahwa kebijakan tata kelola data dihormati di luar Azure Databricks.
Nota
Dokumentasi Azure Databricks mencantumkan batasan dan pertimbangan kompatibilitas berdasarkan versi Databricks Runtime dan fitur platform. Anda harus mengonfirmasi protokol pembaca dan penulis dan fitur tabel apa yang didukung klien Anda. Lihat delta.io.
Mengakses tabel dengan klien Iceberg
Azure Databricks menyediakan klien Iceberg dengan membaca, menulis, dan membuat dukungan untuk tabel yang terdaftar di Unity Catalog. Klien yang didukung termasuk Apache Spark, Apache Flink, Trino, dan Snowflake. Lihat tabel Access Azure Databricks dari klien Apache Iceberg.
Berbagi tabel baca-saja di seluruh domain
Anda dapat menggunakan OpenSharing untuk memberikan akses baca-saja ke tabel Delta terkelola atau eksternal di seluruh domain dan sistem yang didukung. Sistem perangkat lunak yang mendukung pembacaan nol salinan tabel OpenSharing termasuk SAP, Amperitas, dan Oracle. Lihat Berbagi data dan aset AI dengan aman.
Nota
Anda juga dapat menggunakan OpenSharing untuk memberikan akses baca-saja kepada pelanggan atau mitra. OpenSharing juga mendukung data yang dibagikan menggunakan Databricks Marketplace.
Mengakses data tabular non-Delta Lake dengan tabel eksternal
Tabel eksternal Unity Catalog mendukung banyak format selain Delta Lake, termasuk Parquet, ORC, CSV, dan JSON. Tabel eksternal menyimpan semua file data dalam direktori di lokasi penyimpanan objek cloud yang ditentukan oleh URI cloud yang disediakan selama pembuatan tabel. Sistem lain mengakses file data ini langsung dari penyimpanan objek cloud.
Katalog Unity tidak mengatur pembacaan dan penulisan yang dilakukan langsung terhadap penyimpanan objek cloud dari sistem eksternal, jadi Anda harus mengonfigurasi kebijakan dan kredensial tambahan di akun cloud Anda untuk memastikan bahwa kebijakan tata kelola data dihormati di luar Azure Databricks.
Membaca dan menulis ke tabel eksternal dari beberapa sistem dapat menyebabkan masalah konsistensi dan kerusakan data karena tidak ada jaminan transaksional yang disediakan untuk format selain Delta Lake.
Katalog Unity mungkin tidak dapat mendeteksi partisi baru yang ditulis ke tabel eksternal yang didukung oleh format selain Delta Lake. Databricks merekomendasikan untuk menjalankan MSCK REPAIR TABLE table_name secara teratur untuk memastikan Unity Catalog telah mendaftarkan semua file data yang ditulis oleh sistem eksternal.
Mengakses data non-tabular dengan volume eksternal
Databricks merekomendasikan penggunaan volume eksternal untuk menyimpan file data non-tabular yang dibaca atau ditulis oleh sistem eksternal selain Azure Databricks. Lihat Apa itu Unity Catalog volumes?.
Katalog Unity tidak mengatur pembacaan dan penulisan yang dilakukan langsung terhadap penyimpanan objek cloud dari sistem eksternal, jadi Anda harus mengonfigurasi kebijakan dan kredensial tambahan di akun cloud Anda untuk memastikan bahwa kebijakan tata kelola data dihormati di luar Azure Databricks.
Volume menyediakan API, SDK, dan alat lain untuk mendapatkan file dari dan memasukkan file ke dalam volume. Lihat Mengelola file pada volume Katalog Unity.
Nota
OpenSharing memungkinkan Anda berbagi volume ke akun Azure Databricks lain, tetapi tidak berintegrasi dengan sistem eksternal.