Berbagi data menggunakan protokol berbagi terbuka Berbagi Delta (untuk penyedia)

Halaman ini memberikan gambaran umum tentang bagaimana penyedia dapat menggunakan protokol berbagi terbuka Berbagi Delta untuk berbagi data dari ruang kerja Azure Databricks yang mendukung Unity Catalog Anda dengan pengguna mana pun di platform komputasi apa pun, di mana saja. Jika Anda adalah penerima data (pengguna atau grup pengguna yang datanya dibagikan), lihat sebagai gantinya Mengakses data yang dibagikan dengan Anda menggunakan Berbagi Delta (untuk penerima).

Siapa yang harus menggunakan protokol berbagi terbuka Delta Sharing?

Ada tiga cara untuk berbagi data menggunakan Berbagi Delta:

1. Protokol berbagi terbuka Databricks, yang tercakup dalam artikel ini, memungkinkan Anda berbagi data yang Anda kelola di ruang kerja Databricks dengan Dukungan Katalog Unity dengan pengguna di platform komputasi apa pun.

   Pendekatan ini menggunakan server Berbagi Delta yang disertakan dalam Azure Databricks dan berguna saat Anda mengelola data menggunakan Unity Catalog dan ingin membagikannya dengan pengguna yang tidak menggunakan Databricks atau tidak memiliki akses ke ruang kerja Databricks yang mendukung Unity Catalog. Integrasi dengan Unity Catalog di sisi penyedia menyederhanakan penyiapan dan tata kelola untuk penyedia.

2. Sebuah implementasi yang dikelola oleh pelanggan dari server Delta Sharing sumber terbuka memungkinkan Anda berbagi data dari platform apa pun ke platform apa pun, baik menggunakan Databricks maupun tidak.

   Lihat github.com/delta-io/delta-sharing.

3. Protokol berbagi Databricks-to-Databricks memungkinkan Anda berbagi data dari ruang kerja yang diaktifkan oleh Unity Catalog dengan pengguna yang juga memiliki akses ke ruang kerja Databricks yang diaktifkan oleh Unity Catalog.

   Lihat Berbagi data menggunakan protokol Delta Sharing Databricks-to-Databricks (untuk penyedia).

Untuk pengantar Berbagi Delta dan informasi selengkapnya tentang ketiga pendekatan ini, lihat Apa itu Berbagi Delta?.

Alur kerja berbagi terbuka Delta Sharing

Bagian ini memberikan gambaran umum tingkat tinggi tentang alur kerja berbagi terbuka, dengan tautan ke dokumentasi terperinci untuk setiap langkah.

Dalam model berbagi terbuka Delta Sharing:

1. Penyedia data membuat penerima, yang merupakan objek bernama yang mewakili pengguna atau grup pengguna yang ingin dibagikan oleh penyedia data.

   Saat penyedia data membuat penerima, penyedia menyiapkan autentikasi menggunakan token pembawa berumur panjang atau federasi Open ID Connect (OIDC). Jika penyedia menggunakan token pembawa, Azure Databricks menghasilkan file kredensial dan tautan aktivasi yang dapat dikirim penyedia data ke penerima untuk mengakses file kredensial. Dalam alur federasi OIDC, IdP penerima mengelola autentikasi, berdasarkan kebijakan yang dibuat oleh penyedia.

   Untuk detailnya, lihat Membuat objek penerima untuk pengguna non-Databricks menggunakan token pembawa (pembagian terbuka) dan Menggunakan federasi Open ID Connect (OIDC) untuk mengaktifkan autentikasi ke Delta Sharing (pembagian terbuka).

2. Penyedia data membuat saham, yang merupakan objek bernama yang berisi kumpulan tabel yang terdaftar dalam metastore Unity Catalog di akun penyedia.

   Untuk detailnya, lihat Buat dan kelola saham untuk Delta Sharing.

3. Penyedia data memberikan akses kepada penerima untuk bagian yang dibagikan.

   Untuk informasi lebih lanjut, lihat Mengelola akses ke data Delta Sharing (untuk penyedia).

4. Dalam alur token pembawa, penyedia data mengirim tautan aktivasi ke penerima melalui saluran aman, bersama dengan instruksi untuk menggunakan tautan aktivasi untuk mengunduh file kredensial yang akan digunakan penerima untuk membuat koneksi aman dengan penyedia data untuk menerima data bersama.

   Untuk detailnya, lihat Dapatkan tautan aktivasi.

   Dalam alur federasi OIDC, penerima mengautentikasi melalui IdP mereka. Lihat Gunakan federasi Open ID Connect (OIDC) untuk mengaktifkan autentikasi ke Delta Sharing (berbagi publik).

5. Dalam alur token pembawa, penerima data mengikuti tautan aktivasi untuk mengunduh file kredensial, lalu menggunakan file kredensial untuk mengakses data bersama.

   Data bersama hanya tersedia untuk dibaca. Pengguna dapat mengakses data menggunakan platform atau alat pilihan mereka. Untuk lebih jelasnya, lihat Membaca data yang dibagikan menggunakan Delta Sharing dengan token pembawa.

   Dalam alur federasi OIDC, penerima mengautentikasi melalui IdP mereka. Lihat Gunakan federasi Open ID Connect (OIDC) untuk mengaktifkan autentikasi ke Delta Sharing (berbagi publik).

konfigurasi khusus Penyedia

Banyak penyedia memiliki jaringan Berbagi Delta mereka sendiri untuk berbagi. Untuk instruksi berbagi tertentu, lihat, misalnya:

• Amperitas
• Atlassian
• Oracle

Token cloud dan akses berbasis direktori

Saat Anda berbagi tabel Delta yang memenuhi syarat menggunakan berbagi terbuka, Azure Databricks mengembalikan lokasi penyimpanan cloud tabel bersama kredensial cloud sementara (token cloud) yang dapat digunakan penerima untuk membaca data langsung dari penyimpanan cloud. Ini disebut mode akses berbasis direktori dan merupakan bagian dari protokol Berbagi Delta terbuka. Ini diaktifkan secara default untuk aset yang baru dibagikan yang memenuhi persyaratan kelayakan. Jika tabel bersama tidak memenuhi semua persyaratan, penerima menggunakan akses URL yang telah ditandatangani sebelumnya seperti biasa.

Untuk persyaratan kelayakan dan pertimbangan privasi data, lihat Kelayakan token cloud.

Penyiapan penyedia dan pertimbangan keamanan untuk berbagi terbuka

Manajemen token yang baik adalah kunci untuk berbagi data dengan aman saat Anda menggunakan model berbagi terbuka:

• Penyedia data di Azure Databricks yang ingin menggunakan berbagi terbuka saat mereka menyediakan berbagi harus mengonfigurasi masa pakai token penerima default saat mereka mengaktifkan Berbagi Delta untuk metastore Unity Catalog mereka. Databricks merekomendasikan agar Anda mengonfigurasi token agar kedaluwarsa. Lihat Mengaktifkan Berbagi Delta di metastore.
• Jika Anda perlu mengubah masa aktif token default, lihat Mengubah masa aktif token penerima.
• Dorong penerima untuk mengelola file kredensial yang diunduh dengan aman.
• Untuk informasi selengkapnya tentang manajemen token dan keamanan berbagi terbuka, lihat Mengelola token penerima.
• Berbagi secara terbuka didukung antara jenis lingkungan cloud, misalnya dari AWS Cloud Komersial ke AWS GovCloud atau Azure China.

Penyedia data dapat memberikan keamanan tambahan dengan menetapkan daftar akses IP untuk membatasi akses penerima ke lokasi jaringan tertentu. Lihat Membatasi akses penerima Berbagi Delta menggunakan daftar akses IP (berbagi terbuka).