Pengaturan Delta Sharing untuk akun Anda (untuk penyedia layanan)

Halaman ini menjelaskan cara menyiapkan Berbagi Delta di Azure Databricks untuk penyedia data (organisasi yang ingin menggunakan Berbagi Delta untuk berbagi data dengan aman).

Jika Anda adalah penerima data (organisasi yang menerima data yang dibagikan dengan Delta Sharing), lihat Membaca data yang dibagikan dengan Delta Sharing Databricks-ke-Databricks (untuk penerima).

Important

Berbagi Delta memerlukan ruang kerja yang mendukung Katalog Unity. Anda dapat membuat satu ruang kerja yang mendukung Unity Catalog untuk pengelolaan berbagi. Di beberapa akun, ruang kerja baru secara otomatis diaktifkan untuk Katalog Unity. Lihat Pengaktifan otomatis untuk Unity Catalog.

Jika membuat ruang kerja baru yang mendukung Unity Catalog bukan opsi, Anda dapat menggunakan proyek Berbagi Delta sumber terbuka untuk mengatur server Berbagi Delta Anda sendiri guna berbagi tabel Delta dari platform apa pun.

Penyiapan penyedia awal mencakup langkah-langkah berikut:

1. Aktifkan Delta Sharing pada metastore Katalog Unity.
2. (Opsional) Instal Unity Catalog CLI.
3. Berikan izin untuk membuat dan mengelola bagian dan penerima.
4. Konfigurasikan time-to-live (TTL) untuk materialisasi data.
5. Mengonfigurasi akses jaringan penyimpanan.

Requirements

Sebagai penyedia data yang menyiapkan akun Azure Databricks Anda untuk dapat berbagi data, Anda harus memiliki:

• Setidaknya satu ruang kerja Azure Databricks yang diaktifkan untuk Katalog Unity.

  Anda tidak perlu memigrasikan semua ruang kerja Anda ke Unity Catalog untuk memanfaatkan dukungan Databricks untuk penyedia Berbagi Delta. Lihat Apakah saya memerlukan Katalog Unity untuk menggunakan Berbagi Delta?.

  Penerima tidak perlu memiliki ruang kerja yang mendukung Katalog Unity.

• Peran admin akun untuk mengaktifkan Delta Sharing untuk metastore Unity Catalog Anda.

• Peran admin metastore atau hak istimewa CREATE SHARE dan CREATE RECIPIENT. Lihat Peran admin.

  Note

  Jika ruang kerja Anda diaktifkan untuk Katalog Unity secara otomatis, Anda mungkin tidak memiliki admin metastore. Namun, admin ruang kerja di ruang kerja tersebut secara default memiliki hak istimewa CREATE SHARE dan CREATE RECIPIENT di metastore.

  Untuk informasi selengkapnya, lihat Pengaktifan otomatis hak istimewa admin Unity Catalog dan Workspace saat ruang kerja diaktifkan untuk Unity Catalog secara otomatis.

• Konfigurasi penyimpanan cloud yang memungkinkan akses jaringan dari penerima.

Aktifkan Delta Sharing pada metastore

Anda tidak perlu mengaktifkan Berbagi Delta di metastore Anda jika Anda berniat menggunakan Berbagi Delta hanya untuk berbagi data dengan pengguna di metastore Katalog Unity lainnya di akun Anda. Berbagi metastore-ke-metastore dalam satu akun Azure Databricks diaktifkan secara default.

Jika tidak, ikuti langkah-langkah ini untuk setiap metastore dari Unity Catalog yang mengelola data yang Anda rencanakan untuk dibagikan melalui Delta Sharing.

1. Sebagai admin akun Azure Databricks, masuk ke konsol account.

2. Di bar samping, klik Katalog.

3. Klik nama metastore untuk membuka detailnya.

4. Klik kotak centang di samping Izinkan Berbagi Delta dengan pihak di luar organisasi Anda.

5. Mengonfigurasi masa pakai token penerima.

   Konfigurasi ini mengatur periode waktu setelah semua token penerima kedaluwarsa dan harus diregenerasi. Token penerima hanya digunakan dalam protokol berbagi terbuka. Token berlaku selama maksimal satu tahun setelah pembuatan.

   Note

   Masa pakai token penerima untuk penerima yang ada tidak diperbarui secara otomatis saat Anda mengubah masa pakai token penerima default untuk metastore. Untuk menerapkan masa pakai token baru ke penerima tertentu, Anda harus memutar token mereka. Lihat Mengelola token penerima.

   Untuk mengatur masa pakai token penerima default:

   1. Konfirmasikan bahwa Atur kedaluwarsa diaktifkan (ini adalah default).
   2. Masukkan beberapa detik, menit, jam, atau hari, dan pilih satuan ukuran. Token berlaku selama maksimal satu tahun setelah pembuatan.
   3. Klik Aktifkan.

   Untuk informasi selengkapnya, lihat Pertimbangan keamanan untuk token.

6. Saat berbagi dengan penerima Azure Databricks yang tidak ada di akun Anda, masukkan nama Organization.

   Note

   Menentukan nama organisasi yang dapat dibaca membantu penerima mengidentifikasi penyedia berbagi mereka dan objek penyedia yang sesuai dalam daftar penyedia penerima.

7. Klik Aktifkan.

(Opsional) Pasang Unity Catalog CLI

Untuk mengelola berbagi dan penerima, Anda bisa menggunakan Catalog Explorer, perintah SQL, atau Unity Catalog CLI. CLI berjalan di lingkungan lokal Anda dan tidak memerlukan sumber daya komputasi Azure Databricks.

Untuk menginstal CLI, lihat Databricks CLI.

Memberikan izin untuk membuat dan mengelola saham dan penerima

Admin Metastore memiliki kemampuan untuk membuat dan mengelola berbagi dan penerima, termasuk pemberian berbagi kepada penerima. Banyak tugas penyedia dapat didelegasikan oleh admin metastore menggunakan hak istimewa berikut:

• CREATE SHARE di metastore memberikan kemampuan untuk membuat berbagi.
• CREATE RECIPIENT pada metastore memberikan kemampuan untuk membuat penerima.
• USE RECIPIENT memberikan kemampuan untuk mencantumkan dan melihat detail untuk semua penerima di metastore.
• USE SHARE pada metastore memberikan kemampuan untuk menampilkan dan melihat detail untuk semua pembagian di metastore.
• USE RECIPIENT, USE SHARE, dan SET SHARE PERMISSION gabungan memberi pengguna kemampuan untuk memberikan akses berbagi kepada penerima.
• Admin metastore dapat mentransfer kepemilikan bagian mana pun.
• Pemilik dan penerima berbagi dapat memperbarui objek tersebut dan memberikan akses berbagi kepada penerima. Pembuat objek diberikan kepemilikan secara default, tetapi kepemilikan dapat ditransfer.
• Pemilik share dapat menambahkan tabel dan volume ke dalam share, selama mereka memiliki akses ke tabel dan volume tersebut.

Untuk detailnya, lihat Referensi hak istimewa Katalog Unity dan daftar izin yang tertera dalam tugas-tugas Berbagi Delta yang telah dijelaskan.

Mengonfigurasi materialisasi data TTL

Sebagai akun Azure Databricks atau admin metastore, Anda dapat mengonfigurasi TTL materialisasi data, yang menentukan berapa lama hasil materialisasi di-cache. Materialisasi terjadi ketika penerima mengkueri tampilan dinamis bersama, tampilan termaterialisasi, tabel streaming, dan tabel asing. Secara default, TTL adalah delapan jam. Cache itu sendiri akan dikeluarkan melalui pembentukan materialisasi setelah tiga jam tambahan, memberikan tambahan waktu untuk kueri yang ada diselesaikan.

Untuk mengubah nilai ini, lakukan hal berikut:

1. Di ruang kerja Azure Databricks Anda, klik Catalog untuk membuka Catalog Explorer.

2. Di bagian atas panel Katalog , klik ikon gerigi dan pilih Berbagi Delta.

   Atau, di sudut kanan atas, klik Bagikan Delta Sharing.

3. Pada tab Dibagikan dengan saya , klik nama organisasi Anda di sudut kanan atas.

4. Klik Tampilkan pengaturan Berbagi Delta.

5. Untuk Materialisasi TTL, masukkan nilai TTL yang Anda inginkan.

Perbolehkan akses jaringan ke penyimpanan

Jika penyimpanan cloud yang mendasar Anda dikonfigurasi dengan kontrol akses, tambahkan jaringan penerima Anda ke daftar yang diizinkan sehingga mereka dapat membaca tabel bersama.

Untuk detailnya, lihat Konfigurasi firewall Azure Storage dan jaringan virtual dan Konfigurasi firewall untuk akses komputasi tanpa server (warisan).

Langkah berikutnya

• Buat sebuah saham
• Berbagi data melalui berbagi Databricks-ke-Databricks
• Berbagi data menggunakan protokol berbagi terbuka
• Audit dan memantau berbagi data