Berbagi data menggunakan protokol Delta Sharing Databricks-to-Databricks (untuk penyedia)

Artikel ini memberikan gambaran umum tentang cara menggunakan Databricks-to-Databricks Delta Sharing untuk berbagi data dengan aman dengan pengguna Databricks apa pun, terlepas dari akun atau host cloud, selama pengguna memiliki akses ke ruang kerja yang diaktifkan untuk Katalog Unity.

Catatan

Jika Anda adalah penerima data (pengguna atau grup pengguna yang menerima data dari Databricks), lihat cara mengakses data yang dibagikan kepada Anda dengan menggunakan Delta Sharing (untuk penerima).

Siapakah yang sebaiknya menggunakan Databricks-to-Databricks Delta Sharing?

Ada tiga cara untuk berbagi data menggunakan Delta Sharing.

1. Protokol berbagi Databricks-to-Databricks, yang tercakup dalam artikel ini, memungkinkan Anda berbagi data dari ruang kerja yang mendukung Unity Catalog dengan pengguna yang juga memiliki akses ke ruang kerja Databricks yang mendukung Unity Catalog.

   Pendekatan ini menggunakan server Berbagi Delta yang dibangun ke dalam Azure Databricks dan menyediakan dukungan untuk berbagi buku catatan, tata kelola data Katalog Unity, audit, dan pelacakan penggunaan untuk penyedia dan penerima. Integrasi dengan Unity Catalog menyederhanakan penyiapan dan tata kelola untuk penyedia dan penerima dan meningkatkan performa.

2. Protokol berbagi terbuka Databricks memungkinkan Anda berbagi data yang Anda kelola di ruang kerja Databricks yang mendukung Katalog Unity dengan pengguna di platform komputasi apa pun.

   Lihat Membagikan data menggunakan protokol terbuka Delta Sharing (untuk penyedia).

3. Implementasi server Delta Sharing sumber terbuka yang dikelola pelanggan memungkinkan Anda berbagi dari platform apa pun ke platform apa pun, entah Databricks atau bukan.

   Lihat github.com/delta-io/delta-sharing.

Untuk pengantar Berbagi Delta dan informasi selengkapnya tentang ketiga pendekatan ini, lihat Apa itu Berbagi Delta?.

Alur Kerja Delta Sharing dari Databricks ke Databricks

Bagian ini memberikan ikhtisar menyeluruh tentang alur kerja berbagi antara Databricks, disertai tautan ke dokumentasi terperinci untuk setiap langkah.

Dalam model Berbagi Delta dari Databricks ke Databricks:

1. Penerima data memberikan penyedia data pengenal berbagi yang unik untuk metastore Databricks Unity Catalog yang dihubungkan dengan ruang kerja Databricks. Penerima (yang mewakili pengguna atau grup pengguna) akan menggunakan ruang kerja ini untuk mengakses data yang dibagikan oleh penyedia data.

   Untuk detailnya, lihat Langkah 1: Meminta pengidentifikasi penerima.

2. Penyedia data membuat berbagi di metastore Unity Catalog milik penyedia. Objek bernama ini berisi kumpulan tabel, tampilan, volume, dan notebook yang terdaftar di metastore.

   Untuk lebih jelasnya, lihat Membuat dan mengelola saham untuk Berbagi Delta.

3. Penyedia data membuat objek penerima di metastore Unity Catalog milik penyedia. Objek bernama ini mewakili pengguna atau grup pengguna yang akan mengakses data yang termasuk dalam berkas yang dibagikan, bersama dengan pengidentifikasi berbagi dari metastore Katalog Unity yang terhubung ke ruang kerja yang akan digunakan oleh pengguna atau grup pengguna tersebut untuk mengakses berkas yang dibagikan. Pengidentifikasi berbagi adalah pengidentifikasi kunci yang memungkinkan koneksi aman.

   Untuk detailnya, lihat Langkah 2: Membuat penerima.

4. Penyedia data memberikan akses kepada penerima untuk berbagi.

   Periksa detailnya di Mengelola akses ke berbagi data Delta Sharing (untuk penyedia).

5. Saham menjadi tersedia di ruang kerja Databricks penerima, dan pengguna dapat mengaksesnya menggunakan Catalog Explorer, Databricks CLI, atau perintah SQL di buku catatan Azure Databricks atau editor kueri Databricks SQL.

   Untuk mengakses tabel, tampilan, volume, dan buku catatan dalam share, admin metastore atau pengguna istimewa harus membuat katalog dari share. Kemudian pengguna atau pengguna lain yang diberikan hak istimewa yang sesuai dapat memberi pengguna lain akses ke katalog dan objek dalam katalog. Memberikan izin pada katalog bersama dan aset data berfungsi seperti dengan aset lain yang terdaftar di Katalog Unity, dengan perbedaan penting bahwa pengguna hanya dapat diberikan akses baca pada objek dalam katalog yang dibuat dari saham Delta Sharing.

   Notebook bersama berada pada tingkat katalog, dan setiap pengguna dengan USE CATALOG hak akses pada katalog dapat mengaksesnya.

   Untuk informasi lebih lanjut, lihat Membaca data yang dibagikan menggunakan Berbagi Delta Databricks-ke-Databricks (untuk penerima).

Meningkatkan performa baca tabel dengan berbagi riwayat

Berbagi tabel antara Databricks dapat meningkatkan kinerja dengan memungkinkan berbagi riwayat. Riwayat berbagi meningkatkan performa dengan memanfaatkan kredensial keamanan sementara dari penyimpanan cloud Anda, dibatasi ke direktori root dari tabel Delta bersama penyedia, menghasilkan performa yang sebanding dengan akses langsung ke tabel sumber.

• Untuk berbagi tabel baru, tentukan WITH HISTORY saat membuat berbagi tabel. Lihat Tambahkan tabel ke berbagi. Saat Anda berbagi tabel menggunakan komputasi pada Databricks Runtime 16.2 ke atas, WITH HISTORY adalah default.
• Untuk berbagi riwayat tabel dari tabel yang sudah ada, Anda harus mengubah pengaturan berbagi. Lihat pembaruan dari bagian. Saat Anda berbagi tabel menggunakan komputasi pada Databricks Runtime 16.2 ke atas, WITH HISTORY adalah default.

Saat Anda berbagi seluruh skema, semua tabel dalam skema dibagikan dengan riwayat secara default.

Catatan

Tabel yang mengaktifkan partisi tidak mendapat manfaat kinerja dari berbagi riwayat. Lihat Tentukan partisi tabel agar dapat dibagikan

Untuk persyaratan kelayakan token cloud dan pertimbangan privasi data, lihat Kelayakan token cloud.

Matriks dukungan Databricks-to-Databricks Delta Sharing untuk lingkungan cloud

Databricks-to-Databricks Delta Sharing hanya didukung dalam jenis lingkungan yang sama: komersial-ke-komersial, GovCloud-ke-GovCloud, DoD-ke-DoD, atau Azure Tiongkok-ke-Azure Tiongkok. Berbagi lintas lingkungan—seperti dari cloud komersial ke AWS GovCloud, atau dari AWS GovCloud ke Azure Tiongkok—tidak didukung. Cloud komersial mencakup ruang kerja dengan kontrol kepatuhan diaktifkan, seperti FedRAMP Moderate.

Berbagi Delta Databricks-ke-Databricks tidak didukung untuk lingkungan Azure Government.

Dalam matriks ini, setiap baris mewakili lingkungan penyedia (data berbagi metastore), dan setiap kolom mewakili lingkungan penerima (metastore yang menerima data bersama). Tabel menunjukkan apakah berbagi didukung atau tidak untuk setiap kombinasi.

Penyedia	Penerima: Cloud komersial	Penerima: AWS GovCloud	Penerima: AWS GovCloud DoD	Penerima: Azure Tiongkok
Awan komersial	✓
AWS GovCloud		✓
AWS GovCloud DoD			✓
Azure Tiongkok				✓