Apa itu Berbagi Delta?

Halaman ini memperkenalkan Berbagi Delta di Azure Databricks, platform berbagi data aman yang memungkinkan Anda berbagi data dan aset AI dalam Azure Databricks dengan pengguna di luar organisasi Anda, terlepas dari apakah mereka menggunakan Azure Databricks. Delta Sharing juga merupakan dasar untuk Databricks Marketplace, forum terbuka untuk bertukar produk data, dan Clean Rooms, lingkungan yang aman dan melindungi privasi di mana beberapa pihak dapat bekerja sama pada data perusahaan yang sensitif.

Berbagi Delta juga tersedia sebagai proyek sumber terbuka yang dapat Anda gunakan untuk berbagi tabel Delta dari platform lain.

Bagaimana cara kerja Berbagi Delta?

Berbagi Delta adalah protokol terbuka yang dikembangkan oleh Databricks untuk berbagi data yang aman dengan organisasi lain terlepas dari platform komputasi yang mereka gunakan.

Ada beberapa cara untuk membagikan data menggunakan Delta Sharing.

1. Protokol berbagi Databricks-to-Databricks, yang memungkinkan Anda berbagi data dan aset AI dari ruang kerja yang didukung Unity Catalog dengan pengguna yang juga memiliki akses ke ruang kerja Databricks yang mendukung Unity Catalog.

   Pendekatan ini menggunakan server Berbagi Delta yang dibangun ke dalam Azure Databricks. Ini mendukung beberapa fitur Berbagi Delta yang tidak didukung dalam protokol lain, termasuk berbagi buku catatan, berbagi volume Katalog Unity, berbagi model AI Katalog Unity, tata kelola data Katalog Unity, audit, dan pelacakan penggunaan untuk penyedia dan penerima. Integrasi dengan Unity Catalog menyederhanakan penyiapan dan tata kelola untuk penyedia dan penerima dan meningkatkan performa.

   Lihat Berbagi data menggunakan protokol Delta Sharing Databricks-to-Databricks (untuk penyedia).

2. Protokol berbagi terbuka Databricks, yang memungkinkan Anda berbagi data tabular yang Anda kelola di ruang kerja Databricks berkemampuan Unity Catalog dengan pengguna di platform komputasi apa pun.

   Pendekatan ini menggunakan server Berbagi Delta yang disertakan dalam Azure Databricks dan berguna saat Anda mengelola data menggunakan Katalog Unity dan ingin membagikannya dengan pengguna yang tidak menggunakan Databricks atau tidak memiliki akses ke ruang kerja Databricks yang mendukung Katalog Unity. Integrasi dengan Unity Catalog di sisi penyedia menyederhanakan penyiapan dan tata kelola untuk penyedia.

   Lihat Berbagi data menggunakan protokol berbagi terbuka Delta Sharing (untuk penyedia).

3. Implementasi yang dikelola pelanggan dari server open-source Delta Sharing, yang memungkinkan Anda berbagi dari platform apa pun ke platform mana pun, baik menggunakan Databricks maupun tidak.

   Dokumentasi Azure Databricks tidak mencakup instruksi untuk menyiapkan server Berbagi Delta Anda sendiri. Lihat github.com/delta-io/delta-sharing.

4. Konektor SAP Business Data Cloud (BDC) untuk Azure Databricks, yang memungkinkan Anda berbagi data antara ruang kerja yang mendukung Katalog Unity dan akun SAP BDC.

   Pendekatan ini menggunakan Konektor SAP BDC, yang memanfaatkan Delta Sharing untuk akses langsung dan tanpa salinan ke produk data SAP BDC.

   Lihat Apa konektor SAP BDC untuk Azure Databricks?.

Berbagi, penyedia, dan penerima

Konsep utama yang mendasari Berbagi Delta dalam Azure Databricks adalah bagian, penyedia, dan penerima.

Apa itu berbagi?

Dalam Delta Sharing, sebuah bagikan adalah kumpulan tabel dan partisi tabel hanya baca yang ingin dibagikan oleh penyedia kepada satu atau beberapa penerima. Jika penerima Anda menggunakan ruang kerja Databricks dengan dukungan Unity Catalog, Anda juga bisa menyertakan file buku catatan, tampilan (termasuk tampilan dinamis yang membatasi akses di tingkat baris dan kolom), volume Katalog Unity, dan model Katalog Unity dalam berbagi.

Anda dapat menambahkan atau menghapus tabel, tabel streaming, tabel Iceberg yang dikelola, tampilan, tampilan materialisasi, volume, model, dan file notebook dari sebuah bagian kapan saja, dan Anda dapat menetapkan atau mencabut akses penerima data ke bagian kapan saja.

Di ruang kerja Azure Databricks yang diaktifkan Unity Catalog, share adalah objek yang dapat diamankan yang terdaftar di Unity Catalog. Jika Anda menghapus berbagi dari metastore Unity Catalog Anda, semua penerima berbagi tersebut kehilangan kemampuan untuk mengaksesnya.

Lihat Membuat dan mengelola saham untuk Delta Sharing.

Apa itu penyedia?

Penyedia adalah entitas yang berbagi data dengan penerima. Jika Anda adalah penyedia dan ingin memanfaatkan server bawaan Berbagi Delta Databricks dan mengelola saham dan penerima menggunakan Unity Catalog, Anda memerlukan paling tidak satu ruang kerja Azure Databricks yang diaktifkan untuk Unity Catalog. Anda tidak perlu memigrasikan semua ruang kerja yang ada ke Unity Catalog. Anda cukup membuat ruang kerja baru yang mendukung Unity Catalog untuk kebutuhan Berbagi Delta Anda.

Jika penerima berada di ruang kerja Databricks yang mendukung Katalog Unity, penyedia juga merupakan objek yang dapat diamankan dalam Katalog Unity, yang mewakili organisasi penyedia dan mengaitkan organisasi tersebut dengan serangkaian pembagian data.

Apa itu penerima?

Penerima adalah entitas yang menerima saham dari penyedia. Di Katalog Unity, sebuah "share" adalah objek yang dapat diamankan yang mewakili organisasi dan mengaitkannya dengan pengidentifikasi berbagi yang terkait dengan kredensial atau yang aman, yang memungkinkan organisasi tersebut mengakses satu atau beberapa "share".

Sebagai penyedia data (sharer), Anda dapat menentukan beberapa penerima untuk metastore Unity Catalog tertentu, tetapi jika Anda ingin berbagi data dari beberapa metastore dengan pengguna atau grup pengguna tertentu, Anda harus menentukan penerima secara terpisah untuk setiap metastore. Penerima dapat memiliki akses ke beberapa saham.

Jika penyedia menghapus penerima dari metastore Unity Catalog mereka, penerima tersebut kehilangan akses ke semua berbagi yang sebelumnya dapat diaksesnya.

Lihat Membuat dan mengelola penerima data untuk Delta Sharing (berbagi Databricks-ke-Databricks).

Berbagi secara terbuka versus berbagi secara Databricks-ke-Databricks

Bagian ini menjelaskan dua protokol untuk berbagi dari ruang kerja Databricks yang diaktifkan untuk Unity Catalog.

Note

Bagian ini mengasumsikan bahwa penyedia berada di ruang kerja Azure Databricks yang didukung Katalog Unity. Untuk mempelajari cara menyiapkan server Delta Sharing sumber terbuka untuk berbagi dari platform yang bukan berasal dari Databricks atau ruang kerja yang bukan dari Unity Catalog, kunjungi github.com/delta-io/delta-sharing.

Cara penyedia menggunakan Berbagi Delta di Azure Databricks bergantung pada dengan siapa mereka berbagi data:

• Berbagi terbuka memungkinkan Anda berbagi data dengan pengguna mana pun, baik mereka memiliki akses ke Azure Databricks atau tidak.
• berbagi Databricks-to-Databricks memungkinkan Anda berbagi data dengan pengguna Azure Databricks yang ruang kerjanya dilampirkan ke metastore Unity Catalog yang berbeda dari metastore Anda. Databricks-to-Databricks juga mendukung pembagian notebook, volume, dan model, yang tidak tersedia dalam pembagian terbuka.

Apa itu Open Delta Sharing?

Jika Anda ingin berbagi data dengan pengguna di luar ruang kerja Azure Databricks Anda, terlepas dari apakah mereka menggunakan Databricks, Anda dapat menggunakan Buka Berbagi Delta untuk berbagi data Anda dengan aman. Sebagai penyedia data, Anda mengelola autentikasi dengan penerima berbagi menggunakan salah satu metode berikut:

• Anda membuat token pembawa dengan masa berlaku panjang dan membagikannya dengan aman kepada penerima. Mereka menggunakan token untuk mengautentikasi dan mendapatkan akses baca ke tabel yang Anda sertakan dalam pembagian yang Anda izinkan kepada mereka.
• Anda menggunakan federasi Open ID Connect (OIDC), yang memberikan token OAuth Databricks berumur pendek kepada penerima sebagai imbalan atas token JWT yang diteruskan oleh IdP penerima ke Databricks.

Penerima dapat mengakses data bersama menggunakan banyak alat dan platform komputasi, termasuk:

• Azure Databricks
• Apache Spark
• Pandas
• Power BI

Untuk daftar lengkap konektor Berbagi Delta dan informasi tentang cara menggunakannya, lihat dokumentasi Berbagi Delta .

Lihat juga Berbagi data menggunakan protokol berbagi terbuka Berbagi Delta (untuk penyedia).

Apa itu Databricks-to-Databricks Delta Sharing?

Jika Anda ingin berbagi data dengan pengguna yang memiliki ruang kerja Databricks yang diaktifkan untuk Unity Catalog, Anda dapat menggunakan Databricks-to-Databricks Delta Sharing. Berbagi Databricks-to-Databricks memungkinkan Anda berbagi data dengan pengguna di akun Databricks lainnya, baik mereka menggunakan AWS, Azure, atau GCP. Ini juga merupakan cara yang bagus untuk berbagi data dengan aman di berbagai metastore Unity Catalog dalam akun Databricks Anda sendiri. Perhatikan bahwa tidak perlu menggunakan Berbagi Delta untuk berbagi data antar ruang kerja yang dilampirkan ke metastore Katalog Unity yang sama, karena dalam skenario tersebut Anda dapat menggunakan Katalog Unity itu sendiri untuk mengelola akses ke data di seluruh ruang kerja.

Salah satu keuntungan dari berbagi Databricks-ke-Databricks adalah bahwa penerima berbagi tidak memerlukan token untuk mengakses berbagi, dan penyedia tidak perlu mengelola token penerima. Keamanan koneksi berbagi—termasuk semua verifikasi identitas, autentikasi, dan audit—dikelola sepenuhnya melalui Berbagi Delta dan platform Databricks. Keuntungan lainnya adalah kemampuan untuk berbagi file notebook Databricks, volume Unity Catalog, dan model Unity Catalog.

Lihat juga Berbagi data menggunakan protokol Delta Sharing Databricks-to-Databricks (untuk penyedia).

Bagaimana admin penyedia layanan menyiapkan Delta Sharing?

Bagian ini memberikan gambaran umum tentang bagaimana penyedia dapat mengaktifkan Berbagi Delta dan memulai berbagi dari ruang kerja Azure Databricks yang mendukung Katalog Unity. Untuk Delta Sharing sumber terbuka, kunjungi github.com/delta-io/delta-sharing.

Berbagi antar Databricks dalam Unity Catalog metastore di akun yang sama selalu diaktifkan. Jika Anda adalah penyedia yang ingin mengaktifkan Berbagi Delta untuk berbagi data dengan ruang kerja Databricks di akun lain atau klien non-Databricks, admin akun Azure Databricks atau admin metastore melakukan langkah-langkah penyiapan berikut (pada tingkat tinggi):

1. Aktifkan Delta Sharing untuk metastore Unity Catalog tersebut yang mengelola data yang ingin Anda bagikan.

   Note

   Anda tidak perlu mengaktifkan Berbagi Delta di metastore Anda jika Anda berniat menggunakan Berbagi Delta untuk berbagi data hanya dengan pengguna di metastore Katalog Unity lainnya di akun Anda. Berbagi metastore-ke-metastore di dalam satu akun Azure Databricks diaktifkan secara default.

   Lihat Mengaktifkan Berbagi Delta di metastore.

2. Buat pembagian yang menyertakan aset data yang terdaftar di metastore Katalog Unity.

   Jika Anda berbagi dengan penerima non-Databricks (dikenal sebagai berbagi terbuka) Anda bisa menyertakan tabel dalam format Delta. Jika Anda berencana menggunakan pembagian antar-Databricks, Anda juga dapat menambahkan tampilan (views), volume Katalog Unity, model Katalog Unity, dan file notebook ke dalam pembagian.

   Lihat Membuat dan mengelola saham untuk Delta Sharing.

3. Buat penerima.

   Lihat Membuat dan mengelola penerima data untuk Delta Sharing (berbagi Databricks-ke-Databricks).

   Jika penerima Anda bukan pengguna Databricks, atau tidak memiliki akses ke ruang kerja Databricks yang diaktifkan untuk Unity Catalog, Anda harus menggunakan berbagi terbuka. Anda dapat menghasilkan kredensial berbasis token pembawa untuk penerima tersebut atau menggunakan federasi OIDC.

   Jika penerima Anda memiliki akses ke ruang kerja Databricks yang diaktifkan untuk Unity Catalog, Anda dapat menggunakan pembagian Databricks ke Databricks, dan tidak diperlukan kredensial berbasis token. Anda meminta pengidentifikasi berbagi dari penerima dan menggunakannya untuk membuat koneksi aman.

   Tip

   Gunakan diri Anda sebagai penerima pengujian untuk mencoba proses penyiapan.

4. Berikan akses kepada penerima ke satu atau beberapa saham.

   Lihat Mengelola akses ke pembagian data Delta Sharing (untuk penyedia).

   Note

   Langkah ini juga dapat dilakukan oleh pengguna non-admin dengan USE SHAREhak istimewa , USE RECIPIENT dan SET SHARE PERMISSION . Lihat Referensi hak istimewa Katalog Unity.

5. Kirimkan kepada penerima informasi yang mereka butuhkan untuk mengakses berbagi (hanya berbagi terbuka).

   Untuk berbagi terbuka menggunakan token pembawa, gunakan saluran aman untuk mengirim tautan aktivasi kepada penerima yang memungkinkan mereka mengunduh kredensial berbasis token mereka. Lihat Mengirim informasi koneksi mereka kepada penerima.

   Untuk berbagi terbuka menggunakan federasi token OIDC, kirim URL portal yang dihasilkan. Silakan lihat Menggunakan federasi Open ID Connect (OIDC) untuk memungkinkan autentikasi ke Delta Sharing (pembagian terbuka).

   Untuk pembagian Databricks-ke-Databricks, data yang disertakan dalam pembagian menjadi tersedia di ruang kerja Databricks penerima segera setelah Anda memberi mereka akses ke pembagian tersebut.

Penerima sekarang dapat mengakses data bersama.

Bagaimana penerima mengakses data bersama?

Penerima mengakses aset data bersama dalam format baca-saja. File buku catatan bersama bersifat baca-saja, tetapi dapat dikloning lalu dimodifikasi dan dijalankan di ruang kerja penerima sama seperti buku catatan lainnya.

Akses aman tergantung pada model berbagi:

• Pembagian terbuka (penerima tidak memiliki lingkungan kerja Databricks yang diaktifkan untuk Katalog Unity) memiliki dua opsi:

  • Dalam alur token pembawa, penerima memberikan kredensial setiap kali mereka mengakses data dalam alat pilihan mereka, termasuk Apache Spark, panda, Power BI, Databricks, dan banyak lagi. Lihat Baca data yang dibagikan menggunakan Delta Sharing berbagi terbuka dengan token pembawa.
  • Dalam alur federasi token OIDC, penerima atau aplikasi klien penerima mengakses data menggunakan IdP mereka sendiri. Lihat cara menerima berbagi Delta Sharing menggunakan federasi Open ID Connect (OIDC) dalam alur pengguna ke komputer (berbagi terbuka) dan cara menerima berbagi Delta Sharing menggunakan klien Python dan federasi Open ID Connect (OIDC) dalam alur mesin ke mesin (berbagi terbuka).

• Databricks-to-Databricks (ruang kerja penerima diaktifkan untuk Unity Catalog): Penerima mengakses data menggunakan Databricks. Mereka dapat menggunakan Unity Catalog untuk memberikan dan menolak akses ke pengguna lain di akun Databricks mereka. Lihat Baca data yang dibagikan menggunakan Delta Sharing Databricks-ke-Databricks (untuk penerima).

Setiap kali penyedia data memperbarui tabel data atau volume di akun Databricks mereka sendiri, pembaruan muncul mendekati real time dalam sistem penerima. Untuk mempelajari cara mengakses data yang telah dibagikan dengan Anda menggunakan Berbagi Delta, lihat Mengakses data yang dibagikan dengan Anda menggunakan Berbagi Delta (untuk penerima).

Bagaimana Anda melacak siapa yang berbagi dan mengakses data bersama?

Penyedia data di ruang kerja Azure Databricks yang mendukung Unity Catalog dapat menggunakan pencatatan audit Azure Databricks dan tabel sistem untuk memantau pembuatan dan modifikasi pembagian serta penerima, dan dapat memantau aktivitas penerima pada pembagian. Lihat Mengaudit dan memantau berbagi data.

Penerima data yang menggunakan data bersama di ruang kerja Databricks dapat menggunakan pengelogan audit Databricks dan tabel sistem untuk memahami siapa yang mengakses data mana. Lihat Mengaudit dan memantau berbagi data.

Berbagi volume penyimpanan

Anda dapat berbagi volume penyimpanan menggunakan alur berbagi Databricks-to-Databricks. Lihat Menambahkan volume ke suatu ruang berbagi (untuk penyedia) dan Membaca data yang dibagikan menggunakan fitur Delta Sharing Databricks-ke-Databricks (untuk penerima).

Model berbagi

Anda dapat berbagi model menggunakan alur berbagi Databricks-to-Databricks. Lihat Menambahkan model ke berbagi (untuk penyedia) dan Membaca data yang dibagikan menggunakan Databricks-to-Databricks Delta Sharing (untuk penerima) (untuk penerima).

Berbagi buku catatan

Anda dapat menggunakan Berbagi Delta untuk berbagi file catatan menggunakan alur berbagi dari Databricks ke Databricks. Lihat Menambahkan file buku catatan ke berbagi (untuk penyedia) dan Membaca buku catatan bersama (untuk penerima).

Membatasi akses di tingkat baris dan kolom saat berbagi tampilan

Anda dapat berbagi tampilan dinamis yang membatasi akses ke data tabel tertentu berdasarkan properti penerima. Lihat Menambahkan tampilan dinamis ke berbagi untuk memfilter baris dan kolom.

Delta Sharing dan streaming

Delta Sharing mendukung Apache Spark Structured Streaming. Penyedia dapat berbagi tabel dengan riwayat atau tabel streaming sehingga penerima dapat menggunakannya sebagai sumber Streaming Terstruktur, memproses data bersama secara bertahap dengan latensi rendah. Penerima juga dapat melakukan kueri perjalanan waktu Delta Lake pada tabel yang memiliki riwayat.

Untuk mempelajari cara berbagi tabel dengan riwayat, lihat Menambahkan tabel ke berbagi. Untuk mempelajari cara menggunakan tabel bersama sebagai sumber streaming, lihat Mengkueri tabel menggunakan Streaming Terstruktur Apache Spark (untuk penerima berbagi Databricks-ke-Databricks) atau Mengakses tabel bersama menggunakan Spark Structured Streaming (untuk penerima data berbagi terbuka).

Untuk mempelajari cara berbagi tabel streaming, lihat Menambahkan tabel streaming ke berbagi.

Lihat juga Konsep Streaming Terstruktur.

Matriks dukungan fitur Delta Lake

"Delta Sharing" mendukung sebagian besar fitur Delta Lake ketika Anda membagikan tabel. Daftar matriks dukungan ini:

• Fitur Delta yang memerlukan versi tertentu dari Databricks Runtime, konektor Spark Delta Sharing open-source, atau konektor Python Delta Sharing open-source.
• Fitur yang didukung sebagian.

Feature	Provider	Penerima Databricks	Penerima sumber terbuka
Vektor penghapusan	Berbagi tabel dengan fitur ini saat ini dalam tahap Pratinjau Umum. Tabel harus dibagikan beserta riwayatnya.	Databricks Runtime 14.1+ untuk kueri kumpulan Databricks Runtime 14.2+ untuk kueri CDF dan streaming	Konektor Delta Sharing untuk Spark 3.1+ Konektor Delta Sharing Python 1.1.0+ Power BI v2.132.908.0+
Pemetaan kolom	Berbagi tabel dengan fitur ini saat ini dalam tahap Pratinjau Umum. Tabel harus dibagikan beserta riwayatnya.	Databricks Runtime 14.1+ untuk kueri kumpulan Databricks Runtime 14.2+ untuk kueri CDF dan streaming	Konektor Delta Sharing untuk Spark 3.1+ Didukung dengan pembatasan pada konektor Python untuk Delta Sharing Power BI v2.132.908.0+
Format seragam	Berbagi tabel dengan fitur ini saat ini dalam tahap Pratinjau Umum. Tabel harus dibagikan beserta riwayatnya.	Databricks Runtime 14.1+ untuk kueri kumpulan Databricks Runtime 14.2+ untuk kueri CDF dan streaming	Konektor Delta Sharing untuk Spark 3.1+ Konektor Delta Sharing Python 1.1.0+ Power BI v2.132.908.0+
Titik pemeriksaan V2	Didukung dengan batasan	Didukung dengan batasan	Didukung dengan batasan
TimestampNTZ	Supported	Databricks Runtime versi 14.1+	Konektor Delta Pembagian Spark 3.3+
Pengklusteran cairan	Didukung dengan batasan	Didukung dengan batasan	Didukung dengan batasan

Tanya Jawab Seputar Berbagi Delta

Berikut ini adalah tanya jawab umum tentang Berbagi Delta.

Apakah saya memerlukan Katalog Unity untuk menggunakan Berbagi Delta?

Tidak, Anda tidak memerlukan Unity Catalog untuk berbagi (sebagai penyedia) atau menggunakan data bersama (sebagai penerima). Namun, Unity Catalog memberikan manfaat seperti dukungan untuk berbagi aset non-tabular dan AI, tata kelola siap pakai, kesederhanaan, dan kinerja kueri.

Penyedia dapat berbagi data dengan dua cara:

• Letakkan aset untuk dibagikan di bawah manajemen Katalog Unity dan bagikan menggunakan server Berbagi Delta Azure Databricks bawaan.

  Anda tidak perlu memigrasikan semua aset ke Unity Catalog. Anda hanya memerlukan satu Azure Databricks workspace yang diaktifkan untuk Katalog Unity, untuk mengelola aset yang ingin Anda bagikan. Di beberapa akun, ruang kerja baru secara otomatis diaktifkan untuk Katalog Unity. Lihat Pengaktifan Otomatis Katalog Unity.

• Terapkan server Delta Sharing yang terbuka untuk berbagi data, tanpa perlu menggunakan akun Azure Databricks Anda.

Penerima dapat menggunakan data dengan dua cara:

• Tidak ada ruang kerja Databricks. Gunakan konektor Open source Delta Sharing yang tersedia untuk banyak platform data, termasuk Power BI, panda, dan sumber terbuka Apache Spark. Lihat Baca data yang dibagikan menggunakan Delta Sharing dengan token pembawa dan proyek sumber terbuka Delta Sharing.

• Di ruang kerja Databricks. Ruang kerja penerima tidak perlu diaktifkan untuk Unity Catalog, namun ada keuntungan dalam tata kelola, kesederhanaan, dan performa jika diaktifkan.

  Organisasi penerima yang menginginkan keuntungan ini tidak perlu memigrasikan semua aset ke Unity Catalog. Anda hanya memerlukan satu ruang kerja Azure Databricks yang memiliki Unity Catalog diaktifkan untuk mengelola aset yang dibagikan dengan Anda. Di beberapa akun, ruang kerja baru secara otomatis diaktifkan untuk Katalog Unity. Lihat Pengaktifan Otomatis Katalog Unity.

Lihat Membaca data yang dibagikan menggunakan Delta Sharing secara terbuka dengan bearer token dan Membaca data yang dibagikan menggunakan Databricks-to-Databricks Delta Sharing (untuk penerima).

Apakah saya harus menjadi pelanggan Databricks untuk menggunakan Berbagi Delta?

Tidak, Berbagi Delta adalah protokol terbuka. Anda dapat berbagi data non-Databricks dengan penerima di platform data apa pun. Penyedia dapat mengonfigurasi server Berbagi Delta terbuka untuk dibagikan dari platform komputasi apa pun. Penerima dapat mengonsumsi data bersama menggunakan konektor Berbagi Delta sumber terbuka untuk banyak produk data, termasuk Power BI, Pandas, dan Spark sumber terbuka.

Namun, menggunakan Delta Sharing di Azure Databricks, terutama berbagi dari ruang kerja yang mendukung Unity Catalog, memiliki banyak keuntungan.

Untuk detailnya, lihat pertanyaan pertama dalam FAQ ini.

Bagaimana cara dikenakan dan memeriksa biaya Berbagi Delta?

Biaya Delta Sharing dikenakan saat berbagi dan mengakses tampilan, tampilan materialisasi, dan tabel streaming. Ini adalah sumber biaya potensial untuk berbagi:

• Biaya komputasi, dibebankan oleh Azure Databricks.
• Biaya penyimpanan dan transfer jaringan (keluar), dibebankan oleh vendor penyimpanan.
• Biaya sumber komputasi asing, saat berbagi skema dan tabel asing.

Metode di mana komputasi dilakukan dan siapa yang membayarnya tergantung pada beberapa faktor:

• Jenis komputasi penerima
• Apakah berbagi terjadi dalam akun Azure Databricks yang sama atau di seluruh akun

Tabel berikut ini menjelaskan metode penagihan untuk berbagi dan mengakses views menggunakan Delta Sharing.

Penerima menghitung	Hubungan akun	Siapa yang membayar	SKU yang digunakan untuk penagihan	Metode akses
Databricks Serverless	Any	Recipient*	Tanpa server penerima	Penerima menerima akses langsung ke data yang mendasar
Databricks Classic	Akun yang sama	Recipient*	Klasik milik penerima	Penerima menerima akses langsung ke data yang mendasar
Databricks Classic	Akun yang berbeda	Recipient	Penyedia interaktif tanpa server	Penyedia melakukan pemfilteran
Buka Konektor Delta Sharing	Any	Provider	Penyedia interaktif tanpa server	Penyedia melakukan pemfilteran

* Saat Anda menggunakan Delta Sharing dengan penerima yang menggunakan komputasi tanpa server di akun lain, atau dengan penerima di akun yang sama, tidak dikenakan biaya tambahan. Ini berarti tidak ada biaya tambahan untuk mewujudkan aset data.

Saat berbagi tabel asing (Beta), materialisasi selalu dilakukan dan disimpan di pihak penyedia. Untuk tabel Iceberg asing, materialisasi dilakukan di sisi penyedia saat berbagi dengan penerima terbuka yang tidak menggunakan klien Iceberg. Penyedia mungkin melihat biaya tambahan yang diatribusikan ke penyimpanan default yang digunakan untuk materialisasi data. Tidak ada biaya komputasi untuk tabel asing selama Beta.

Atribusi penagihan juga dapat dikueri menggunakan referensi tabel sistem penggunaan yang dapat ditagih dan referensi tabel sistem riwayat materialisasi Berbagi Delta. Jika penerima membayar atribusi, maka hanya penerima yang dapat melihat rekaman terkait dalam tabel sistem. Misalnya kueri, lihat Kueri sampel.

Apakah penggunaan Delta Sharing dikenakan biaya keluar?

Berbagi Delta dalam suatu wilayah tidak dikenakan biaya egress. Tidak seperti platform berbagi data lainnya, Berbagi Delta tidak memerlukan replikasi data. Model ini memiliki banyak keuntungan, tetapi artinya vendor cloud Anda dapat membebankan biaya keluar data saat Anda berbagi data di seluruh cloud atau wilayah. Azure Databricks mendukung berbagi dari Cloudflare R2, yang tidak dikenakan biaya keluar, dan menyediakan alat dan rekomendasi lain untuk memantau dan menghindari biaya keluar. Lihat Memantau dan mengelola biaya lalu lintas keluar Delta Sharing (untuk penyedia).

Apakah penerima memiliki akses langsung ke data yang mendasar dalam tampilan bersama, tampilan materialisasi, dan tabel streaming?

Untuk tampilan bersama, tampilan materialisasi, dan tabel streaming, penerima data memiliki akses langsung jika salah satu hal berikut ini benar:

• Penerima menggunakan komputasi tanpa server atau komputasi klasik non-khusus pada akun Azure Databricks yang sama.
• Penerima menggunakan komputasi tanpa server pada akun Azure Databricks yang berbeda.

Selain itu, data dimaterialisasi dan disaring di sisi penyedia.

Materialisasi data disimpan di bawah lokasi penyimpanan induk dari aset data yang dibagikan bersama.

Saat berbagi aset materialisasi, komputasi memproses permintaan dengan menerapkan filter yang diperlukan dan membuat materialisasi sementara yang di-cache di penyimpanan penyedia. Data yang difilter ini dikirimkan ke penerima menggunakan URL berumur pendek yang telah ditandatangani sebelumnya, memastikan akses yang aman sambil mempertahankan kontrol akses penyedia-ke-penerima.

Dapatkah penyedia mencabut akses penerima?

Ya, akses penerima dapat dicabut sesuai permintaan dan pada tingkat granularitas tertentu. Anda dapat menolak akses penerima ke berbagi tertentu dan alamat IP tertentu, memfilter data tabular untuk penerima, mencabut token penerima, dan menghapus penerima sepenuhnya. Lihat Mencabut akses penerima untuk berbagi dan Membuat dan mengelola penerima data untuk Berbagi Delta (berbagi Databricks-ke-Databricks).

Bukankah tidak aman untuk menggunakan URL yang telah ditandatangani sebelumnya?

Berbagi Delta menggunakan URL yang telah ditandatangani sebelumnya untuk menyediakan akses sementara ke file di penyimpanan objek. Mereka hanya diberikan kepada penerima yang sudah memiliki akses ke data bersama. Mereka aman karena berumur pendek dan tidak memperluas tingkat akses di luar apa yang telah diberikan kepada penerima.

Apakah token yang digunakan dalam protokol berbagi terbuka Berbagi Delta aman?

Karena Berbagi Delta memungkinkan berbagi lintas platform—tidak seperti platform berbagi data lain yang tersedia—protokol berbagi memerlukan token terbuka. Penyedia dapat memastikan keamanan token dengan mengonfigurasi masa pakai token, mengatur kontrol jaringan, dan mencabut akses sesuai permintaan. Selain itu, token tidak memperluas tingkat akses di luar apa yang telah diberikan kepada para penerima. Lihat Pertimbangan keamanan untuk token.

Jika Anda lebih suka tidak menggunakan token untuk mengelola akses ke bagian penerima, gunakan berbagi Databricks-ke-Databricks atau hubungi tim akun Databricks Anda untuk pilihan lainnya.

Apa perbedaan antara Lakeflow Connect dan Delta Sharing?

Delta Sharing memungkinkan Anda membagikan data yang langsung dan aman di seluruh platform, cloud, dan wilayah. Databricks menyarankan penyerapan menggunakan konektor terkelola karena dapat disesuaikan skala untuk mengakomodasi volume data yang tinggi, kueri dengan latensi rendah, dan batas penggunaan API pihak ketiga. Namun, Anda mungkin ingin mengkueri data Anda tanpa memindahkannya.

Saat Anda memiliki pilihan antara konektor terkelola dan Delta Sharing, pilih Delta Sharing untuk skenario berikut:

• Membatasi duplikasi data.
• Mengkueri data sesegar mungkin.

Batasan

Format tabel dan dukungan fitur

Persyaratan format:

• Data tabular harus dalam format tabel Delta atau Iceberg terkelola . Anda dapat dengan mudah mengonversi tabel Parquet ke Delta—dan mengonversinya kembali. Lihat CONVERT TO DELTA.
• Delta Sharing hanya dapat membaca tabel UniForm sebagai tabel Delta.

Tabel yang tidak didukung:

• Penyedia tidak dapat berbagi tabel yang menggunakan pengklusteran cair dengan pemfilteran partisi.
• Penyedia tidak dapat berbagi tabel R2 dengan titik pemeriksaan V2.
• Penyedia tidak dapat berbagi tabel dengan kolasi yang diaktifkan.
• Penyedia tidak dapat berbagi tabel dengan filter baris atau masker kolom.
• Penyedia tidak dapat berbagi SHALLOW CLONE tabel. Azure Databricks tidak mendukung penandatanganan di muka URL untuk log Delta yang mereferensikan jalur absolut.
• Penyedia tidak dapat berbagi tabel Iceberg terkelola ke klien Iceberg eksternal. Lihat Tambahkan tabel Iceberg yang dikelola ke dalam berbagi dan Aktifkan berbagi dengan klien Iceberg eksternal.
• Batasan kunci asing tidak tersedia dalam tabel bersama.

Berbagi dari Databricks ke Databricks Saja

Aset berikut hanya dapat dibagikan menggunakan alur berbagi Databricks-to-Databricks:

• Berbagi buku catatan. Lihat Tambahkan file buku catatan ke lokasi berbagi dan Baca data yang dibagikan dengan menggunakan Delta Sharing Databricks-ke-Databricks (bagi penerima).
• Berbagi volume. Lihat Menambah volume ke suatu berbagi (untuk penyedia) dan Membaca data yang dibagikan menggunakan Pembagian Data Delta dari Databricks ke Databricks (untuk penerima).
• Berbagi model. Lihat Tambahkan model ke dalam pembagian (untuk penyedia) dan Baca data yang dibagikan menggunakan fasilitas berbagi Databricks Delta dari Databricks ke Databricks (untuk penerima).

Views

• Tampilan yang dapat dibagikan harus ditentukan pada tabel Delta atau tampilan lain yang dapat dibagikan. Lihat Menambahkan tampilan ke berbagi (untuk penyedia) dan Membaca tampilan bersama (untuk penerima).

Siaran Langsung

• Delta Sharing tidak mendukung perubahan responseFormat saat sumber streaming berjalan atau selama penyetelan ulang streaming.

Metadata penerima

• Tabel di information_schema dari katalog bersama mencerminkan metadata yang disimpan di Katalog Unity. Metadata ini diperbarui dari penyedia hanya saat Anda mengkueri tabel bersama secara langsung atau menjalankan perintah seperti DESCRIBE atau REFRESH FOREIGN. Hingga saat itu, information_schema mungkin terlihat usang dibandingkan dengan data penyedia.

Batas sumber daya dan teknis

• Ada batasan jumlah file dalam metadata yang diizinkan untuk tabel bersama. Untuk mempelajari selengkapnya, lihat Kesalahan batas sumber daya terlampaui.
• Skema bernama information_schema tidak dapat diimpor ke metastore Unity Catalog, karena nama skema tersebut dicadangkan dalam Unity Catalog.

Lihat juga matriks dukungan fitur Delta Lake.

Penghapusan kaskade melewati perlindungan berbagi

Menghapus objek induk, seperti katalog atau skema, memicu penghapusan berantai objek turunannya, bahkan jika objek anak tersebut disertakan dalam pembagian aktif. Setelah penghapusan secara kaskade menghapus aset, Anda tidak dapat menambahkan kembali aset dengan nama yang sama ke dalam berbagi.

Untuk menghindari masalah ini, hapus aset dari semua pembagian sebelum menghapus objek induknya.

Kuota sumber daya

Azure Databricks menerapkan kuota sumber daya pada semua objek yang melibatkan keamanan Delta Sharing. Kuota ini tercantum dalam batas Sumber Daya. Jika Anda berharap melebihi batas sumber daya ini, hubungi tim akun Azure Databricks Anda.

Anda dapat memantau penggunaan kuota menggunakan API kuota sumber daya Unity Catalog. Lihatlah cara memantau penggunaan kuota sumber daya Unity Catalog Anda .

Langkah selanjutnya

• Aktifkan akun Databricks Anda untuk Delta Sharing
• Membuat saham
• Membuat penerima
• Pelajari selengkapnya tentang berbagi terbuka dan model berbagi Databricks-ke-Databricks
• Pelajari cara penerima mengakses data bersama