Bagikan melalui

Apa itu Berbagi Delta?

Halaman ini memperkenalkan Berbagi Delta di Azure Databricks, platform berbagi data aman yang memungkinkan Anda berbagi data dan aset AI di Azure Databricks dengan pengguna di luar organisasi Anda, terlepas dari apakah mereka menggunakan Azure Databricks. Delta Sharing juga merupakan dasar untuk Databricks Marketplace, forum terbuka untuk bertukar produk data, dan Clean Rooms, lingkungan yang aman dan melindungi privasi di mana beberapa pihak dapat bekerja sama pada data perusahaan yang sensitif.

Berbagi Delta juga tersedia sebagai proyek sumber terbuka yang dapat Anda gunakan untuk berbagi tabel Delta dari platform lain.

Bagaimana cara kerja Berbagi Delta?

Berbagi Delta adalah protokol terbuka yang dikembangkan oleh Databricks untuk berbagi data yang aman dengan organisasi lain terlepas dari platform komputasi yang mereka gunakan.

Ada beberapa cara untuk membagikan data menggunakan Delta Sharing.

  1. Protokol berbagi Databricks-to-Databricks, yang memungkinkan Anda berbagi data dan aset AI dari ruang kerja yang didukung Unity Catalog dengan pengguna yang juga memiliki akses ke ruang kerja Databricks yang mendukung Unity Catalog.

    Pendekatan ini menggunakan server Berbagi Delta yang dibangun ke dalam Azure Databricks. Ini mendukung beberapa fitur Berbagi Delta yang tidak didukung dalam protokol lain, termasuk berbagi buku catatan, berbagi volume Katalog Unity, berbagi model AI Katalog Unity, tata kelola data Katalog Unity, audit, dan pelacakan penggunaan untuk penyedia dan penerima. Integrasi dengan Unity Catalog menyederhanakan penyiapan dan tata kelola untuk penyedia dan penerima dan meningkatkan performa.

    Lihat Berbagi data menggunakan protokol Delta Sharing Databricks-to-Databricks (untuk penyedia).

  2. Protokol berbagi terbuka Databricks, yang memungkinkan Anda berbagi data tabular yang Anda kelola di ruang kerja Databricks berkemampuan Unity Catalog dengan pengguna di platform komputasi apa pun.

    Pendekatan ini menggunakan server Berbagi Delta yang disertakan dalam Azure Databricks dan berguna saat Anda mengelola data menggunakan Unity Catalog dan ingin membagikannya dengan pengguna yang tidak menggunakan Databricks atau tidak memiliki akses ke ruang kerja Databricks yang mendukung Unity Catalog. Integrasi dengan Unity Catalog di sisi penyedia menyederhanakan penyiapan dan tata kelola untuk penyedia.

    Lihat Berbagi data menggunakan protokol berbagi terbuka Delta Sharing (untuk penyedia).

  3. Implementasi yang dikelola pelanggan dari server open-source Delta Sharing, yang memungkinkan Anda berbagi dari platform apa pun ke platform mana pun, baik menggunakan Databricks maupun tidak.

    Dokumentasi Azure Databricks tidak mencakup instruksi untuk menyiapkan server Berbagi Delta Anda sendiri. Lihat github.com/delta-io/delta-sharing.

  4. Konektor SAP Business Data Cloud (BDC) untuk Azure Databricks, yang memungkinkan Anda berbagi data antara ruang kerja yang mendukung Katalog Unity dan akun SAP BDC.

    Pendekatan ini menggunakan Konektor SAP BDC, yang memanfaatkan Delta Sharing untuk akses langsung dan tanpa salinan ke produk data SAP BDC.

    Lihat Apa itu Konektor SAP BDC untuk Azure Databricks?.

Arsitektur akses data Delta Sharing.

Berbagi, penyedia, dan penerima

Konsep utama yang mendasar Berbagi Delta di Azure Databricks adalah berbagi, penyedia, dan penerima.

Apa itu berbagi?

Dalam Delta Sharing, sebuah bagikan adalah kumpulan tabel dan partisi tabel hanya baca yang ingin dibagikan oleh penyedia kepada satu atau beberapa penerima. Jika penerima Anda menggunakan ruang kerja Databricks dengan dukungan Unity Catalog, Anda juga bisa menyertakan file buku catatan, tampilan (termasuk tampilan dinamis yang membatasi akses di tingkat baris dan kolom), volume Katalog Unity, dan model Katalog Unity dalam berbagi.

Anda dapat menambahkan atau menghapus tabel, tabel streaming, tabel Iceberg yang dikelola, tampilan, tampilan materialisasi, volume, model, dan file notebook dari sebuah bagian kapan saja, dan Anda dapat menetapkan atau mencabut akses penerima data ke bagian kapan saja.

Di ruang kerja Azure Databricks yang mendukung Unity Catalog, share adalah objek yang dapat diamankan dan terdaftar di Unity Catalog. Jika Anda menghapus berbagi dari metastore Unity Catalog Anda, semua penerima berbagi tersebut kehilangan kemampuan untuk mengaksesnya.

Lihat Membuat dan mengelola saham untuk Delta Sharing.

Apa itu penyedia?

Penyedia adalah entitas yang berbagi data dengan penerima. Jika Anda adalah penyedia dan ingin memanfaatkan server Berbagi Databricks Delta bawaan dan mengelola berbagi dan penerima menggunakan Unity Catalog, Anda memerlukan setidaknya satu ruang kerja Azure Databricks yang diaktifkan untuk Unity Catalog. Anda tidak perlu memigrasikan semua ruang kerja yang ada ke Unity Catalog. Anda cukup membuat ruang kerja baru yang mendukung Unity Catalog untuk kebutuhan Berbagi Delta Anda.

Jika penerima berada di ruang kerja Databricks yang mendukung Katalog Unity, penyedia juga merupakan objek yang dapat diamankan dalam Katalog Unity, yang mewakili organisasi penyedia dan mengaitkan organisasi tersebut dengan serangkaian pembagian data.

Apa itu penerima?

Penerima adalah entitas yang menerima saham dari penyedia. Di Katalog Unity, sebuah "share" adalah objek yang dapat diamankan yang mewakili organisasi dan mengaitkannya dengan pengidentifikasi berbagi yang terkait dengan kredensial atau yang aman, yang memungkinkan organisasi tersebut mengakses satu atau beberapa "share".

Sebagai penyedia data (sharer), Anda dapat menentukan beberapa penerima untuk metastore Unity Catalog tertentu, tetapi jika Anda ingin berbagi data dari beberapa metastore dengan pengguna atau grup pengguna tertentu, Anda harus menentukan penerima secara terpisah untuk setiap metastore. Penerima dapat memiliki akses ke beberapa saham.

Jika penyedia menghapus penerima dari metastore Unity Catalog mereka, penerima tersebut kehilangan akses ke semua berbagi yang sebelumnya dapat diaksesnya.

Lihat Membuat dan mengelola penerima data untuk Delta Sharing (berbagi Databricks-ke-Databricks).

Berbagi secara terbuka versus berbagi secara Databricks-ke-Databricks

Bagian ini menjelaskan dua protokol untuk berbagi dari ruang kerja Databricks yang diaktifkan untuk Unity Catalog.

Note

Bagian ini mengasumsikan bahwa penyedia berada di ruang kerja Azure Databricks yang mendukung Unity Catalog. Untuk mempelajari cara menyiapkan server Delta Sharing sumber terbuka untuk berbagi dari platform yang bukan berasal dari Databricks atau ruang kerja yang bukan dari Unity Catalog, kunjungi github.com/delta-io/delta-sharing.

Cara penyedia menggunakan Berbagi Delta di Azure Databricks bergantung pada dengan siapa mereka berbagi data:

  • Berbagi terbuka memungkinkan Anda berbagi data dengan pengguna mana pun, baik mereka memiliki akses ke Azure Databricks atau tidak.
  • Berbagi Databricks-to-Databricks memungkinkan Anda berbagi data dengan pengguna Azure Databricks yang ruang kerjanya dilampirkan ke metastore Unity Catalog yang berbeda dari milik Anda. Databricks-to-Databricks juga mendukung pembagian notebook, volume, dan model, yang tidak tersedia dalam pembagian terbuka.

Apa itu Open Delta Sharing?

Jika Anda ingin berbagi data dengan pengguna di luar ruang kerja Azure Databricks Anda, terlepas dari apakah mereka menggunakan Databricks, Anda dapat menggunakan Berbagi Delta terbuka untuk berbagi data Anda dengan aman. Sebagai penyedia data, Anda mengelola autentikasi dengan penerima berbagi menggunakan salah satu metode berikut:

  • Anda membuat token pembawa dengan masa berlaku panjang dan membagikannya dengan aman kepada penerima. Mereka menggunakan token untuk mengautentikasi dan mendapatkan akses baca ke tabel yang Anda sertakan dalam pembagian yang Anda izinkan kepada mereka.
  • Anda menggunakan federasi Open ID Connect (OIDC), yang memberikan token OAuth Databricks berumur pendek kepada penerima sebagai imbalan atas token JWT yang diteruskan oleh IdP penerima ke Databricks.

Penerima dapat mengakses data bersama menggunakan banyak alat dan platform komputasi, termasuk:

  • Azure Databricks
  • Apache Spark
  • Pandas
  • Power BI

Untuk daftar lengkap konektor Berbagi Delta dan informasi tentang cara menggunakannya, lihat dokumentasi Berbagi Delta .

Lihat juga Berbagi data menggunakan protokol berbagi terbuka Berbagi Delta (untuk penyedia).

Apa itu Databricks-to-Databricks Delta Sharing?

Jika Anda ingin berbagi data dengan pengguna yang memiliki ruang kerja Databricks yang diaktifkan untuk Unity Catalog, Anda dapat menggunakan Databricks-to-Databricks Delta Sharing. Berbagi Databricks-to-Databricks memungkinkan Anda berbagi data dengan pengguna di akun Databricks lainnya, baik mereka berada di AWS, Azure, atau GCP. Ini juga merupakan cara yang bagus untuk berbagi data dengan aman di berbagai metastore Unity Catalog dalam akun Databricks Anda sendiri. Perhatikan bahwa tidak perlu menggunakan Berbagi Delta untuk berbagi data antar ruang kerja yang dilampirkan ke metastore Katalog Unity yang sama, karena dalam skenario tersebut Anda dapat menggunakan Katalog Unity itu sendiri untuk mengelola akses ke data di seluruh ruang kerja.

Salah satu keuntungan dari berbagi Databricks-ke-Databricks adalah bahwa penerima berbagi tidak memerlukan token untuk mengakses berbagi, dan penyedia tidak perlu mengelola token penerima. Keamanan koneksi berbagi—termasuk semua verifikasi identitas, autentikasi, dan audit—dikelola sepenuhnya melalui Berbagi Delta dan platform Databricks. Keuntungan lainnya adalah kemampuan untuk berbagi file notebook Databricks, volume Unity Catalog, dan model Unity Catalog.

Lihat juga Berbagi data menggunakan protokol Delta Sharing Databricks-to-Databricks (untuk penyedia).

Bagaimana admin penyedia layanan menyiapkan Delta Sharing?

Bagian ini memberikan gambaran umum tentang bagaimana penyedia dapat mengaktifkan Berbagi Delta dan memulai berbagi dari ruang kerja Azure Databricks yang mendukung Katalog Unity. Untuk Delta Sharing sumber terbuka, kunjungi github.com/delta-io/delta-sharing.

Berbagi antar Databricks dalam Unity Catalog metastore di akun yang sama selalu diaktifkan. Jika Anda adalah penyedia yang ingin mengaktifkan Berbagi Delta untuk berbagi data dengan ruang kerja Databricks di akun lain atau klien non-Databricks, admin akun Azure Databricks atau admin metastore melakukan langkah-langkah penyiapan berikut (pada tingkat tinggi):

  1. Aktifkan Delta Sharing untuk metastore Unity Catalog tersebut yang mengelola data yang ingin Anda bagikan.

    Note

    Anda tidak perlu mengaktifkan Berbagi Delta di metastore Anda jika Anda berniat menggunakan Berbagi Delta untuk berbagi data hanya dengan pengguna di metastore Katalog Unity lainnya di akun Anda. Berbagi antar metastore dalam satu akun Azure Databricks sudah diaktifkan secara bawaan.

    Lihat Mengaktifkan Berbagi Delta di metastore.

  2. Buat pembagian yang menyertakan aset data yang terdaftar di metastore Katalog Unity.

    Jika Anda berbagi dengan penerima non-Databricks (dikenal sebagai berbagi terbuka) Anda bisa menyertakan tabel dalam format Delta. Jika Anda berencana menggunakan pembagian antar-Databricks, Anda juga dapat menambahkan tampilan (views), volume Katalog Unity, model Katalog Unity, dan file notebook ke dalam pembagian.

    Lihat Membuat dan mengelola saham untuk Delta Sharing.

  3. Buat penerima.

    Lihat Membuat dan mengelola penerima data untuk Delta Sharing (berbagi Databricks-ke-Databricks).

    Jika penerima Anda bukan pengguna Databricks, atau tidak memiliki akses ke ruang kerja Databricks yang diaktifkan untuk Unity Catalog, Anda harus menggunakan berbagi terbuka. Anda dapat menghasilkan kredensial berbasis token pembawa untuk penerima tersebut atau menggunakan federasi OIDC.

    Jika penerima Anda memiliki akses ke ruang kerja Databricks yang diaktifkan untuk Unity Catalog, Anda dapat menggunakan pembagian Databricks ke Databricks, dan tidak diperlukan kredensial berbasis token. Anda meminta pengidentifikasi berbagi dari penerima dan menggunakannya untuk membuat koneksi aman.

    Tip

    Gunakan diri Anda sebagai penerima pengujian untuk mencoba proses penyiapan.

  4. Berikan akses kepada penerima ke satu atau beberapa saham.

    Lihat Mengelola akses ke pembagian data Delta Sharing (untuk penyedia).

    Note

    Langkah ini juga dapat dilakukan oleh pengguna non-admin dengan USE SHAREhak istimewa , USE RECIPIENT dan SET SHARE PERMISSION . Lihat Hak istimewa Katalog Unity dan objek yang dapat diamankan.

  5. Kirimkan kepada penerima informasi yang mereka butuhkan untuk mengakses berbagi (hanya berbagi terbuka).

    Untuk berbagi terbuka menggunakan token pembawa, gunakan saluran aman untuk mengirim tautan aktivasi kepada penerima yang memungkinkan mereka mengunduh kredensial berbasis token mereka. Lihat Mengirim informasi koneksi mereka kepada penerima.

    Untuk berbagi terbuka menggunakan federasi token OIDC, kirim URL portal yang dihasilkan. Silakan lihat Menggunakan federasi Open ID Connect (OIDC) untuk memungkinkan autentikasi ke Delta Sharing (pembagian terbuka).

    Untuk pembagian Databricks-ke-Databricks, data yang disertakan dalam pembagian menjadi tersedia di ruang kerja Databricks penerima segera setelah Anda memberi mereka akses ke pembagian tersebut.

Penerima sekarang dapat mengakses data bersama.

Bagaimana penerima mengakses data bersama?

Penerima mengakses aset data bersama dalam format baca-saja. File buku catatan bersama bersifat baca-saja, tetapi dapat dikloning lalu dimodifikasi dan dijalankan di ruang kerja penerima sama seperti buku catatan lainnya.

Akses aman tergantung pada model berbagi:

Setiap kali penyedia data memperbarui tabel data atau volume di akun Databricks mereka sendiri, pembaruan muncul mendekati real time dalam sistem penerima. Untuk mempelajari cara mengakses data yang telah dibagikan dengan Anda menggunakan Berbagi Delta, lihat Mengakses data yang dibagikan dengan Anda menggunakan Berbagi Delta (untuk penerima).

Bagaimana Anda melacak siapa yang berbagi dan mengakses data bersama?

Penyedia data di workspaces Azure Databricks yang mendukung Unity Catalog dapat menggunakan audit logging Azure Databricks dan tabel sistem untuk memantau pembuatan dan modifikasi berbagi data dan penerima berbagi data, serta dapat memantau aktivitas penerima berbagi data. Lihat Mengaudit dan memantau berbagi data.

Penerima data yang menggunakan data bersama di ruang kerja Databricks dapat menggunakan pengelogan audit Databricks dan tabel sistem untuk memahami siapa yang mengakses data mana. Lihat Mengaudit dan memantau berbagi data.

Berbagi volume penyimpanan

Anda dapat berbagi volume penyimpanan menggunakan alur berbagi Databricks-to-Databricks. Lihat Menambahkan volume ke suatu ruang berbagi (untuk penyedia) dan Membaca data yang dibagikan menggunakan fitur Delta Sharing Databricks-ke-Databricks (untuk penerima).

Model berbagi

Anda dapat berbagi model menggunakan alur berbagi Databricks-to-Databricks. Lihat Menambahkan model ke berbagi (untuk penyedia) dan Membaca data yang dibagikan menggunakan Databricks-to-Databricks Delta Sharing (untuk penerima) (untuk penerima).

Berbagi buku catatan

Anda dapat menggunakan Berbagi Delta untuk berbagi file catatan menggunakan alur berbagi dari Databricks ke Databricks. Lihat Menambahkan file buku catatan ke berbagi (untuk penyedia) dan Membaca buku catatan bersama (untuk penerima).

Membatasi akses di tingkat baris dan kolom saat berbagi tampilan

Anda dapat berbagi tampilan dinamis yang membatasi akses ke data tabel tertentu berdasarkan properti penerima. Lihat Menambahkan tampilan dinamis ke berbagi untuk memfilter baris dan kolom.

Delta Sharing dan streaming

Delta Sharing mendukung Apache Spark Structured Streaming. Penyedia dapat berbagi tabel dengan riwayat atau tabel streaming sehingga penerima dapat menggunakannya sebagai sumber Streaming Terstruktur, memproses data bersama secara bertahap dengan latensi rendah. Penerima juga dapat melakukan kueri perjalanan waktu Delta Lake pada tabel yang memiliki riwayat.

Untuk mempelajari cara berbagi tabel dengan riwayat, lihat Menambahkan tabel ke berbagi. Untuk mempelajari cara menggunakan tabel bersama sebagai sumber streaming, lihat Mengkueri tabel menggunakan Streaming Terstruktur Apache Spark (untuk penerima berbagi Databricks-ke-Databricks) atau Mengakses tabel bersama menggunakan Spark Structured Streaming (untuk penerima data berbagi terbuka).

Untuk mempelajari cara berbagi tabel streaming, lihat Menambahkan tabel streaming ke berbagi.

Lihat juga Konsep Streaming Terstruktur.

Matriks dukungan fitur Delta Lake

"Delta Sharing" mendukung sebagian besar fitur Delta Lake ketika Anda membagikan tabel. Daftar matriks dukungan ini:

  • Fitur Delta yang memerlukan versi tertentu dari Databricks Runtime, konektor Delta Sharing Spark sumber terbuka, atau konektor Delta Sharing Python sumber terbuka.
  • Fitur yang didukung sebagian.
Feature Provider Penerima Databricks Penerima sumber terbuka
Vektor penghapusan
  • Berbagi tabel dengan fitur ini saat ini dalam tahap Pratinjau Umum.
  • Tabel harus dibagikan beserta riwayatnya.
  • Databricks Runtime 14.1+ untuk kueri kumpulan
  • Databricks Runtime 14.2+ untuk kueri CDF dan streaming
  • Konektor Delta Sharing untuk Spark 3.1+
  • Delta Sharing konektor Python 1.1.0+
  • Power BI v2.132.908.0+
Pemetaan kolom
  • Berbagi tabel dengan fitur ini saat ini dalam tahap Pratinjau Umum.
  • Tabel harus dibagikan beserta riwayatnya.
  • Databricks Runtime 14.1+ untuk kueri kumpulan
  • Databricks Runtime 14.2+ untuk kueri CDF dan streaming
  • Konektor Delta Sharing untuk Spark 3.1+
  • Didukung dengan batasan dalam konektor Python Berbagi Delta
  • Power BI v2.132.908.0+
Format seragam
  • Berbagi tabel dengan fitur ini saat ini dalam tahap Pratinjau Umum.
  • Tabel harus dibagikan beserta riwayatnya.
  • Databricks Runtime 14.1+ untuk kueri kumpulan
  • Databricks Runtime 14.2+ untuk kueri CDF dan streaming
  • Konektor Delta Sharing untuk Spark 3.1+
  • Delta Sharing konektor Python 1.1.0+
  • Power BI v2.132.908.0+
Titik pemeriksaan V2 Didukung dengan batasan Didukung dengan batasan Didukung dengan batasan
TimestampNTZ Supported Databricks Runtime versi 14.1+ Konektor Delta Pembagian Spark 3.3+
Pengklusteran cairan Didukung dengan batasan Didukung dengan batasan Didukung dengan batasan

Tanya Jawab Seputar Berbagi Delta

Berikut ini adalah tanya jawab umum tentang Berbagi Delta.

Apakah saya memerlukan Katalog Unity untuk menggunakan Berbagi Delta?

Tidak, Anda tidak memerlukan Unity Catalog untuk berbagi (sebagai penyedia) atau menggunakan data bersama (sebagai penerima). Namun, Unity Catalog memberikan manfaat seperti dukungan untuk berbagi aset non-tabular dan AI, tata kelola siap pakai, kesederhanaan, dan kinerja kueri.

Penyedia dapat berbagi data dengan dua cara:

  • Letakkan aset untuk dibagikan di bawah manajemen Katalog Unity dan bagikan menggunakan server Berbagi Delta Azure Databricks bawaan.

    Anda tidak perlu memigrasikan semua aset ke Unity Catalog. Anda hanya memerlukan satu ruang kerja Azure Databricks yang diaktifkan untuk Unity Catalog untuk mengelola aset yang ingin Anda bagikan. Di beberapa akun, ruang kerja baru secara otomatis diaktifkan untuk Katalog Unity. Lihat Pengaktifan Otomatis Katalog Unity.

  • Terapkan server Berbagi Delta terbuka untuk berbagi data, tanpa harus menggunakan akun Azure Databricks Anda.

Penerima dapat menggunakan data dengan dua cara:

  • Tidak ada ruang kerja Databricks. Gunakan konektor Berbagi Delta sumber terbuka yang tersedia untuk banyak platform data, termasuk Power BI, panda, dan sumber terbuka Apache Spark. Lihat Membaca data yang dibagikan menggunakan berbagi terbuka Delta Sharing dengan token akses (untuk penerima) dan proyek sumber terbuka Delta Sharing.

  • Di ruang kerja Databricks. Ruang kerja penerima tidak perlu diaktifkan untuk Unity Catalog, namun ada keuntungan dalam tata kelola, kesederhanaan, dan performa jika diaktifkan.

    Organisasi penerima yang menginginkan keuntungan ini tidak perlu memigrasikan semua aset ke Unity Catalog. Anda hanya memerlukan satu ruang kerja Azure Databricks yang diaktifkan untuk Unity Catalog untuk mengelola aset yang dibagikan dengan Anda. Di beberapa akun, ruang kerja baru secara otomatis diaktifkan untuk Katalog Unity. Lihat Pengaktifan Otomatis Katalog Unity.

Lihat Membaca data yang dibagikan menggunakan berbagi terbuka Berbagi Delta dengan token pembawa (untuk penerima) dan Membaca data yang dibagikan menggunakan Berbagi Delta Databricks-ke-Databricks (untuk penerima).

Apakah saya harus menjadi pelanggan Databricks untuk menggunakan Berbagi Delta?

Tidak, Berbagi Delta adalah protokol terbuka. Anda dapat berbagi data non-Databricks dengan penerima di platform data apa pun. Penyedia dapat mengonfigurasi server Berbagi Delta terbuka untuk dibagikan dari platform komputasi apa pun. Penerima dapat mengonsumsi data yang dibagikan menggunakan konektor Delta Sharing sumber terbuka untuk banyak produk data, termasuk Power BI, pandas sumber terbuka, dan Spark sumber terbuka.

Namun, menggunakan Delta Sharing di Azure Databricks, terutama berbagi dari ruang kerja yang diaktifkan Unity Catalog, memiliki banyak keuntungan.

Untuk detailnya, lihat pertanyaan pertama dalam FAQ ini.

Bagaimana cara dikenakan dan memeriksa biaya Berbagi Delta?

Biaya Delta Sharing dikenakan saat berbagi dan mengakses tampilan, tampilan materialisasi, dan tabel streaming. Ini adalah sumber biaya potensial untuk berbagi:

  • Biaya komputasi, dibebankan oleh Azure Databricks.
  • Biaya penyimpanan dan transfer jaringan (keluar), dibebankan oleh vendor penyimpanan.
  • Biaya sumber komputasi asing, saat berbagi skema dan tabel asing.

Metode di mana komputasi dilakukan dan siapa yang membayarnya tergantung pada beberapa faktor:

  • Jenis komputasi penerima
  • Apakah berbagi terjadi dalam akun Azure Databricks yang sama atau di seluruh akun

Tabel berikut ini menjelaskan metode penagihan untuk berbagi dan mengakses views menggunakan Delta Sharing.

Penerima menghitung Hubungan akun Siapa yang membayar SKU yang digunakan untuk penagihan Metode akses
Databricks Serverless Any Recipient* Tanpa server penerima Penerima menerima akses langsung ke data yang mendasar
Databricks Classic Akun yang sama Recipient* Klasik milik penerima Penerima menerima akses langsung ke data yang mendasar
Databricks Classic Akun yang berbeda Recipient Penyedia interaktif tanpa server Penyedia melakukan pemfilteran
Buka Konektor Delta Sharing Any Provider Penyedia interaktif tanpa server Penyedia melakukan pemfilteran

* Saat Anda menggunakan Delta Sharing dengan penerima yang menggunakan komputasi tanpa server di akun lain, atau dengan penerima di akun yang sama, tidak dikenakan biaya tambahan. Ini berarti tidak ada biaya tambahan untuk mewujudkan aset data.

Saat berbagi tabel asing (Beta), pemfilteran selalu dilakukan dan disimpan di sisi penyedia. Penyedia mungkin melihat biaya tambahan yang diatribusikan ke penyimpanan default yang digunakan untuk materialisasi data. Tidak ada biaya komputasi pemfilteran selama Beta.

Atribusi penagihan juga dapat dikueri menggunakan referensi tabel sistem penggunaan yang dapat ditagih dan referensi tabel sistem riwayat materialisasi Berbagi Delta. Jika penerima membayar atribusi, maka hanya penerima yang dapat melihat rekaman terkait dalam tabel sistem. Misalnya kueri, lihat Kueri sampel.

Apakah penggunaan Delta Sharing dikenakan biaya keluar?

Berbagi Delta dalam suatu wilayah tidak dikenakan biaya egress. Tidak seperti platform berbagi data lainnya, Berbagi Delta tidak memerlukan replikasi data. Model ini memiliki banyak keuntungan, tetapi artinya vendor cloud Anda dapat membebankan biaya keluar data saat Anda berbagi data di seluruh cloud atau wilayah. Azure Databricks mendukung berbagi dari Cloudflare R2, yang tidak dikenakan biaya keluar, dan menyediakan alat dan rekomendasi lain untuk memantau dan menghindari biaya keluar. Lihat Memantau dan mengelola biaya lalu lintas keluar Delta Sharing (untuk penyedia).

Apakah penerima memiliki akses langsung ke data yang mendasar dalam tampilan bersama, tampilan materialisasi, dan tabel streaming?

Untuk tampilan bersama, tabel streaming, dan tampilan materialisasi, penerima data memiliki akses langsung jika salah satu hal berikut ini benar:

  • Penerima menggunakan komputasi tanpa server atau komputasi klasik non-khusus pada akun Azure Databricks yang sama.
  • Penerima menggunakan komputasi tanpa server pada akun Azure Databricks yang berbeda.

Selain itu, data dimaterialisasi dan disaring di sisi penyedia.

Materialisasi data disimpan di bawah lokasi penyimpanan induk dari aset data yang dibagikan bersama.

Saat berbagi aset materialisasi, komputasi memproses permintaan dengan menerapkan filter yang diperlukan dan membuat materialisasi sementara yang di-cache di penyimpanan penyedia. Data yang difilter ini dikirimkan ke penerima menggunakan URL berumur pendek yang telah ditandatangani sebelumnya, memastikan akses yang aman sambil mempertahankan kontrol akses penyedia-ke-penerima.

Arsitektur Akses Data yang Materialisasi.

Dapatkah penyedia mencabut akses penerima?

Ya, akses penerima dapat dicabut sesuai permintaan dan pada tingkat granularitas tertentu. Anda dapat menolak akses penerima ke berbagi tertentu dan alamat IP tertentu, memfilter data tabular untuk penerima, mencabut token penerima, dan menghapus penerima sepenuhnya. Lihat Mencabut akses penerima untuk berbagi dan Membuat dan mengelola penerima data untuk Berbagi Delta (berbagi Databricks-ke-Databricks).

Bukankah tidak aman untuk menggunakan URL yang telah ditandatangani sebelumnya?

Berbagi Delta menggunakan URL yang telah ditandatangani sebelumnya untuk menyediakan akses sementara ke file di penyimpanan objek. Mereka hanya diberikan kepada penerima yang sudah memiliki akses ke data bersama. Mereka aman karena berumur pendek dan tidak memperluas tingkat akses di luar apa yang telah diberikan kepada penerima.

Apakah token yang digunakan dalam protokol berbagi terbuka Berbagi Delta aman?

Karena Berbagi Delta memungkinkan berbagi lintas platform—tidak seperti platform berbagi data lain yang tersedia—protokol berbagi memerlukan token terbuka. Penyedia dapat memastikan keamanan token dengan mengonfigurasi masa pakai token, mengatur kontrol jaringan, dan mencabut akses sesuai permintaan. Selain itu, token tidak memperluas tingkat akses di luar apa yang telah diberikan kepada para penerima. Lihat Pertimbangan keamanan untuk token.

Jika Anda lebih suka tidak menggunakan token untuk mengelola akses ke bagian penerima, gunakan berbagi Databricks-ke-Databricks atau hubungi tim akun Databricks Anda untuk pilihan lainnya.

Apa perbedaan antara Lakeflow Connect dan Delta Sharing?

Delta Sharing memungkinkan Anda membagikan data yang langsung dan aman di seluruh platform, cloud, dan wilayah. Databricks menyarankan penyerapan menggunakan konektor terkelola karena dapat disesuaikan skala untuk mengakomodasi volume data yang tinggi, kueri dengan latensi rendah, dan batas penggunaan API pihak ketiga. Namun, Anda mungkin ingin mengkueri data Anda tanpa memindahkannya.

Saat Anda memiliki pilihan antara konektor terkelola dan Delta Sharing, pilih Delta Sharing untuk skenario berikut:

  • Membatasi duplikasi data.
  • Mengkueri data sesegar mungkin.

Batasan

Format tabel dan dukungan fitur

Persyaratan format:

  • Data tabular harus dalam format tabel Delta atau Iceberg terkelola . Anda dapat dengan mudah mengonversi tabel Parquet ke Delta—dan mengonversinya kembali. Lihat CONVERT TO DELTA.
  • Delta Sharing hanya dapat membaca tabel UniForm sebagai tabel Delta.

Tabel yang tidak didukung:

  • Penyedia tidak dapat berbagi tabel yang menggunakan pengklusteran cair dengan pemfilteran partisi.
  • Penyedia tidak dapat berbagi tabel R2 dengan titik pemeriksaan V2.
  • Penyedia tidak dapat berbagi tabel dengan kolasi yang diaktifkan.
  • Penyedia tidak dapat berbagi tabel dengan filter baris atau masker kolom.
  • Penyedia tidak dapat berbagi SHALLOW CLONE tabel. Azure Databricks tidak mendukung prasigning URL untuk log Delta yang mereferensikan jalur absolut.
  • Batasan kunci asing tidak tersedia dalam tabel bersama.

Berbagi dari Databricks ke Databricks Saja

Aset berikut hanya dapat dibagikan menggunakan alur berbagi Databricks-to-Databricks:

Views

Siaran Langsung

  • Delta Sharing tidak mendukung perubahan responseFormat saat sumber streaming berjalan atau selama penyetelan ulang streaming.

Batas sumber daya dan teknis

  • Ada batasan jumlah file dalam metadata yang diizinkan untuk tabel bersama. Untuk mempelajari selengkapnya, lihat Kesalahan batas sumber daya terlampaui.
  • Skema bernama information_schema tidak dapat diimpor ke metastore Unity Catalog, karena nama skema tersebut dicadangkan dalam Unity Catalog.

Lihat juga matriks dukungan fitur Delta Lake.

Kuota sumber daya

Azure Databricks menerapkan kuota sumber daya pada semua objek Delta Sharing yang dapat diamankan. Kuota ini tercantum dalam batas Sumber Daya. Jika Anda berharap melebihi batas sumber daya ini, hubungi tim akun Azure Databricks Anda.

Anda dapat memantau penggunaan kuota menggunakan API kuota sumber daya Unity Catalog. Lihatlah cara memantau penggunaan kuota sumber daya Unity Catalog Anda .

Langkah selanjutnya

  • Last updated on