Apa itu OpenSharing?

Halaman ini memperkenalkan OpenSharing di Azure Databricks, platform berbagi data aman yang memungkinkan Anda berbagi data dan aset AI dalam Azure Databricks dengan pengguna di luar organisasi Anda, terlepas dari apakah mereka menggunakan Azure Databricks. OpenSharing juga merupakan dasar untuk Databricks Marketplace, forum terbuka untuk bertukar produk data, dan Clean Rooms, lingkungan yang aman dan melindungi privasi di mana beberapa pihak dapat bekerja sama pada data perusahaan yang sensitif.

OpenSharing juga tersedia sebagai proyek sumber terbuka yang dapat Anda gunakan untuk berbagi tabel Delta dari platform lain.

Bagaimana cara kerja OpenSharing?

OpenSharing adalah protokol terbuka yang dikembangkan oleh Databricks untuk berbagi data yang aman dengan organisasi lain. Ini berfungsi terlepas dari platform komputasi yang digunakan organisasi tersebut.

Ada beberapa cara untuk berbagi data menggunakan OpenSharing:

  1. Protokol berbagi Databricks-to-Databricks, yang memungkinkan Anda berbagi data dan aset AI dari ruang kerja yang didukung Unity Catalog dengan pengguna yang juga memiliki akses ke ruang kerja Databricks yang mendukung Unity Catalog.

    Pendekatan ini menggunakan server OpenSharing yang dibangun ke dalam Azure Databricks. Ini mendukung beberapa fitur OpenSharing yang tidak didukung di protokol lain, termasuk berbagi buku catatan, berbagi volume Katalog Unity, berbagi model AI Katalog Unity, tata kelola data Katalog Unity, audit, dan pelacakan penggunaan untuk penyedia dan penerima. Integrasi dengan Unity Catalog menyederhanakan penyiapan dan tata kelola untuk penyedia dan penerima dan meningkatkan performa.

    Lihat Apa itu protokol OpenSharing Databricks-to-Databricks?.

  2. Protokol berbagi Databricks-to-Open, yang memungkinkan Anda berbagi data tabular yang Anda kelola di ruang kerja Databricks dengan Dukungan Katalog Unity dengan pengguna di platform komputasi apa pun.

    Pendekatan ini menggunakan server OpenSharing yang disertakan dalam Azure Databricks dan berguna saat Anda mengelola data menggunakan Katalog Unity dan ingin membagikannya dengan pengguna yang tidak menggunakan Databricks atau tidak memiliki akses ke ruang kerja Databricks yang mendukung Katalog Unity. Integrasi dengan Unity Catalog di sisi penyedia menyederhanakan penyiapan dan tata kelola untuk penyedia.

    Lihat Apa itu protokol berbagi Databricks-to-Open?.

  3. Implementasi yang dikelola oleh pelanggan dari server OpenSharing sumber terbuka, yang memungkinkan Anda berbagi dari platform apa pun ke platform mana pun, baik menggunakan Databricks maupun tidak.

    Dokumentasi Azure Databricks tidak mencakup instruksi untuk menyiapkan server OpenSharing Anda sendiri. Lihat proyek sumber terbuka.

  4. Konektor SAP Business Data Cloud (BDC) untuk Azure Databricks, yang memungkinkan Anda berbagi data antara ruang kerja yang mendukung Katalog Unity dan akun SAP BDC.

    Pendekatan ini menggunakan Konektor SAP BDC, yang menggunakan OpenSharing untuk akses langsung tanpa penyalinan ke produk data SAP BDC.

    Lihat Apa itu Konektor SAP BDC untuk Azure Databricks?.

Berbagi, penyedia, dan penerima

Konsep utama yang mendasar OpenSharing dalam Azure Databricks adalah berbagi, penyedia, dan penerima.

Apa itu berbagi?

Di OpenSharing, share adalah kumpulan tabel dan partisi tabel yang bersifat baca-saja yang ingin dibagikan oleh penyedia kepada satu atau lebih penerima. Jika penerima Anda menggunakan ruang kerja Databricks dengan dukungan Unity Catalog, Anda juga bisa menyertakan file buku catatan, tampilan (termasuk tampilan dinamis yang membatasi akses di tingkat baris dan kolom), volume Katalog Unity, dan model Katalog Unity dalam berbagi.

Anda dapat menambahkan atau menghapus tabel, tabel streaming, tabel Iceberg yang dikelola, tampilan, tampilan materialisasi, volume, model, dan file notebook dari sebuah bagian kapan saja, dan Anda dapat menetapkan atau mencabut akses penerima data ke bagian kapan saja.

Di ruang kerja Azure Databricks yang mendukung Unity Catalog, share adalah objek yang dapat diamankan dan terdaftar di Unity Catalog. Jika Anda menghapus berbagi dari metastore Unity Catalog Anda, semua penerima berbagi tersebut kehilangan kemampuan untuk mengaksesnya.

Lihat Membuat berbagi untuk OpenSharing.

Apa itu penyedia?

Penyedia adalah entitas yang berbagi data dengan penerima. Jika Anda adalah penyedia dan ingin memanfaatkan server OpenSharing Databricks bawaan serta mengelola share dan penerima menggunakan Unity Catalog, Anda memerlukan setidaknya satu ruang kerja Azure Databricks yang telah diaktifkan untuk Unity Catalog. Anda tidak perlu memigrasikan semua ruang kerja yang ada ke Unity Catalog. Anda cukup membuat ruang kerja baru yang mendukung Unity Catalog untuk kebutuhan OpenSharing Anda.

Jika penerima berada di ruang kerja Databricks yang mendukung Katalog Unity, penyedia juga merupakan objek yang dapat diamankan dalam Katalog Unity, yang mewakili organisasi penyedia dan mengaitkan organisasi tersebut dengan serangkaian pembagian data.

Apa itu penerima?

Penerima adalah entitas yang menerima saham dari penyedia. Di Katalog Unity, sebuah "share" adalah objek yang dapat diamankan yang mewakili organisasi dan mengaitkannya dengan pengidentifikasi berbagi yang terkait dengan kredensial atau yang aman, yang memungkinkan organisasi tersebut mengakses satu atau beberapa "share".

Sebagai penyedia data (sharer), Anda dapat menentukan beberapa penerima untuk metastore Unity Catalog tertentu, tetapi jika Anda ingin berbagi data dari beberapa metastore dengan pengguna atau grup pengguna tertentu, Anda harus menentukan penerima secara terpisah untuk setiap metastore. Penerima dapat memiliki akses ke beberapa saham.

Jika penyedia menghapus penerima dari metastore Unity Catalog mereka, penerima tersebut kehilangan akses ke semua berbagi yang sebelumnya dapat diaksesnya.

Lihat Membuat penerima data untuk OpenSharing (berbagi data Databricks ke Databricks).

Berbagi Databricks-to-Open versus berbagi Databricks-ke-Databricks

Bagian ini menjelaskan dua protokol untuk berbagi dari ruang kerja Databricks yang diaktifkan untuk Unity Catalog.

Note

Bagian ini mengasumsikan bahwa penyedia berada di ruang kerja Azure Databricks yang mendukung Unity Catalog. Untuk mempelajari cara menyiapkan server OpenSharing sumber terbuka untuk berbagi dari platform non-Databricks atau ruang kerja non-Unity Catalog, lihat proyek sumber terbuka.

Cara penyedia menggunakan OpenSharing di Azure Databricks bergantung pada dengan siapa mereka berbagi data:

  • Berbagi terbuka memungkinkan Anda berbagi data dengan pengguna mana pun, baik mereka memiliki akses ke Azure Databricks atau tidak.
  • berbagi Databricks-to-Databricks memungkinkan Anda berbagi data dengan pengguna Azure Databricks yang ruang kerjanya dilampirkan ke metastore Unity Catalog yang berbeda dari metastore Anda. Databricks-to-Databricks juga mendukung berbagi notebook, volume, dan model, yang tidak tersedia pada opsi berbagi Databricks-to-Open.

Apa itu openSharing?

Jika Anda ingin berbagi data dengan pengguna di luar ruang kerja Azure Databricks Anda, terlepas dari apakah mereka menggunakan Databricks, Anda dapat menggunakan openSharing untuk berbagi data Anda dengan aman. Sebagai penyedia data, Anda mengelola autentikasi dengan penerima berbagi menggunakan salah satu metode berikut:

  • Anda membuat token pembawa dengan masa berlaku panjang dan membagikannya dengan aman kepada penerima. Mereka menggunakan token untuk mengautentikasi dan mendapatkan akses baca ke tabel yang Anda sertakan dalam pembagian yang Anda izinkan kepada mereka.
  • Anda menggunakan federasi Open ID Connect (OIDC), yang memberikan token OAuth Databricks berumur pendek kepada penerima sebagai pertukaran atas token JWT yang diteruskan oleh penyedia identitas (IdP) penerima ke Databricks.

Penerima dapat mengakses data bersama menggunakan banyak alat dan platform komputasi, termasuk:

  • Azure Databricks
  • Apache Spark
  • Pandas
  • Power BI

Untuk daftar lengkap konektor OpenSharing dan informasi tentang cara menggunakannya, lihat dokumentasi OpenSharing .

Lihat juga Apa itu protokol berbagi Databricks-to-Open?.

Apa itu Databricks-to-Databricks OpenSharing?

Jika Anda ingin berbagi data dengan pengguna yang memiliki ruang kerja Databricks yang diaktifkan untuk Unity Catalog, Anda dapat menggunakan Databricks-to-Databricks OpenSharing. Berbagi Databricks-to-Databricks memungkinkan Anda berbagi data dengan pengguna di akun Databricks lainnya, baik mereka menggunakan AWS, Azure, atau GCP. Ini juga merupakan cara yang bagus untuk berbagi data dengan aman di berbagai metastore Unity Catalog dalam akun Databricks Anda sendiri. Perhatikan bahwa tidak perlu menggunakan OpenSharing untuk berbagi data antara ruang kerja yang dilampirkan ke metastore Katalog Unity yang sama, karena dalam skenario tersebut Anda dapat menggunakan Katalog Unity itu sendiri untuk mengelola akses ke data di seluruh ruang kerja.

Salah satu keuntungan dari berbagi Databricks-ke-Databricks adalah bahwa penerima berbagi tidak memerlukan token untuk mengakses berbagi, dan penyedia tidak perlu mengelola token penerima. Keamanan koneksi berbagi—termasuk semua verifikasi identitas, autentikasi, dan audit—dikelola sepenuhnya melalui OpenSharing dan platform Databricks. Keuntungan lainnya adalah kemampuan untuk berbagi file notebook Databricks, volume Unity Catalog, dan model Unity Catalog.

Lihat juga Apa itu protokol OpenSharing Databricks-to-Databricks?.

Bagaimana admin penyedia menyiapkan OpenSharing?

Bagian ini memberikan gambaran umum tentang bagaimana penyedia dapat mengaktifkan OpenSharing dan memulai berbagi dari ruang kerja Azure Databricks yang mendukung Katalog Unity. Untuk OpenSharing versi sumber terbuka, lihat proyek sumber terbuka.

Berbagi antar Databricks dalam Unity Catalog metastore di akun yang sama selalu diaktifkan. Jika Anda adalah penyedia yang ingin mengaktifkan OpenSharing untuk berbagi data dengan ruang kerja Databricks di akun lain atau klien non-Databricks, admin akun Azure Databricks atau admin metastore melakukan langkah-langkah penyiapan berikut (pada tingkat tinggi):

  1. Aktifkan OpenSharing untuk metastore Unity Catalog yang mengelola data yang ingin Anda bagikan.

    Note

    Anda tidak perlu mengaktifkan OpenSharing di metastore Jika Anda berniat menggunakan OpenSharing untuk berbagi data hanya dengan pengguna di metastore Unity Catalog lainnya di akun Anda. Berbagi metastore-ke-metastore di dalam satu akun Azure Databricks diaktifkan secara default.

    Lihat Mengaktifkan OpenSharing di metastore.

  2. Buat pembagian yang menyertakan aset data yang terdaftar di metastore Katalog Unity.

    Jika Anda berbagi dengan penerima non-Databricks (dikenal sebagai pembagian Databricks-to-Open), Anda dapat menyertakan tabel dalam format Delta. Jika Anda berencana menggunakan pembagian antar-Databricks, Anda juga dapat menambahkan tampilan (views), volume Katalog Unity, model Katalog Unity, dan file notebook ke dalam pembagian.

    Lihat Membuat berbagi untuk OpenSharing.

  3. Buat penerima.

    Lihat Membuat penerima data untuk OpenSharing (berbagi data Databricks ke Databricks).

    Jika penerima Anda bukan pengguna Databricks, atau tidak memiliki akses ke workspace Databricks yang telah diaktifkan untuk Unity Catalog, Anda harus menggunakan berbagi Databricks ke Open. Anda dapat menghasilkan kredensial berbasis token pembawa untuk penerima tersebut atau menggunakan federasi OIDC.

    Jika penerima Anda memiliki akses ke ruang kerja Databricks yang diaktifkan untuk Unity Catalog, Anda dapat menggunakan pembagian Databricks ke Databricks, dan tidak diperlukan kredensial berbasis token. Anda meminta pengidentifikasi berbagi dari penerima dan menggunakannya untuk membuat koneksi aman.

    Tip

    Gunakan diri Anda sebagai penerima pengujian untuk mencoba proses penyiapan.

  4. Berikan akses kepada penerima ke satu atau beberapa saham.

    Lihat Mengelola akses ke berbagi data OpenSharing (untuk penyedia).

    Note

    Langkah ini juga dapat dilakukan oleh pengguna non-admin dengan USE SHAREhak istimewa , USE RECIPIENT dan SET SHARE PERMISSION . Lihat Referensi hak istimewa Katalog Unity.

  5. Kirimkan informasi yang dibutuhkan penerima untuk terhubung ke pembagian tersebut (khusus berbagi Databricks ke Open).

    Untuk berbagi Databricks-to-Open menggunakan token pembawa, gunakan saluran aman untuk mengirim tautan aktivasi kepada penerima yang memungkinkan mereka mengunduh kredensial berbasis token mereka. Lihat Mengirim informasi koneksi mereka kepada penerima.

    Untuk berbagi Databricks-to-Open menggunakan federasi token OIDC, kirim URL portal yang dihasilkan. Lihat Mengaktifkan federasi Open ID Connect (OIDC) untuk penerima OpenSharing.

    Untuk pembagian Databricks-ke-Databricks, data yang disertakan dalam pembagian menjadi tersedia di ruang kerja Databricks penerima segera setelah Anda memberi mereka akses ke pembagian tersebut.

Penerima sekarang dapat mengakses data bersama.

Bagaimana penerima mengakses data bersama?

Penerima mengakses aset data bersama dalam format baca-saja. File buku catatan bersama bersifat baca-saja, tetapi dapat dikloning lalu dimodifikasi dan dijalankan di ruang kerja penerima sama seperti buku catatan lainnya.

Akses aman tergantung pada model berbagi:

Setiap kali penyedia data memperbarui tabel data atau volume di akun Databricks mereka sendiri, pembaruan muncul mendekati real time dalam sistem penerima. Untuk mempelajari cara mengakses data yang telah dibagikan dengan Anda menggunakan OpenSharing, lihat Mengakses data yang dibagikan dengan Anda menggunakan OpenSharing (untuk penerima).

Bagaimana Anda melacak siapa yang berbagi dan mengakses data bersama?

Penyedia data di ruang kerja Azure Databricks yang mendukung Unity Catalog dapat menggunakan pencatatan audit Azure Databricks dan tabel sistem untuk memantau pembuatan dan modifikasi pembagian serta penerima, dan dapat memantau aktivitas penerima pada pembagian. Lihat Mengaudit dan memantau berbagi data.

Penerima data yang menggunakan data bersama di ruang kerja Databricks dapat menggunakan pengelogan audit Databricks dan tabel sistem untuk memahami siapa yang mengakses data mana. Lihat Mengaudit dan memantau berbagi data.

Berbagi volume penyimpanan

Anda dapat berbagi volume penyimpanan menggunakan alur berbagi Databricks-to-Databricks. Lihat Menambahkan volume ke berbagi data (untuk penyedia) dan Membaca data yang dibagikan menggunakan Databricks-to-Databricks OpenSharing (untuk penerima).

Model berbagi

Anda dapat berbagi model menggunakan alur berbagi Databricks-to-Databricks. Lihat Menambahkan model ke berbagi (untuk penyedia) dan Membaca data yang dibagikan menggunakan Databricks-to-Databricks OpenSharing (untuk penerima) (untuk penerima).

Berbagi buku catatan

Anda dapat menggunakan OpenSharing untuk berbagi file buku catatan menggunakan alur berbagi Databricks-ke-Databricks. Lihat Menambahkan file buku catatan ke berbagi (untuk penyedia) dan Membaca buku catatan yang dibagikan (untuk penerima).

Membatasi akses di tingkat baris dan kolom saat berbagi tampilan

Anda dapat berbagi tampilan dinamis yang membatasi akses ke data tabel tertentu berdasarkan properti penerima. Lihat Tambahkan tampilan dinamis ke dalam berbagi untuk memfilter baris dan kolom.

OpenSharing dan streaming

OpenSharing mendukung Apache Spark Structured Streaming. Penyedia dapat berbagi tabel dengan riwayat atau tabel streaming sehingga penerima dapat menggunakannya sebagai sumber Streaming Terstruktur, memproses data bersama secara bertahap dengan latensi rendah. Penerima juga dapat melakukan kueri perjalanan waktu Delta Lake pada tabel yang memiliki riwayat.

Untuk mempelajari cara berbagi tabel dengan riwayat, lihat Menambahkan tabel ke berbagi. Untuk mempelajari cara menggunakan tabel yang dibagikan sebagai sumber streaming, lihat Membuat kueri pada tabel menggunakan Apache Spark Structured Streaming (untuk penerima pembagian Databricks-ke-Databricks) atau Mengakses tabel yang dibagikan menggunakan Spark Structured Streaming (untuk penerima pembagian data Databricks-to-Open).

Untuk mempelajari cara berbagi tabel streaming, lihat Menambahkan tabel streaming ke berbagi.

Lihat juga Konsep Streaming Terstruktur.

Matriks dukungan fitur Delta Lake

OpenSharing mendukung sebagian besar fitur Delta Lake saat Anda berbagi tabel. Daftar matriks dukungan ini:

  • Fitur Delta yang memerlukan versi tertentu dari Databricks Runtime, konektor OpenSharing Spark sumber terbuka, atau konektor OpenSharing Python sumber terbuka.
  • Fitur yang didukung sebagian.
Feature Provider Penerima Databricks Penerima sumber terbuka
Vektor penghapusan
  • Berbagi tabel dengan fitur ini saat ini dalam tahap Pratinjau Umum.
  • Tabel harus dibagikan beserta riwayatnya.
  • Databricks Runtime 14.1+ untuk kueri kumpulan
  • Databricks Runtime 14.2+ untuk kueri CDF dan streaming
  • Konektor OpenSharing Spark 3.1+
  • OpenSharing Python konektor 1.1.0+
  • Power BI v2.132.908.0+
Pemetaan kolom
  • Berbagi tabel dengan fitur ini saat ini dalam tahap Pratinjau Umum.
  • Tabel harus dibagikan beserta riwayatnya.
  • Databricks Runtime 14.1+ untuk kueri kumpulan
  • Databricks Runtime 14.2+ untuk kueri CDF dan streaming
  • Konektor OpenSharing Spark 3.1+
  • Didukung dengan batasan dalam konektor openSharing Python
  • Power BI v2.132.908.0+
Format seragam
  • Berbagi tabel dengan fitur ini saat ini dalam tahap Pratinjau Umum.
  • Tabel harus dibagikan beserta riwayatnya.
  • Databricks Runtime 14.1+ untuk kueri kumpulan
  • Databricks Runtime 14.2+ untuk kueri CDF dan streaming
  • Konektor OpenSharing Spark 3.1+
  • OpenSharing Python konektor 1.1.0+
  • Power BI v2.132.908.0+
Titik pemeriksaan V2 Didukung dengan batasan Didukung dengan batasan Didukung dengan batasan
TimestampNTZ Dukungan Databricks Runtime versi 14.1+ Konektor OpenSharing Spark 3.3+
Pengklusteran cairan Didukung dengan batasan Didukung dengan batasan Didukung dengan batasan

Tanya Jawab Umum OpenSharing

Berikut ini adalah tanya jawab umum tentang OpenSharing.

Apakah saya memerlukan Unity Catalog untuk menggunakan OpenSharing?

Tidak, Anda tidak memerlukan Unity Catalog untuk berbagi (sebagai penyedia) atau menggunakan data bersama (sebagai penerima). Namun, Unity Catalog memberikan manfaat seperti dukungan untuk berbagi aset non-tabular dan AI, tata kelola siap pakai, kesederhanaan, dan kinerja kueri.

Penyedia dapat berbagi data dengan dua cara:

  • Letakkan aset untuk dibagikan di bawah manajemen Katalog Unity dan bagikan menggunakan server Azure Databricks OpenSharing bawaan.

    Anda tidak perlu memigrasikan semua aset ke Unity Catalog. Anda hanya memerlukan satu ruang kerja Azure Databricks yang diaktifkan untuk Unity Catalog untuk mengelola aset yang ingin Anda bagikan. Di beberapa akun, ruang kerja baru secara otomatis diaktifkan untuk Unity Catalog. Lihat Mulai menggunakan Unity Catalog.

  • Terapkan server berbagi Databricks-to-Open untuk berbagi data, tanpa harus menggunakan akun Azure Databricks Anda.

Penerima dapat menggunakan data dengan dua cara:

  • Tidak ada ruang kerja Databricks. Gunakan konektor sumber terbuka OpenSharing yang tersedia untuk banyak platform data, termasuk Power BI, panda, dan sumber terbuka Apache Spark. Lihat Membaca data yang dibagikan dengan token bearer dan proyek sumber terbuka OpenSharing.

  • Di ruang kerja Databricks. Ruang kerja penerima tidak perlu diaktifkan untuk Unity Catalog, namun ada keuntungan dalam tata kelola, kesederhanaan, dan performa jika diaktifkan.

    Organisasi penerima yang menginginkan keuntungan ini tidak perlu memigrasikan semua aset ke Unity Catalog. Anda hanya memerlukan satu ruang kerja Azure Databricks yang diaktifkan untuk Unity Catalog untuk mengelola aset yang dibagikan dengan Anda. Di beberapa akun, ruang kerja baru secara otomatis diaktifkan untuk Unity Catalog. Lihat Mulai menggunakan Unity Catalog.

Lihat Membaca data yang dibagikan dengan token pembawa dan Membaca data yang dibagikan menggunakan Databricks-to-Databricks OpenSharing (untuk penerima).

Apakah saya harus menjadi pelanggan Databricks untuk menggunakan OpenSharing?

Tidak, OpenSharing adalah protokol terbuka. Anda dapat berbagi data non-Databricks dengan penerima di platform data apa pun. Penyedia dapat mengonfigurasi server OpenSharing terbuka untuk dibagikan dari platform komputasi apa pun. Penerima dapat mengakses data yang dibagikan menggunakan konektor OpenSharing sumber terbuka untuk berbagai produk data, termasuk Power BI, pandas, dan Spark sumber terbuka.

Namun, menggunakan OpenSharing di Azure Databricks, terutama berbagi dari ruang kerja yang mendukung Katalog Unity, memiliki banyak keuntungan.

Untuk detailnya, lihat pertanyaan pertama dalam FAQ ini.

Bagaimana cara dikenakan dan memeriksa biaya OpenSharing?

Biaya OpenSharing dikenakan saat berbagi dan mengakses tampilan, tampilan materialisasi, dan tabel streaming. Ini adalah sumber biaya potensial untuk berbagi:

  • Biaya komputasi, dibebankan oleh Azure Databricks.
  • Biaya penyimpanan dan transfer jaringan (keluar), dibebankan oleh vendor penyimpanan, atau oleh Azure Databricks jika penyedia menggunakan SecureConnect.
  • Biaya sumber komputasi asing, saat berbagi skema dan tabel asing.

Metode di mana komputasi dilakukan dan siapa yang membayarnya tergantung pada beberapa faktor:

  • Jenis komputasi penerima
  • Apakah berbagi terjadi dalam akun Azure Databricks yang sama atau di seluruh akun

Tabel berikut ini menjelaskan metode penagihan untuk berbagi dan mengakses tampilan menggunakan OpenSharing:

Penerima menghitung Hubungan akun Siapa yang membayar SKU yang digunakan untuk penagihan Metode akses
Databricks Serverless Any Recipient* Tanpa server penerima Penerima menerima akses langsung ke data yang mendasar
Databricks Classic Akun yang sama Recipient* Klasik milik penerima Penerima menerima akses langsung ke data yang mendasar
Databricks Classic Akun yang berbeda Recipient Penyedia interaktif tanpa server Penyedia melakukan pemfilteran
Konektor untuk berbagi dari Databricks ke Open Any Provider Penyedia interaktif tanpa server Penyedia melakukan pemfilteran

* Saat Anda menggunakan OpenSharing dengan penerima menggunakan komputasi Tanpa Server di akun yang berbeda, atau dengan penerima di akun yang sama, tidak ada biaya tambahan. Ini berarti tidak ada biaya tambahan untuk mewujudkan aset data.

Saat berbagi tabel asing (Beta), materialisasi selalu dilakukan dan disimpan di pihak penyedia. Untuk tabel Iceberg asing, materialisasi dilakukan di sisi penyedia saat berbagi dengan penerima terbuka yang tidak menggunakan klien Iceberg. Penyedia mungkin melihat biaya tambahan yang diatribusikan ke penyimpanan default yang digunakan untuk materialisasi data. Tidak ada biaya komputasi untuk tabel asing selama Beta.

Atribusi penagihan juga dapat dikueri menggunakan referensi tabel sistem penggunaan yang dapat ditagih dan referensi tabel sistem riwayat materialisasi OpenSharing. Jika penerima membayar atribusi, maka hanya penerima yang dapat melihat rekaman terkait dalam tabel sistem. Misalnya kueri, lihat Kueri sampel.

Apakah OpenSharing dikenakan biaya keluar?

OpenSharing di dalam suatu wilayah tidak dikenakan biaya transfer data keluar. Tidak seperti platform berbagi data lainnya, OpenSharing tidak memerlukan replikasi data. Model ini memiliki banyak keuntungan, tetapi artinya vendor cloud Anda dapat membebankan biaya keluar data saat Anda berbagi data di seluruh cloud atau wilayah. Azure Databricks mendukung berbagi dari Cloudflare R2, yang tidak dikenakan biaya keluar, dan menyediakan alat dan rekomendasi lain untuk memantau dan menghindari biaya keluar. Lihat Memantau dan mengelola biaya keluar OpenSharing (untuk penyedia).

Namun, jika penyedia menggunakan SecureConnect, transfer data ditagih oleh Azure Databricks alih-alih vendor cloud.

Apakah penerima memiliki akses langsung ke data yang mendasar dalam tampilan bersama, tampilan materialisasi, dan tabel streaming?

Untuk tampilan bersama, tampilan materialisasi, dan tabel streaming, penerima data memiliki akses langsung jika salah satu hal berikut ini benar:

  • Penerima menggunakan komputasi tanpa server atau komputasi klasik non-khusus pada akun Azure Databricks yang sama.
  • Penerima menggunakan komputasi tanpa server pada akun Azure Databricks yang berbeda.

Selain itu, data dimaterialisasi dan disaring di sisi penyedia.

Ketika SecureConnect diaktifkan, aset ini selalu terwujud dan difilter di sisi penyedia, bahkan dalam skenario yang tercantum di atas.

Materialisasi data disimpan di bawah lokasi penyimpanan induk dari aset data yang dibagikan bersama.

Saat berbagi aset materialisasi, komputasi memproses permintaan dengan menerapkan filter yang diperlukan dan membuat materialisasi sementara yang di-cache di penyimpanan penyedia. Data yang difilter ini dikirimkan ke penerima menggunakan URL berumur pendek yang telah ditandatangani sebelumnya, memastikan akses yang aman sambil mempertahankan kontrol akses penyedia-ke-penerima.

Dapatkah penyedia mencabut akses penerima?

Ya, akses penerima dapat dicabut sesuai permintaan dan pada tingkat granularitas tertentu. Anda dapat menolak akses penerima ke berbagi tertentu dan alamat IP tertentu, memfilter data tabular untuk penerima, mencabut token penerima, dan menghapus penerima sepenuhnya. Lihat Mencabut akses penerima ke sebuah pembagian dan Membuat penerima data untuk OpenSharing (berbagi Databricks ke Databricks).

Bukankah tidak aman untuk menggunakan URL yang telah ditandatangani sebelumnya?

OpenSharing menggunakan URL yang telah ditandatangani sebelumnya untuk menyediakan akses sementara ke file di penyimpanan objek. Mereka hanya diberikan kepada penerima yang sudah memiliki akses ke data bersama. Mereka aman karena berumur pendek dan tidak memperluas tingkat akses di luar apa yang telah diberikan kepada penerima.

Apakah token yang digunakan dalam protokol berbagi Databricks-to-Open aman?

Karena OpenSharing memungkinkan berbagi lintas platform—tidak seperti platform berbagi data lain yang tersedia—protokol berbagi memerlukan token terbuka. Penyedia dapat memastikan keamanan token dengan mengonfigurasi masa pakai token, mengatur kontrol jaringan, dan mencabut akses sesuai permintaan. Selain itu, token tidak memperluas tingkat akses di luar apa yang telah diberikan kepada para penerima. Lihat Pertimbangan keamanan untuk token.

Jika Anda lebih suka tidak menggunakan token untuk mengelola akses ke bagian penerima, gunakan berbagi Databricks-ke-Databricks atau hubungi tim akun Databricks Anda untuk pilihan lainnya.

Apa perbedaan antara Lakeflow Connect dan OpenSharing?

OpenSharing memungkinkan Anda berbagi data langsung dengan aman di seluruh platform, cloud, dan wilayah. Databricks menyarankan penyerapan menggunakan konektor terkelola karena dapat disesuaikan skala untuk mengakomodasi volume data yang tinggi, kueri dengan latensi rendah, dan batas penggunaan API pihak ketiga. Namun, Anda mungkin ingin mengkueri data Anda tanpa memindahkannya.

Saat Anda memiliki pilihan antara konektor terkelola dan OpenSharing, pilih OpenSharing untuk skenario berikut:

  • Membatasi duplikasi data.
  • Mengkueri data sesegar mungkin.

Batasan

Format tabel dan dukungan fitur

Persyaratan format:

  • Data tabular harus dalam format tabel Delta atau Iceberg terkelola . Anda dapat dengan mudah mengonversi tabel Parquet ke Delta—dan mengonversinya kembali. Lihat CONVERT TO DELTA.
  • OpenSharing hanya dapat membaca tabel UniForm sebagai tabel Delta.

Tabel yang tidak didukung:

Berbagi dari Databricks ke Databricks Saja

Aset berikut hanya dapat dibagikan menggunakan alur berbagi Databricks-to-Databricks:

Views

Streaming

  • OpenSharing tidak mendukung perubahan responseFormat saat sumber streaming berjalan atau selama streaming dimulai ulang.

Metadata penerima

  • Tabel di information_schema dari katalog bersama mencerminkan metadata yang disimpan di Katalog Unity. Metadata ini diperbarui dari penyedia hanya saat Anda mengkueri tabel bersama secara langsung atau menjalankan perintah seperti DESCRIBE atau REFRESH FOREIGN. Hingga saat itu, information_schema mungkin terlihat usang dibandingkan dengan data penyedia.

Batas sumber daya dan teknis

  • Ada batasan jumlah file dalam metadata yang diizinkan untuk tabel bersama. Untuk mempelajari selengkapnya, lihat Kesalahan batas sumber daya terlampaui.
  • Skema bernama information_schema tidak dapat diimpor ke metastore Unity Catalog, karena nama skema tersebut dicadangkan dalam Unity Catalog.

Lihat juga matriks dukungan fitur Delta Lake.

Penghapusan kaskade melewati perlindungan berbagi

Menghapus objek induk, seperti katalog atau skema, memicu penghapusan berantai objek turunannya, bahkan jika objek anak tersebut disertakan dalam pembagian aktif. Setelah penghapusan secara kaskade menghapus aset, Anda tidak dapat menambahkan kembali aset dengan nama yang sama ke dalam berbagi.

Untuk menghindari masalah ini, hapus aset dari semua pembagian sebelum menghapus objek induknya.

Kuota sumber daya

Azure Databricks memberlakukan kuota sumber daya pada semua objek openSharing yang dapat diamankan. Kuota ini tercantum dalam batas Sumber Daya. Jika Anda berharap melebihi batas sumber daya ini, hubungi tim akun Azure Databricks Anda.

Anda dapat memantau penggunaan kuota menggunakan API kuota sumber daya Unity Catalog. Lihatlah cara memantau penggunaan kuota sumber daya Unity Catalog Anda .

Sumber daya tambahan

  • Last updated on