Apa itu protokol OpenSharing Databricks-to-Databricks?

Halaman ini memberikan gambaran umum tentang cara menggunakan Databricks-to-Databricks OpenSharing untuk berbagi data dengan aman dengan pengguna Databricks apa pun, terlepas dari akun atau host cloud, selama pengguna tersebut memiliki akses ke ruang kerja yang diaktifkan untuk Katalog Unity.

Siapa yang harus menggunakan Databricks-to-Databricks OpenSharing?

Ada tiga cara untuk berbagi data menggunakan OpenSharing.

  1. Protokol berbagi Databricks-to-Databricks, yang tercakup dalam artikel ini, memungkinkan Anda berbagi data dari ruang kerja yang mendukung Unity Catalog dengan pengguna yang juga memiliki akses ke ruang kerja Databricks yang mendukung Unity Catalog.

    Pendekatan ini menggunakan server OpenSharing yang dibangun ke dalam Azure Databricks dan menyediakan dukungan untuk berbagi buku catatan, tata kelola data Katalog Unity, audit, dan pelacakan penggunaan untuk penyedia dan penerima. Integrasi dengan Unity Catalog menyederhanakan penyiapan dan tata kelola untuk penyedia dan penerima dan meningkatkan performa.

  2. Protokol berbagi Databricks-to-Open memungkinkan Anda berbagi data yang Anda kelola di ruang kerja Databricks berkemampuan Unity Catalog dengan pengguna di platform komputasi apa pun.

    Lihat Apa itu protokol berbagi Databricks-to-Open?.

  3. Implementasi yang dikelola oleh pelanggan dari server OpenSharing sumber terbuka memungkinkan Anda berbagi dari platform apa pun ke platform apa pun, baik di Databricks maupun bukan.

    Lihat proyek sumber terbuka.

Untuk pengenalan OpenSharing dan informasi selengkapnya tentang ketiga pendekatan ini, lihat Apa itu OpenSharing?.

Alur kerja Databricks-to-Databricks OpenSharing

Bagian ini memberikan ikhtisar menyeluruh tentang alur kerja berbagi antara Databricks, disertai tautan ke dokumentasi terperinci untuk setiap langkah.

Dalam model Databricks-to-Databricks OpenSharing:

  1. Penerima data memberikan penyedia data pengenal berbagi yang unik untuk metastore Databricks Unity Catalog yang dihubungkan dengan ruang kerja Databricks. Penerima (yang mewakili pengguna atau grup pengguna) akan menggunakan ruang kerja ini untuk mengakses data yang dibagikan oleh penyedia data.

    Untuk detailnya, lihat Langkah 1: Meminta pengidentifikasi penerima.

  2. Penyedia data membuat berbagi di metastore Unity Catalog milik penyedia. Objek bernama ini berisi kumpulan tabel, tampilan, volume, dan notebook yang terdaftar di metastore.

    Untuk detailnya, lihat Membuat berbagi untuk OpenSharing.

  3. Penyedia data membuat objek penerima di metastore Unity Catalog milik penyedia. Objek bernama ini mewakili pengguna atau grup pengguna yang akan mengakses data yang termasuk dalam berkas yang dibagikan, bersama dengan pengidentifikasi berbagi dari metastore Katalog Unity yang terhubung ke ruang kerja yang akan digunakan oleh pengguna atau grup pengguna tersebut untuk mengakses berkas yang dibagikan. Pengidentifikasi berbagi adalah pengidentifikasi kunci yang memungkinkan koneksi aman.

    Untuk detailnya, lihat Langkah 2: Membuat penerima.

  4. Penyedia data memberikan akses kepada penerima untuk berbagi.

    Untuk detailnya, lihat Mengelola akses ke berbagi data OpenSharing (untuk penyedia).

  5. Share tersedia di ruang kerja Databricks milik penerima, dan penerima dapat mengaksesnya menggunakan Catalog Explorer, Databricks CLI, atau perintah SQL di notebook Azure Databricks atau editor kueri Databricks SQL.

    Untuk mengakses tabel, tampilan, volume, dan buku catatan dalam share, admin metastore atau pengguna istimewa harus membuat katalog dari share. Kemudian pengguna atau pengguna lain yang diberikan hak istimewa yang sesuai dapat memberi pengguna lain akses ke katalog dan objek dalam katalog. Memberikan izin pada katalog bersama dan aset data berfungsi seperti halnya dengan aset lain yang terdaftar di Unity Catalog, dengan perbedaan penting adalah bahwa pengguna hanya dapat diberikan akses baca pada objek dalam katalog yang dibuat dari berbagi OpenSharing.

    Notebook bersama berada pada tingkat katalog, dan setiap pengguna dengan USE CATALOG hak akses pada katalog dapat mengaksesnya.

    Untuk detailnya, lihat Membaca data yang dibagikan menggunakan Databricks-to-Databricks OpenSharing (untuk penerima).

Meningkatkan performa baca tabel dengan berbagi riwayat

Berbagi tabel antara Databricks dapat meningkatkan kinerja dengan memungkinkan berbagi riwayat. Riwayat berbagi meningkatkan performa dengan memanfaatkan kredensial keamanan sementara dari penyimpanan cloud Anda, dibatasi ke direktori root dari tabel Delta bersama penyedia, menghasilkan performa yang sebanding dengan akses langsung ke tabel sumber.

  • Untuk berbagi tabel baru, tentukan WITH HISTORY saat membuat berbagi tabel. Lihat Menambahkan tabel ke dokumen bersama. Saat Anda berbagi tabel menggunakan komputasi pada Databricks Runtime 16.2 ke atas, WITH HISTORY adalah default.
  • Untuk berbagi riwayat tabel dari tabel yang sudah ada, Anda harus mengubah pengaturan berbagi. Lihat pembaruan dari bagian. Saat Anda berbagi tabel menggunakan komputasi pada Databricks Runtime 16.2 ke atas, WITH HISTORY adalah default.

Saat Anda berbagi seluruh skema, semua tabel dalam skema dibagikan dengan riwayat secara default.

Note

Tabel yang mengaktifkan partisi tidak mendapat manfaat kinerja dari berbagi riwayat. Lihat Tentukan partisi tabel agar dapat dibagikan

Untuk persyaratan kelayakan token cloud dan pertimbangan privasi data, lihat Kelayakan token cloud.

Matriks dukungan Databricks-to-Databricks OpenSharing untuk lingkungan cloud

Databricks-to-Databricks OpenSharing mendukung berbagi dalam jenis lingkungan yang sama. Cloud komersial mencakup ruang kerja dengan kontrol kepatuhan diaktifkan, seperti FedRAMP Moderate. Berbagi dengan lingkungan Azure Government tidak didukung.

Penting

Berbagi lintas domain regulasi masih dalam Pratinjau Publik.

Dalam matriks ini, setiap baris mewakili lingkungan penyedia (data berbagi metastore), dan setiap kolom mewakili lingkungan penerima (metastore yang menerima data bersama).

Penyedia Penerima: Cloud komersial Penerima: AWS GovCloud Penerima: AWS GovCloud DoD Penerima: Azure Tiongkok
Layanan cloud komersial ✓ ✓ ✓ ✓
AWS GovCloud ✓ ✓ ✓
AWS GovCloud DoD ✓ ✓ ✓
Azure Tiongkok ✓ ✓

Batasan

Batasan berikut berlaku untuk berbagi domain lintas peraturan:

  • Token cloud digunakan kecuali jika pembagian berpindah ke atau keluar dari AWS GovCloud atau AWS GovCloud DoD. Dalam kasus berikut, tabel dibagikan menggunakan URL yang telah ditandatangani sebelumnya sebagai gantinya:
    • Cloud komersial dibagikan ke atau menerima pembagian dari AWS GovCloud maupun AWS GovCloud DoD.
    • AWS GovCloud dan AWS GovCloud DoD berbagi satu sama lain.
  • Last updated on