Apa itu Azure Databricks Clean Rooms?
Penting
Fitur ini ada di Pratinjau Publik. Untuk meminta akses, hubungi perwakilan Azure Databricks Anda.
Artikel ini memperkenalkan Clean Rooms, fitur Azure Databricks yang menggunakan Berbagi Delta dan komputasi tanpa server untuk menyediakan lingkungan yang aman dan melindungi privasi di mana beberapa pihak dapat bekerja sama pada data perusahaan sensitif tanpa akses langsung ke data satu sama lain.
Persyaratan
Agar memenuhi syarat untuk menggunakan kamar bersih, Anda harus:
- Daftar dan disetujui untuk pratinjau publik. Hubungi tim akun Azure Databricks Anda untuk meminta akses.
- Memiliki akun yang diaktifkan untuk komputasi tanpa server. Lihat Mengaktifkan komputasi tanpa server.
- Memiliki ruang kerja yang diaktifkan untuk Katalog Unity. Lihat Mengaktifkan ruang kerja untuk Unity Catalog.
Bagaimana cara kerja Clean Rooms?
Saat membuat ruang bersih, Anda membuat yang berikut ini:
- Objek ruangan bersih yang aman di metastore Unity Catalog Anda.
- Ruang bersih "pusat", yang merupakan lingkungan ephemeral terisolasi yang dikelola oleh Databricks.
- Objek ruangan bersih yang dapat diamankan di metastore Unity Catalog kolaborator Anda.
Tabel, volume (data non-tabular), dan notebook yang dibagikan kolaborator di ruang bersih dibagikan, menggunakan Berbagi Delta, hanya dengan ruang bersih pusat.
Kolaborator tidak dapat melihat data dalam tabel dan volume kolaborator lain, tetapi mereka dapat melihat nama kolom dan jenis kolom, dan mereka dapat menjalankan kode buku catatan yang disetujui yang beroperasi di atas tabel dan volume. Kode buku catatan berjalan di ruang bersih pusat.
Bagaimana Clean Rooms memastikan lingkungan tanpa kepercayaan?
Model Databricks Clean Rooms adalah "tanpa kepercayaan." Semua kolaborator di ruang bersih tanpa kepercayaan memiliki hak istimewa yang sama, termasuk pembuat ruang bersih. Clean Rooms dirancang untuk mencegah berjalannya kode yang tidak sah dan berbagi data yang tidak sah. Misalnya, semua kolaborator harus menyetujui buku catatan sebelum dapat dijalankan. Kepercayaan ini diberlakukan secara implisit dengan mencegah kolaborator menjalankan buku catatan apa pun yang telah mereka buat sendiri: Anda hanya dapat menjalankan buku catatan yang dibuat oleh kolaborator lain.
Perlindungan atau pembatasan tambahan
Perlindungan berikut diberlakukan selain proses persetujuan notebook implisit yang disebutkan di atas:
Setelah ruang bersih dibuat, ruang tersebut dikunci untuk mencegah kolaborator baru bergabung dengan ruang bersih.
Jika ada kolaborator yang menghapus ruang bersih, ruang bersih pusat tidak berfungsi dan tidak ada tugas kamar yang bersih yang dapat dijalankan oleh pengguna mana pun.
Selama pratinjau publik, setiap ruang bersih dibatasi hingga dua kolaborator.
Anda tidak dapat mengganti nama ruang bersih.
Nama kamar yang bersih harus unik di metastore setiap kolaborator, sehingga semua kolaborator dapat merujuk ke ruang bersih yang sama secara tidak ambigu.
Komentar tentang ruang bersih yang dapat diamankan di ruang kerja setiap kolaborator tidak disebarkan ke kolaborator lain.
Apa yang dibagikan dengan kolaborator lain?
- Nama kamar bersih.
- Cloud dan wilayah ruang bersih pusat.
- Nama organisasi Anda (yang bisa berupa nama apa pun yang Anda pilih).
- Pengidentifikasi berbagi metastore Unity Catalog Anda (ID metastore global).
- Alias tabel atau volume bersama.
- Metadata kolom (nama kolom atau alias dan jenis).
- Notebooks (baca-saja).
- Bersihkan meja sistem acara kamar.
- Riwayat eksekusi, termasuk:
- Nama buku catatan yang sedang dijalankan
- Kolaborator yang menjalankan buku catatan (bukan pengguna).
- Status eksekusi buku catatan.
- Waktu mulai eksekusi buku catatan.
Apa yang dibagikan dengan ruang bersih pusat?
Semua yang tercantum di bagian sebelumnya.
Tabel, volume, dan notebook baca-saja.
Tabel dan volume terdaftar di metastore ruang bersih pusat dengan alias yang disediakan. Tabel, volume, dan notebook dibagikan sepanjang siklus hidup ruangan yang bersih.
Batasan
Selama pratinjau publik, batasan berikut berlaku:
- Tidak ada dukungan untuk mematikan internet di ruang bersih untuk mencegah kode berbahaya menyelundupkan data ke lokasi eksternal.
- Tidak ada pustaka Scala kredensial layanan yang disertakan dalam versi Databricks Runtime yang diperlukan.
Kuota sumber daya
Azure Databricks memberlakukan kuota sumber daya pada semua objek yang dapat diamankan Clean Room. Kuota ini tercantum dalam batas Sumber Daya. Jika Anda berharap melebihi batas sumber daya ini, hubungi tim akun Azure Databricks Anda.
Anda dapat memantau penggunaan kuota menggunakan API kuota sumber daya Unity Catalog. Lihat Memantau penggunaan kuota sumber daya Unity Catalog Anda.