Bagikan melalui

Apa itu Azure Databricks Clean Rooms?

Halaman ini memperkenalkan Clean Rooms, fitur Azure Databricks yang menggunakan Delta Sharing dan komputasi tanpa server untuk menyediakan lingkungan yang aman dan melindungi privasi di mana beberapa pihak dapat bekerja sama pada data perusahaan sensitif tanpa akses langsung ke data satu sama lain.

Persyaratan

Agar memenuhi syarat untuk menggunakan kamar bersih, Anda harus memiliki:

Bagaimana cara kerja Clean Rooms?

Saat membuat ruang bersih, Anda membuat yang berikut ini:

  • Objek ruangan bersih yang aman di metastore Unity Catalog Anda.
  • Ruang bersih "pusat", yang merupakan lingkungan ephemeral terisolasi yang dikelola oleh Databricks.
  • Objek ruang bersih yang dapat diamankan dalam metastore Unity Catalog milik kolaborator Anda.

Tabel, volume (data non-tabular), tampilan, dan notebook yang dibagikan oleh kolaborator di dalam ruang bersih hanya dibagikan dengan ruang bersih pusat, menggunakan Delta Sharing.

Kolaborator tidak dapat melihat data dalam tabel, tampilan, atau volume kolaborator lain, tetapi mereka dapat melihat nama kolom dan jenis kolom, dan mereka dapat menjalankan kode buku catatan yang disetujui yang beroperasi melalui aset data. Kode notebook berjalan di ruang bersih utama. Notebook juga dapat menghasilkan tabel output yang memungkinkan kolaborator Anda menyimpan output baca-saja untuk sementara ke metastore Unity Catalog mereka sehingga mereka dapat bekerja dengannya di ruang kerja mereka.

Ruang bersih dengan arsitektur dan alur sederhana, dengan tabel output

Bagaimana Clean Rooms memastikan lingkungan tanpa kepercayaan?

Model Databricks Clean Rooms adalah "tidak ada kepercayaan." Semua kolaborator di ruang bersih berkonsep tanpa kepercayaan memiliki hak istimewa yang sama, termasuk pembuat ruang bersih. Clean Rooms dirancang untuk mencegah berjalannya kode yang tidak sah dan berbagi data yang tidak sah. Kepercayaan ini diberlakukan secara eksplisit dengan mengharuskan semua kolaborator menyetujui buku catatan sebelum dapat dijalankan. Meskipun Anda dapat mengunggah buku catatan kepada diri Anda sendiri, buku catatan tersebut harus disetujui oleh kolaborator lain sebelum dijalankan. Lihat Menyetujui buku catatan di ruang bersih.

Perlindungan atau pembatasan tambahan

Tindakan perlindungan berikut ini diberlakukan selain proses persetujuan notebook yang eksplisit disebutkan di atas:

  • Setelah ruang bersih dibuat, ruang tersebut dikunci untuk mencegah kolaborator baru bergabung dengan ruang bersih.

  • Jika ada kolaborator yang menghapus ruang bersih, ruang bersih pusat menjadi batal dan tidak ada tugas ruang bersih yang dapat dijalankan oleh pengguna mana pun.

  • Setiap ruang bersih dibatasi hingga sepuluh kolaborator.

  • Anda tidak dapat mengganti nama ruang bersih.

    Nama kamar yang bersih harus unik di metastore setiap kolaborator, sehingga semua kolaborator dapat merujuk ke ruang bersih yang sama secara tidak ambigu.

  • Ketika kolaborator menambahkan komentar ke ruang bersih yang dapat diamankan di ruang kerja mereka, komentar ini tidak disebarluaskan ke kolaborator lain.

Apa yang dibagikan dengan kolaborator lain?

  • Bersihkan nama ruangan.
  • Cloud dan wilayah ruang bersih utama.
  • Nama organisasi Anda (yang bisa berupa nama apa pun yang Anda pilih).
  • Pengidentifikasi berbagi ruang steril Anda (ID metastore global + ID ruang kerja + alamat email pengguna).
  • Alias dari tabel bersama, tampilan bersama, atau volume bersama.
  • Metadata kolom (nama kolom atau alias dan jenis).
  • Buku Catatan (baca-saja).
  • Tabel Output (hanya baca, sementara).
  • Tabel sistem acara ruang bersih.
  • Riwayat pelaksanaan, termasuk:
    • Nama buku catatan yang sedang dijalankan
    • Kolaborator yang menjalankan buku catatan (bukan pengguna).
    • Status pelaksanaan notebook.
    • Waktu mulai eksekusi notebook.

Apa yang dibagikan dengan ruang bersih pusat?

  • Semua yang tercantum di bagian sebelumnya.

  • Tabel, volume, tampilan, dan notebook bacasaja.

    Tabel, tampilan, dan volume didaftarkan di metastore ruang bersih pusat dengan nama alias yang disediakan. Aset data dibagikan sepanjang siklus hidup ruang bersih.

Tanya Jawab Umum Kamar Bersih

Berikut ini adalah pertanyaan yang sering diajukan tentang kamar bersih.

Bagaimana data saya dikelola di ruangan yang bersih?

Ruang bersih pusat dikelola oleh Azure Databricks. Di ruang bersih pusat:

  • Kedua pihak tidak memiliki akses admin.
  • Hanya metadata yang terlihat oleh semua pihak.
  • Setiap pihak dapat menambahkan data ke ruang bersih pusat.
  • Ruang bersih menggunakan Delta Sharing untuk berbagi data dengan aman di dalam ruang bersih, tetapi tidak di antara peserta. Lihat Apa yang dimaksud dengan Delta Sharing?.

Bagaimana data saya tetap privat?

Ruang bersih pusat berjalan pada platform komputasi tanpa server yang terisolasi dan dikelola oleh Databricks, yang di-hosting di wilayah penyedia cloud yang dipilih oleh pencipta ruang bersih.

Kamar bersih menyediakan:

  • Persetujuan kode: Pembuat dan kolaborator ruang steril dapat berbagi tabel dan volume dengan ruang steril utama tetapi hanya dapat menjalankan notebook yang diunggah oleh pihak lain. Anda dapat meninjau kode yang ditambahkan oleh pihak lain sebelum menyetujui. Jika Anda menjalankan buku catatan yang ditambahkan oleh pihak lain, Anda secara implisit menyetujui kode.
  • Kontrol versi: Notebook digital di clean rooms memiliki kontrol versi untuk memastikan bahwa semua pihak hanya dapat menjalankan notebook digital yang telah mendapatkan persetujuan penuh. Hanya versi terbaru buku catatan yang dapat dijalankan. Anda dapat menggunakan tabel sistem ruangan bersih untuk melihat versi buku catatan mana yang dijalankan dan memantau perubahan apa pun yang dibuat.
  • Akses terbatas: Saat membuat ruang bersih, Anda dapat menggunakan kontrol keluar tanpa server untuk mengelola koneksi jaringan keluar. Jika Anda membatasi akses dari ruang bersih Anda, akses ke penyimpanan yang tidak sah akan diblokir. Lihat Apa itu kontrol keluar tanpa server?.

Untuk mempelajari selengkapnya tentang keamanan dan bidang komputasi tanpa server, lihat jaringan sarana komputasi Tanpa Server.

Bagaimana tindakan direkam?

Tindakan kamar bersih yang diambil oleh Anda atau kolaborator Anda direkam dalam tabel sistem acara kamar bersih. Catatan ini mencakup metadata terperinci tentang tindakan tertentu yang diambil. Lihat referensi tabel sistem peristiwa ruangan bersih .

Aktivitas ruang bersih juga dicatat di log audit akun Anda pada layanan clean-room. Lihat Acara Clean Rooms.

Ketika kolaborator memodifikasi izin pada ruang bersih yang dapat diamankan secara khusus dalam metastore mereka, perubahan ini dicatat dalam log audit mereka pada layanan unityCatalog.

Bagaimana cara kerja penagihan?

Untuk mempelajari selengkapnya tentang harga Databricks Clean Rooms, lihat tautan .

Batasan

Batasan berikut berlaku:

  • Tidak ada kredensial layanan pustaka Scala yang disertakan dalam versi Databricks Runtime yang diperlukan.

Kuota sumber daya

Azure Databricks memberlakukan kuota sumber daya pada semua objek yang dapat diamankan Clean Room. Kuota ini tercantum dalam batas Sumber Daya. Jika Anda berharap melebihi batas sumber daya ini, hubungi tim akun Azure Databricks Anda.

Anda dapat memantau penggunaan kuota menggunakan API kuota sumber daya Unity Catalog. Lihatlah cara memantau penggunaan kuota sumber daya Unity Catalog Anda .

Mulai sekarang