Udostępnij za pośrednictwem

Co to jest usługa Azure Databricks Clean Rooms?

Na tej stronie przedstawiono funkcję Clean Rooms w usłudze Azure Databricks, która wykorzystuje Delta Sharing oraz przetwarzanie bezserwerowe do zapewnienia bezpiecznego środowiska ochrony prywatności, gdzie wiele stron może współpracować nad poufnymi danymi przedsiębiorstwa bez bezpośredniego dostępu do danych innych uczestników.

Wymagania

Aby kwalifikować się do korzystania z czystych pomieszczeń, musisz mieć:

Jak działają czyste pokoje?

Podczas tworzenia czystego pokoju utworzysz następujące elementy:

  • Obiekt zabezpieczanej strefy czystej w metamagazynie katalogu Unity.
  • Pomieszczenie czyste "centralne", będące izolowanym środowiskiem efemerycznym, zarządzane przez Databricks.
  • Zabezpieczalny obiekt w czystej sali w repozytorium metadanych Unity Catalog współpracownika.

Tabele, dane woluminowe (inne niż tabelaryczne), widoki i notesy, które współpracownicy udostępniają w ramach pomieszczenia czystego, są udostępniane tylko centralnemu pomieszczeniu czystemu za pomocą Delta Sharing.

Współpracownicy nie widzą danych w tabelach, widokach lub woluminach innych współpracowników, ale mogą wyświetlać nazwy kolumn i typy kolumn i mogą uruchamiać zatwierdzony kod notesu, który działa na zasobach danych. Kod notesu jest uruchamiany w centralnym pomieszczeniu o kontrolowanej czystości. Notatniki mogą również generować tabele danych wyjściowych , które umożliwiają współpracownikowi tymczasowe zapisywanie danych wyjściowych tylko do odczytu w magazynie katalogu Unity Catalog, aby mógł z nimi pracować w swoich obszarach roboczych.

Czyste pokoje o prostej architekturze i organizacji, z tabelami wyjściowymi

W jaki sposób clean rooms zapewnia środowisko bez zaufania?

Model „Izolowane Środowiska” usługi Databricks to model „braku zaufania”. Wszyscy współpracownicy w pomieszczeniu o zerowym poziomie zaufania mają równe uprawnienia, w tym twórca tego pomieszczenia. Funkcja Clean Rooms została zaprojektowana w celu zapobiegania uruchamianiu nieautoryzowanego kodu i nieautoryzowanego udostępniania danych. To zaufanie jest wymuszane bezpośrednio przez wymaganie od wszystkich współpracowników zatwierdzenia notatnika przed jego uruchomieniem. Notatnik można przesłać samodzielnie, ale przed uruchomieniem musi zostać zatwierdzony przez innych współpracowników. Zobacz Zatwierdzanie notesu w czystym pomieszczeniu.

Dodatkowe zabezpieczenia lub ograniczenia

Oprócz wyraźnego zatwierdzania zeszytów wymienionego powyżej, obowiązują następujące zabezpieczenia:

  • Po utworzeniu czystego pokoju jest on zablokowany, aby uniemożliwić nowym współpracownikom dołączenie do czystego pokoju.

  • Jeśli jakikolwiek współpracownik usunie czyste pomieszczenie, centralne czyste pomieszczenie traci ważność i żadne zadania w czystym pomieszczeniu nie mogą być uruchamiane przez żadnego użytkownika.

  • Każdy czysty pokój jest ograniczony do dziesięciu współpracowników.

  • Nie można zmienić nazwy czystego pokoju.

    Nazwa czystego pokoju musi być unikatowa w magazynie metadanych każdego współpracownika, aby wszyscy współpracownicy mogli jednoznacznie odwoływać się do tego samego czystego pokoju.

  • Kiedy współpracownik dodaje komentarze w sekurowanym czystym pokoju w swoim obszarze roboczym, te komentarze nie są propagowane do innych współpracowników.

Co jest udostępniane innym współpracownikom?

  • Czysta nazwa pokoju.
  • Chmura i obszar centralnego pomieszczenia czystej przestrzeni.
  • Nazwa organizacji (która może być dowolną wybraną nazwą).
  • Identyfikator udostępniania pomieszczeń czystych (globalny identyfikator magazynu metadanych + identyfikator obszaru roboczego i adres e-mail użytkownika).
  • Aliasy udostępnionych tabel, widoków lub woluminów.
  • Metadane kolumn (nazwa kolumny lub alias i typ).
  • Notesy (tylko do odczytu).
  • tabele wyjściowe (tylko do odczytu, tymczasowe).
  • Tabela systemowa zdarzeń w pomieszczeniu czystym.
  • Historia uruchamiania, w tym:
    • Nazwa uruchamianego notatnika
    • Współpracownik, który uruchomił notatnik (a nie użytkownik).
    • Stan uruchomienia notesu.
    • Czas rozpoczęcia uruchomienia notatnika.

Co jest udostępniane w centralnej czystej sali?

  • Wszystkie elementy wymienione w poprzedniej sekcji.

  • Tabele tylko do odczytu, woluminy, widoki i notesy.

    Tabele, widoki i woluminy są zarejestrowane w magazynie metadanych centralnego pomieszczenia czystego z podanymi aliasami. Zasoby danych są współużytkowane w całym cyklu życia czystego pomieszczenia.

Czyszczenie pomieszczeń — często zadawane pytania

Poniżej przedstawiono często zadawane pytania dotyczące czystych pomieszczeń.

W jaki sposób moje dane są zarządzane w czystym pomieszczeniu?

Centralna czysta sala jest zarządzana przez usługę Azure Databricks. W centralnym czystym pomieszczeniu

  • Żadna ze stron nie ma uprawnień administratora.
  • Tylko metadane są widoczne dla wszystkich stron.
  • Każda strona może dodać dane do centralnego czystego pokoju.
  • Czyste pomieszczenia korzystają z funkcji Delta Sharing, aby bezpiecznie udostępniać dane czystemu pomieszczeniu, ale nie między uczestnikami. Zobacz Co to jest Delta Sharing?.

W jaki sposób moje dane są przechowywane prywatnie?

Centralne systemy pomieszczeń czystych działają na izolowanej, zarządzanej przez Databricks bezserwerowej platformie obliczeniowej, umieszczonej w regionie dostawcy usług chmurowych, wybranym przez twórcę pomieszczenia czystego.

Czyste pokoje zapewniają:

  • Zatwierdzanie kodu: Twórca i współpracownicy w czystym pomieszczeniu mogą udostępniać tabele i woluminy z centralnym czystym pomieszczeniem, ale mogą uruchamiać tylko notatniki przekazane przez inną stronę. Przed zatwierdzeniem można przejrzeć kod dodany przez inną stronę. Jeśli uruchomisz notatnik dodany przez inną stronę, milcząco zatwierdzisz kod.
  • Kontrola wersji: Notatniki cleanroom mają kontrolę wersji, aby upewnić się, że wszyscy użytkownicy mogą uruchamiać tylko w pełni zatwierdzone notatniki. Można uruchomić tylko najnowszą wersję notesu. Możesz użyć tabeli systemu czyszczenia pomieszczeń, aby zobaczyć, która wersja notesu została uruchomiona i monitorować wszelkie wprowadzone zmiany.
  • Ograniczony dostęp: Podczas tworzenia "clean room" można użyć bezserwerowej kontroli ruchu wychodzącego do zarządzania połączeniami sieciowymi wychodzącymi. Jeśli ograniczysz dostęp z czystego pokoju, dostęp do nieautoryzowanego magazynu zostanie zablokowany. Zobacz Czym jest kontrola ruchu wychodzącego bezserwerowego?.

Aby dowiedzieć się więcej o zabezpieczeniach i bezserwerowej płaszczyźnie obliczeniowej, zapoznaj się z sieciami bezserwerowej płaszczyzny obliczeniowej.

Jak są rejestrowane akcje?

Akcje czyszczenia pomieszczeń wykonywane przez Ciebie lub współpracowników są rejestrowane w tabeli systemu zdarzeń w pomieszczeniu czystym. Te rekordy obejmują szczegółowe metadane dotyczące konkretnej akcji podjętej. Zobacz tabelę referencyjną systemu zdarzeń dla pomieszczeń czystych .

Akcje w pomieszczeniu czystym są również zapisywane w dzienniku audytu konta w usłudze clean-room. Zobacz Zdarzenia Clean Rooms.

Gdy współpracownik modyfikuje uprawnienia do zabezpieczalnego pomieszczenia typu clean room w ramach swojego metazbioru, te zmiany są rejestrowane w dziennikach audytów pod unityCatalog usługą.

Jak odbywa się rozliczanie?

Aby dowiedzieć się więcej na temat cennika usługi Databricks Clean Rooms, zobacz link.

Ograniczenia

Obowiązują następujące ograniczenia:

  • Brak bibliotek języka Scala dotyczących poświadczeń usługi w wymaganej wersji środowiska Databricks Runtime.

Limity przydziałów zasobów

Usługa Azure Databricks wymusza limity przydziału zasobów dla wszystkich zabezpieczanych obiektów clean room. Te limity przydziału są wymienione w temacie Limity zasobów. Jeśli spodziewasz się przekroczyć te limity zasobów, skontaktuj się z zespołem konta usługi Azure Databricks.

Można monitorować zużycie limitu przydziałów za pomocą zasobów API Unity Catalog. Sprawdź Monitoruj użycie zasobów Unity Catalog.

Zaczynaj