Zewnętrzne sekrety w katalogu Unity

Ważna

Ta funkcja jest dostępna w wersji beta.

Zewnętrzne sekrety łączą schemat Unity Catalog z zewnętrznym menedżerem sekretów. Zamiast Azure Databricks przechowywać wartości sekretów, sekrety pozostają w Twoim menedżerze tajemnic w chmurze i pojawiają się w Unity Catalog jako zabezpieczalne obiekty, którymi możesz zarządzać i do których możesz się odwoływać.

Jak działają zewnętrzne tajemnice

Konfigurujesz tajne backend według schematu. Domyślnie Azure Databricks przechowuje i zarządza każdym sekretem w schemacie, chyba że zewnętrzny menedżer sekretów go wspiera. Schemat nie może mieszać obu tych elementów.

Gdy schemat jest wspierany przez zewnętrznego menedżera tajemnic, Azure Databricks wykonuje następujące czynności:

  • Ujawnia sekrety, które połączenie może wymienić: Każdy sekret, który połączenie może wymieniać, dbutilspojawia się jako sekret Unity Catalog w Eksploratorze Katalogu oraz w API REST Unity Catalog. Obowiązują ograniczenia dotyczące nazewnictwa. Zobacz Ograniczenia nazewnictwa.
  • Odczytuje wartości na żądanie: Azure Databricks nie przechowuje wartości sekretu w Unity Catalog. Każde pobranie odczytuje bieżącą wartość bezpośrednio z zewnętrznego menedżera sekretów, co powoduje dodatkowe opóźnienie i może generować koszty po stronie dostawcy chmury. Odzyskane wartości mogą być buforowane w obliczeniu, które je wymagało, podobnie jak w przypadku innych sekretów.
  • Zarządza dostępem za pomocą uprawnień Unity Catalog: READ SECRET i REFERENCE SECRET, a także dziedziczenie uprawnień, mają zastosowanie w taki sam sposób jak w przypadku wpisów tajnych zarządzanych przez Azure Databricks. Ponieważ zewnętrzne wpisy tajne są tylko do odczytu, Unity Catalog odrzuca operacje CREATE SECRET, WRITE SECRET oraz operacje usuwania. Zobacz Ograniczenia. Cały dostęp do zewnętrznego menedżera sekretów przechodzi przez dane uwierzytelniające połączenia, więc logi audytowe po stronie chmury przypisują dostęp do tej tożsamości, podczas gdy logi audytowe Unity Catalog nadal rejestrują użytkownika Azure Databricks.

Wyświetlenie sekretów w schemacie powoduje zaimportowanie. Nie jest to ciągła synchronizacja w tle. Import jest wykonywany asynchronicznie, więc Unity Catalog odzwierciedla sekret dodany do zewnętrznego menedżera sekretów lub z niego usunięty dopiero wtedy, gdy kolejne wyświetlenie listy wyzwoli import, co w przypadku magazynów z dużą liczbą sekretów może potrwać do kilku minut. Odczyt konkretnego sekretu importuje lub odświeża tylko ten sekret, a każde odczytanie daje najnowszą wartość. Gdy trwale usuwasz sekret w zewnętrznym menedżerze sekretów, Azure Databricks usuwa odpowiadający mu sekret Unity Catalog, w tym jego metadane, uprawnienia i tagi.

Ograniczenia nazewnictwa

Nazwy zewnętrznych sekretów muszą być zgodne z konwencjami nazewnictwa Unity Catalog, aby mogły zostać zaimportowane:

  • Unity Catalog nie importuje nazw dłuższych niż 248 znaków.
  • Nazwy sekretów w Unity Catalog nie rozróżniają wielkości liter. Jeśli dwa zewnętrzne sekrety różnią się tylko przypadkiem, Unity Catalog używa tylko pierwszego importowanego i ignoruje pozostałe.
  • Katalog Unity zastępuje znaki, których nie obsługuje: . staje się :, a / staje się |. Azure Databricks zaleca unikanie tych znaków w nazwach sekretów zewnętrznych.

Zarządzaj tajnymi limitami

Unity Catalog ogranicza, ile sekretów może przechowywać schemat i metastore. Zobacz Ograniczenia. Jeśli schemat zawiera więcej sekretów niż pozwala kwota, Azure Databricks importuje najstarsze sekrety najpierw według daty utworzenia w zewnętrznym menedżerze sekretów, do limitu, a resztę nie importuje. Udostępniaj w Azure Databricks tylko te sekrety, których potrzebujesz, aby schemat mieścił się w limicie przydziału:

Skieruj połączenie na dedykowany Key Vault, który przechowuje tylko te sekrety, które chcesz mieć dostępne w Azure Databricks.

Ograniczenia

Oprócz ograniczeń obowiązujących dla wszystkich sekretów Katalogu Unity, sekrety wspierane zewnętrznie mają następujące ograniczenia:

  • Tylko do odczytu w Unity Catalog: Nie można tworzyć, aktualizować, zmieniać nazwy ani usuwać sekretów w zewnętrznie wspieranym schemacie z Azure Databricks. Zarządzaj tymi sekretami w zewnętrznym menedżerze sekretów.
  • Jeden backend na schemat: Wszystkie sekrety w schemacie korzystają z tego samego backendu. Schemat nie może mieszać sekretów zarządzanych przez usługę Azure Databricks z sekretami obsługiwanymi zewnętrznie.
  • Zmiana backendu usuwa importowane sekrety: Zmiana backendu schematu lub skierowanie go na inne połączenie usuwa wcześniej zaimportowane zewnętrzne sekrety ze schematu, w tym metadane Unity Catalog, uprawnienia i tagi.
  • Dostęp między chmurami nie jest obsługiwany: Przechowuj schematy za pomocą menedżera sekretów natywnego dla chmury obszaru roboczego.
  • Opóźnienia i koszt odczytu: Każdy odczyt pobiera wartość z zewnętrznego menedżera tajemnic, co zwiększa opóźnienia i może wiązać się z kosztami dostawcy chmury.
  • Ostatecznie spójne listy: Sekrety dodawane lub usuwane z zewnętrznego menedżera sekretów mogą pojawić się w Unity Catalog po kilku minutach, zwłaszcza w dużych magazynach sekretów.
  • Brak filtrowania tagów: Azure Key Vault nie obsługuje filtrowania importowanych sekretów według tagów.
  • Wyłączone i usunięte wpisy tajne: Wyłączony wpis tajny w usłudze Key Vault jest widoczny w Unity Catalog, ale nie można odczytać jego wartości, dopóki nie zostanie ponownie włączony. Katalog Unity nie ujawnia już miękko usuniętej tajemnicy. Odzyskaj go w Key Vault, aby znów był dostępny.

Uwaga / Notatka

Miejsce przechowywania danych. Jeśli zewnętrzny menedżer sekretów, który wspiera schemat, znajduje się w innym regionie niż metastore lub przestrzeń robocza, która go odczytuje, wartości sekretów i ich metadane przechodzą między regionami. Azure Databricks nie gwarantuje przetwarzania zewnętrznych sekretów w regionie.

Uwaga / Notatka

Dane osobowe w tajemnicy. Zewnętrzne nazwy i wartości tajnych mogą zawierać dane osobowe. To Ty odpowiadasz za to, aby nie umieszczać w nich danych osobowych, chyba że wymaga tego Twój przypadek użycia.

Dodatkowe zasoby

Funkcja Description
Konfiguruj zewnętrzne sekrety w Unity Catalog Wróć schemat do AWS Secrets Manager lub Azure Key Vault i przeczytaj zaimportowane sekrety.
Katalog Sekretów w Unity Twórz, zarządzaj i zarządzaj sekretami, które Azure Databricks przechowuje w Unity Catalog.
  • Ostatnia aktualizacja o