Azure Key Vault secrets in Unity Catalog

Ważna

Ta funkcja jest dostępna w wersji beta.

Skonfiguruj schemat katalogu Unity przy użyciu usługi Azure Key Vault, aby używać wpisów tajnych usługi Azure Key Vault w notesach, zadaniach i funkcjach UDF bez ich kopiowania. Wartości pozostają w Key Vault, a uprawnienia katalogu Unity decydują, kto może czytać lub używać każdego sekretu.

W przeciwieństwie do zakresu sekretów wspieranego przez Azure Key Vault, który udostępnia cały skarbiec jednemu workspace, schemat Unity Catalog wspierany przez Key Vault jest dostępny w każdym workspace podłączonym do metastore i daje dostęp do każdego sekretu osobno.

Aby porównać zewnętrzne sekrety z zarządzanymi przez Azure Databricks sekretami oraz zakresami wpisów tajnych obszaru roboczego, zobacz Wybierz miejsce, gdzie przechowywać sekret.

Jak działają zewnętrzne tajemnice

Schemat jest powiązany z jednym połączeniem z menedżerem sekretów w chmurze. Dwa niezależne mechanizmy kontrolne decydują o tym, kto może użyć klucza tajnego. Uprawnienia poświadczenia usługi w menedżerze sekretów decydują, które sekrety Unity Catalog może importować i odczytywać, a uprawnienia Unity Catalog decydują, które podmioty mogą z nich korzystać.

Każdy Key Vault ma własny schemat. Przywileje UC decydują, kto może korzystać z sekretów.

Po utworzeniu kopii zapasowej schematu zewnętrzne sekrety zachowują się następująco:

  • Każdy odczyt pobiera aktualną wartość: Wartość, którą obrócisz w menedżerze sekretów, zaczyna działać przy następnym odczytie, bez zmiany w Azure Databricks. Kod programu, który już przechowuje wartość, przechowuje ją, dopóki ponownie nie odczyta sekretu. Odzyskane wartości mogą być buforowane w obliczeniu, które je wymagało, podobnie jak w przypadku innych sekretów.
  • Zarządzaj sekretami w menedżerze sekretów: Tworz, aktualizuj, rotuj i usuwaj sekrety tam. Są one dostępne tylko do odczytu w Unity Catalog. Gdy trwale usuniesz sekret w menedżerze sekretów, Azure Databricks usuwa sekret Unity Catalog, w tym jego uprawnienia i tagi.
  • Wyświetlenie importuje nowe sekrety: Wyświetlenie schematu uruchamia asynchroniczny import. Sekret dodany lub usunięty z menedżera sekretów pojawia się w Unity Catalog po kolejnym wyświetleniu listy, co może zająć kilka minut w dużych magazynach sekretów. Możesz przeczytać sekret po nazwie, zanim pojawi się na liście.
  • Logi audytowe rejestrują obie strony: logi audytu Unity Catalog rejestrują podmiot zabezpieczeń Azure Databricks, który odczytał wpis tajny. Logi po stronie chmury przypisują dostęp poświadczeniu usługi.

Wymagania

Ustaw zewnętrzne sekrety

Stwórz uprawnienia do świadczenia usług

Połączenie uwierzytelnia się w menedżerze wpisów tajnych za pomocą poświadczenia usługi Unity Catalog.

  1. Utwórz poświadczenie usługi oparte na zarządzanej tożsamości lub jednostce usługi, jak opisano w Tworzenie poświadczeń usługi.
  2. Nadaj tożsamości uprawnienie do wyświetlania listy i odczytu sekretów w Key Vault. Na przykład przypisz rolę Key Vault Secrets User lub politykę dostępu z uprawnieniami do pobierania i wyświetlania wpisów tajnych.

Utwórz połączenie

Stwórz połączenie z Unity Catalog, które korzysta z poświadczenia serwisowego i wskazuje na menedżera sekretów. W magazynie metadanych potrzebujesz CREATE CONNECTION.

Eksplorator wykazu

  1. W Eksploratorze katalogu kliknij menu + i wybierz Utwórz połączenie.
  2. Wprowadź nazwę połączenia i wybierz typ połączenia Azure Key Vault.
  3. Wybierz dane uwierzytelniające i ustaw nazwę magazynu swojego Key Vault.
  4. Kliknij pozycję Utwórz.

Databricks CLI

Aby nawiązać połączenie, wykonaj poniższe polecenie. Ustaw vault_name nazwę swojego Key Vault oraz credential nazwę poświadczenia usługi:

databricks connections create --json '{
  "name": "my_key_vault_connection",
  "connection_type": "AZURE_KEY_VAULT",
  "options": {
    "vault_name": "my-vault",
    "credential": "my_key_vault_credential"
  }
}'

interfejs API REST

Aby nawiązać połączenie, wykonaj następujące polecenie. Azure Databricks rozpoznaje vault_name jako https://<vault_name>.vault.azure.net:

curl -X POST \
  -H "Authorization: Bearer $DATABRICKS_TOKEN" \
  -H 'Content-Type: application/json' \
  -d '{
    "name": "my_key_vault_connection",
    "connection_type": "AZURE_KEY_VAULT",
    "options": {
      "vault_name": "my-vault",
      "credential": "my_key_vault_credential"
    }
  }' \
  "$DATABRICKS_HOST/api/2.1/unity-catalog/connections"

Powiąż schemat z połączeniem

  1. W Eksploratorze wykazu przejdź do schematu.
  2. W szczegółach schematu znajdź ustawienia zewnętrznego menedżera sekretów i kliknij Włącz. Enable pozostaje niedostępny, dopóki schemat nie zawiera żadnych wpisów tajnych.
  3. Wybierz połączenie, które stworzyłeś, a następnie potwierdź.

Aby skierować schemat na inne połączenie, kliknij Edytuj. Aby przywrócić schemat do pamięci zarządzanej przez Azure Databricks, edytuj schemat i wyłącz zewnętrzne sekrety. Którakolwiek z tych zmian usuwa wcześniej zaimportowane sekrety ze schematu, w tym ich uprawnienia i tagi.

Weryfikowanie konfiguracji

Aby potwierdzić, że Unity Catalog potrafi wyświetlać i odczytywać Twoje sekrety, uruchom poniższe w notesie:

# List the secrets in the schema. This also starts an import of new secrets.
dbutils.secrets.list(catalog="main", schema="orders_app")

# Read one secret by name
dbutils.secrets.get(catalog="main", schema="orders_app", key="example_secret")

Jeśli lista jest pusta, uruchom ją ponownie po kilku minutach. Jeśli odczyt się nie powiedzie, zobacz Rozwiązywanie problemów.

Tajne nazwy w Unity Catalog

Katalog Unity importuje zewnętrzny sekret tylko wtedy, gdy jego nazwa spełnia następujące zasady:

  • Nazwy dłuższe niż 255 znaków nie są importowane.
  • Nazwy są niewrażliwe na wielkość liter. Jeśli dwa sekrety różnią się tylko wielkością liter, Unity Catalog zachowuje pierwszy importowany i ignoruje pozostałe.
  • . staje się : i / staje się |. Azure Databricks zaleca unikanie tych znaków w nazwach sekretów zewnętrznych.

Aby przeczytać sekret zanim pojawi się na liście, użyj jego nazwy wraz z tymi podstawieniami.

Troubleshooting

  • Sekret jest wymieniany, ale jego odczytanie kończy się niepowodzeniem: tożsamość może wymienić sekret, ale nie może odczytać jego wartości, albo sekret jest wyłączony w Key Vault. Nadaj rolę Key Vault Secrets User lub skonfiguruj politykę dostępu z uprawnieniem pobierania albo ponownie włącz klucz tajny.
  • Sekret zniknął: Unity Catalog nie pokazuje miękko usuniętych sekretów Key Vault. Odzyskaj sekret w Key Vault.
  • Nie pojawia się nowy sekret: Wypisz schemat, poczekaj kilka minut i wypisz go ponownie. Sprawdź ograniczenia dotyczące nazewnictwa i limit schematów.
  • Niektóre sekrety nigdy się nie ujawniają: schema kryje do 1000 sekretów. Gdy twój menedżer sekretów ma więcej, Unity Catalog najpierw importuje najstarsze według daty utworzenia i pomija resztę. Ujawniaj tylko sekrety, których potrzebujesz w każdym schemacie. Zobacz Grupuj sekrety według tego, kto ich potrzebuje.

Ograniczenia

Oprócz ograniczeń obowiązujących dla wszystkich sekretów Katalogu Unity, sekrety wspierane zewnętrznie mają następujące ograniczenia:

  • Dostęp między chmurami nie jest obsługiwany: Przechowuj schematy za pomocą menedżera sekretów natywnego dla chmury obszaru roboczego.
  • Opóźnienia i koszt odczytu: Każdy odczyt pobiera wartość z zewnętrznego menedżera tajemnic, co zwiększa opóźnienia i może wiązać się z kosztami dostawcy chmury.
  • Brak filtrowania tagów: Azure Key Vault nie obsługuje filtrowania importowanych sekretów według tagów.

Uwaga / Notatka

Jeśli zewnętrzny menedżer sekretów, który wspiera schemat, znajduje się w innym regionie niż metastore lub przestrzeń robocza, która go odczytuje, wartości sekretów i ich metadane przechodzą między regionami. Azure Databricks nie gwarantuje przetwarzania zewnętrznych sekretów w regionie.

Zewnętrzne nazwy i wartości tajnych mogą zawierać dane osobowe. To Ty odpowiadasz za to, aby nie umieszczać w nich danych osobowych, chyba że wymaga tego Twój przypadek użycia.

Dodatkowe zasoby

Resource Description
Najlepsze praktyki dotyczące sekretów Unity Catalog Organizuj sekrety według środowiska, aplikacji lub zespołu i pozwól obciążeniom korzystać z sekretów bez ich czytania.
Katalog Sekretów w Unity Twórz, przyznawaj i czytaj sekrety Katalogu Unity.