Udostępnij za pośrednictwem

Udostępnianie poświadczeń w katalogu Unity na potrzeby dostępu do zewnętrznych systemów

Ważny

Ta funkcja jest dostępna w publicznej wersji zapoznawczej.

Napiwek

Aby uzyskać informacje na temat odczytywania danych z Azure Databricks za pomocą Microsoft Fabric, zobacz Użyj Microsoft Fabric do odczytywania danych zarejestrowanych w katalogu Unity.

Na tej stronie opisano, jak funkcjonalność zarządzania poświadczeniami Unity Catalog obsługuje dostęp do danych w Azure Databricks z zewnętrznych silników przetwarzających.

Obsługa wydawania poświadczeń wspiera systemy zewnętrzne łączące się z Unity Catalog przy użyciu interfejsu Unity REST API i Apache Iceberg REST catalog. Zobacz Uzyskiwanie dostępu do tabel Databricks z klientów Delta i Uzyskiwanie dostępu do danych Databricks przy użyciu systemów zewnętrznych.

Co to jest dystrybucja poświadczeń w katalogu Unity?

Sprzedawanie poświadczeń zapewnia krótkoterminowe poświadczenia za pomocą REST API Unity Catalog. Przyznane poświadczenia dziedziczą uprawnienia podmiotu zabezpieczeń Azure Databricks używanego do konfigurowania integracji. Istnieją dwa typy zarządzania poświadczeniami:

  • Udostępnianie poświadczeń tabeli zapewnia dostęp do danych zarejestrowanych w magazynie metadanych Unity Catalog.
  • Wydawanie poświadczeń ścieżki zapewnia dostęp do lokalizacji zewnętrznych w metasklepie Unity Catalog.

Wymagania

  • Dostęp zewnętrzny musi być skonfigurowany w magazynie metadanych z udzielonym EXTERNAL USE SCHEMA dla żądającego podmiotu. Zobacz Włączanie dostępu do danych zewnętrznych w magazynie metadanych.
  • Adres URL obszaru roboczego musi być dostępny dla mechanizmu żądania, w tym mechanizmów za listami dostępu IP lub Azure Private Link.
  • Adresy URL magazynu w chmurze muszą być dostępne za pośrednictwem zapory i kontroli sieciowych.

Sprzedaż poświadczeń tabeli

Poświadczenia tabeli obejmują krótkotrwały ciąg znaków tokenu dostępu oraz adres URL lokalizacji magazynowania w chmurze, które silnik zewnętrzny może używać do uzyskiwania dostępu do danych tabeli i metadanych z tej lokalizacji.

Obsługiwane typy dostępu

Zarządzanie poświadczeniami obsługuje następujące typy i operacje tabeli:

Typ tabeli Przeczytaj Napisz Create
Zarządzana delta Yes Tak* Tak*
Zewnętrzna delta Yes Yes Yes
Zarządzana góra lodowa Yes Yes Yes
Delta z odczytami Iceberg (UniForm) Yes Yes** Nie.

* Tworzenie i zapisywanie w tabelach zarządzanych przez Unity Catalog z klientów Delta jest dostępne w wersji beta.

Po zewnętrznym zapisie w tabeli UniForm z klienta Delty uruchom polecenie MSCK REPAIR TABLE w celu wygenerowania metadanych Iceberg.

Notatka

Niektórzy klienci obsługują dostęp do tabel opartych na Delta Lake, podczas gdy inni wymagają włączenia odczytów Iceberg (UniForm) dla tabel. Zobacz Jak odczytywać tabele Delta przy użyciu klientów Iceberg.

Żądanie tymczasowego poświadczenia tabeli na potrzeby dostępu do danych zewnętrznych

Obsługa wydawania poświadczeń różni się w zależności od klienta zewnętrznego. Jeśli jest to obsługiwane, klient powinien automatycznie korzystać z dostarczonych poświadczeń po skonfigurowaniu połączenia.

Ta sekcja zawiera przykład jawnego wywoływania punktu końcowego interfejsu API sprzedaży poświadczeń. Niektórzy klienci zewnętrzni mogą wymagać jawnego ustawienia konfiguracji w celu uzyskania dostępu do danych i metadanych w magazynie obiektów w chmurze, które wspierają tabele Unity Catalog. Aby skonfigurować dostęp, możesz użyć wartości zwracanych przez wydawanie poświadczeń.

Notatka

Listę tabel, które obsługują udostępnianie poświadczeń, można pobrać, używając API ListTables z włączoną opcją include_manifest_capabilities. Tylko tabele oznaczone jako HAS_DIRECT_EXTERNAL_ENGINE_READ_SUPPORT lub HAS_DIRECT_EXTERNAL_ENGINE_WRITE_SUPPORT kwalifikują się do wykorzystania w interfejsie API temporary-table-credentials. Zobacz GET /api/2.1/unity-catalog/tables.

Poniższy curl przykład jawnie żąda tymczasowego poświadczenia dostępu do danych zewnętrznych. To żądanie musi zostać wykonane przez wystarczająco uprzywilejowanego głównego użytkownika przestrzeni roboczej.

curl -X POST -H "Authorization: Bearer $OAUTH_TOKEN" \
https://<workspace-instance>/api/2.1/unity-catalog/temporary-table-credentials \
-d '{"table_id": "<string>", "operation": "<READ|READ_WRITE>"}'

Aby uzyskać szczegółowe informacje, zobacz POST /api/2.1/unity-catalog/temporary-table-credentials w dokumentacji interfejsu API REST Azure Databricks.

Ograniczenia

Istnieją następujące ograniczenia:

  • Nie wszyscy klienci zewnętrzni obsługują wydawanie poświadczeń, a poziom wsparcia może się różnić w zależności od bazowego magazynu obiektów w chmurze.
  • Obsługiwane są tylko tabele zarządzane przez Unity Catalog i tabele zewnętrzne Unity Catalog.
  • Następujące typy tabel lub tabele z włączonymi funkcjami nie są obsługiwane:
    • Tabele z filtrami wierszy lub maskami kolumn.
    • Tabele udostępniane za pomocą Delta Sharing.
    • Federacyjne tabele w Lakehouse (tabele zewnętrzne).
    • Widoki.
    • Zmaterializowane widoki.
    • Tabele przesyłania strumieniowego potoków deklaratywnych platformy Lakeflow Spark.
    • Tabele w trybie online.
    • Indeksy wyszukiwania wektorowego.
  • Odświeżanie poświadczeń nie jest obsługiwane w systemie Iceberg 1.9.0. Użyj najnowszej wersji Iceberg na potrzeby odświeżania poświadczeń.

Wydawanie poświadczeń ścieżki

Wystawione poświadczenia umożliwiają bezpośredni dostęp do lokalizacji magazynu w chmurze w zakresie odpowiedniej ścieżki. Są one ważne przez ograniczony czas i nie udzielają szerszego dostępu poza zdefiniowaną lokalizacją lub tabelą.

Żądanie tymczasowego poświadczenia ścieżki na potrzeby dostępu do danych zewnętrznych

Obsługa wydawania poświadczeń różni się w zależności od klienta zewnętrznego. Jeśli jest to obsługiwane, klient powinien automatycznie korzystać z dostarczonych poświadczeń po skonfigurowaniu połączenia.

Ta sekcja zawiera przykład jawnego wywoływania punktu końcowego interfejsu API sprzedaży poświadczeń. Niektórzy klienci zewnętrzni mogą wymagać jawnego ustawienia konfiguracji w celu uzyskania dostępu do danych i metadanych w magazynie obiektów w chmurze, które wspierają tabele Unity Catalog. Aby skonfigurować dostęp, możesz użyć wartości zwracanych przez wydawanie poświadczeń.

Poniższy curl przykład jawnie żąda tymczasowego poświadczenia dostępu do danych zewnętrznych. To żądanie musi zostać wykonane przez wystarczająco uprzywilejowanego głównego użytkownika przestrzeni roboczej.

curl -X POST -H "Authorization: Bearer $OAUTH_TOKEN" \
https://<workspace-instance>/api/2.1/unity-catalog/temporary-path-credentials \
-d '{"url": "<string>", "operation": <PATH_READ|PATH_READ_WRITE|PATH_CREATE_TABLE>"}'

Aby uzyskać szczegółowe informacje, zobacz Generate a temporary path credential w dokumentacji interfejsu API REST Azure Databricks.

  • Last updated on