Udostępnij przez

Udostępnianie poświadczeń w katalogu Unity na potrzeby dostępu do zewnętrznych systemów

Ważny

Ta funkcja jest dostępna w publicznej wersji zapoznawczej.

Napiwek

Aby uzyskać informacje na temat sposobu odczytywania danych usługi Azure Databricks przy użyciu usługi Microsoft Fabric, zobacz Używanie usługi Microsoft Fabric do odczytywania danych zarejestrowanych w Unity Catalog.

Na tej stronie opisano, jak funkcja automatyzowania poświadczeń wykazu aparatu Unity obsługuje dostęp do danych w usłudze Azure Databricks z aparatów przetwarzania zewnętrznego.

Obsługa wydawania poświadczeń wspiera systemy zewnętrzne łączące się z Unity Catalog przy użyciu interfejsu Unity REST API i Apache Iceberg REST catalog. Zobacz , jak odczytywać tabele Databricks z klientów Delta, i , jak uzyskiwać dostęp do danych Databricks przy użyciu systemów zewnętrznych.

Co to jest dystrybucja poświadczeń w katalogu Unity?

Sprzedawanie poświadczeń zapewnia krótkoterminowe poświadczenia za pomocą REST API Unity Catalog. Przyznane poświadczenia dziedziczą uprawnienia podmiotu Azure Databricks używanego do konfigurowania integracji.

Sprzedaż poświadczeń tabeli zapewnia dostęp do danych zarejestrowanych w magazynie metadanych wykazu aparatu Unity.

Sprzedaż poświadczeń ścieżki zapewnia dostęp do lokalizacji zewnętrznych w magazynie metadanych wykazu aparatu Unity.

Sprzedaż poświadczeń tabeli

Aby otrzymać tymczasowe poświadczenia dla tabeli, żądanie podmiotu zabezpieczeń usługi Azure Databricks (użytkownika, grupy lub jednostki usługi) musi mieć EXTERNAL USE SCHEMA uprawnienia do schematu zawierającego tabelę. Magazyn metadanych wykazu aparatu Unity musi być również jawnie włączony w celu uzyskania dostępu zewnętrznego. Zobacz Włączanie dostępu do danych zewnętrznych do Unity Catalog.

Poświadczenia obejmują krótkotrwały token dostępu oraz adres URL lokalizacji magazynu w chmurze, które zewnętrzny silnik może wykorzystać do uzyskiwania dostępu do danych tabeli i metadanych w tym magazynie.

Notatka

Obsługa automatów poświadczeń wykazu aparatu Table Unity obsługuje następujące elementy:

  • Dostęp tylko do odczytu do zarządzanych tabel Delta w Unity Catalog.
  • Dostęp do odczytu i zapisu do tabel Iceberg zarządzanych przez Unity Catalog.
  • Dostęp tylko do odczytu do tabel Delta skonfigurowanych dla odczytów Iceberg.
  • Utwórz dostęp do tabel zewnętrznych wykazu aparatu Unity.
  • Dostęp do odczytu i zapisu do zewnętrznych tabel katalogu Unity.

Niektórzy klienci obsługują dostęp do tabel opartych na Delta Lake, podczas gdy inni wymagają włączenia odczytów Iceberg (UniForm) dla tabel. Zobacz Jak odczytywać tabele Delta przy użyciu klientów Iceberg.

Wymagania

  • Należy skonfigurować dostęp zewnętrzny w metastore i przyznać EXTERNAL USE SCHEMA uprawnienia podmiotowi konfigurującemu połączenie. Zobacz Włączanie dostępu do danych zewnętrznych do Unity Catalog.
  • Aby uzyskać dostęp do obszaru roboczego usługi Azure Databricks przy użyciu interfejsów Open API Unity Catalog lub interfejsów API REST Iceberg, adres URL obszaru roboczego musi być dostępny dla silnika wykonującego żądanie. Obejmuje to obszary robocze korzystające z list dostępu IP lub usługi Azure Private Link.
  • Aby uzyskać dostęp do bazowej lokalizacji magazynu chmurowego dla obiektów danych zarejestrowanych w Unity Catalog, adresy URL magazynu generowane przez interfejs API tymczasowych poświadczeń Unity Catalog muszą być dostępne dla silnika wykonującego żądanie. Oznacza to, że silnik musi mieć przyznane uprawnienia na zaporze sieciowej oraz listach kontroli dostępu do powiązanych kont magazynowych w chmurze.

Żądanie tymczasowego poświadczenia tabeli na potrzeby dostępu do danych zewnętrznych

Obsługa wydawania poświadczeń różni się w zależności od klienta zewnętrznego. Jeśli jest to obsługiwane, klient powinien automatycznie korzystać z dostarczonych poświadczeń po skonfigurowaniu połączenia.

Ta sekcja zawiera przykład jawnego wywoływania punktu końcowego interfejsu API sprzedaży poświadczeń. Niektórzy klienci zewnętrzni mogą wymagać jawnego ustawienia konfiguracji w celu uzyskania dostępu do danych i metadanych w magazynie obiektów w chmurze, które wspierają tabele Unity Catalog. Aby skonfigurować dostęp, możesz użyć wartości zwracanych przez wydawanie poświadczeń.

Notatka

Listę tabel, które obsługują udostępnianie poświadczeń, można pobrać, używając API ListTables z włączoną opcją include_manifest_capabilities. Tylko tabele oznaczone jako HAS_DIRECT_EXTERNAL_ENGINE_READ_SUPPORT lub HAS_DIRECT_EXTERNAL_ENGINE_WRITE_SUPPORT kwalifikują się do wykorzystania w interfejsie API temporary-table-credentials. Zobacz GET /api/2.1/unity-catalog/tables.

Poniższy curl przykład jawnie żąda tymczasowego poświadczenia dostępu do danych zewnętrznych. To żądanie musi zostać wykonane przez wystarczająco uprzywilejowanego głównego użytkownika przestrzeni roboczej.

curl -X POST -H "Authorization: Bearer $OAUTH_TOKEN" \
https://<workspace-instance>/api/2.1/unity-catalog/temporary-table-credentials \
-d '{"table_id": "<string>", "operation_name": "<READ|READ_WRITE>"}'

Aby uzyskać szczegółowe informacje, zobacz POST /api/2.1/unity-catalog/temporary-table-credentials w dokumentacji interfejsu API REST usługi Azure Databricks.

Ograniczenia

Istnieją następujące ograniczenia:

  • Nie wszyscy klienci zewnętrzni obsługują wydawanie poświadczeń, a poziom wsparcia może się różnić w zależności od bazowego magazynu obiektów w chmurze.
  • Obsługiwane są tylko tabele zarządzane przez Unity Catalog i tabele zewnętrzne Unity Catalog.
  • Następujące typy tabel lub tabele z włączonymi funkcjami nie są obsługiwane:
    • Tabele z filtrami wierszy lub maskami kolumn.
    • Tabele udostępniane za pomocą Delta Sharing.
    • Federacyjne tabele w Lakehouse (tabele zewnętrzne).
    • Widoki.
    • Zmaterializowane widoki.
    • Tabele przesyłania strumieniowego potoków deklaratywnych platformy Lakeflow Spark.
    • Tabele w trybie online.
    • Indeksy wyszukiwania wektorowego.
  • Odświeżanie poświadczeń nie jest obsługiwane w systemie Iceberg 1.9.0. Użyj najnowszej wersji Iceberg na potrzeby odświeżania poświadczeń.

Sprzedaż poświadczeń ścieżki

Aby otrzymać tymczasowe poświadczenia dla ścieżki, należy udzielić żądania podmiotu zabezpieczeń usługi Azure Databricks:

  • Uprawnienie EXTERNAL USE LOCATION w lokalizacji zewnętrznej.
  • Uprawnienie EXTERNAL USE SCHEMA do schematu, jeśli uzyskujesz dostęp do tabeli zewnętrznej.

Podobnie jak w przypadku sprzedaży poświadczeń tabeli, magazyn metadanych wykazu aparatu Unity musi być jawnie włączony w celu uzyskania dostępu zewnętrznego. Zobacz Włączanie dostępu do danych zewnętrznych do Unity Catalog.

Wystawione poświadczenia umożliwiają bezpośredni dostęp do lokalizacji magazynu w chmurze w zakresie odpowiedniej ścieżki. Są one ważne przez ograniczony czas i nie udzielają szerszego dostępu poza zdefiniowaną lokalizacją lub tabelą.

Wymagania

  • Magazyn metadanych wykazu aparatu Unity musi mieć włączony dostęp zewnętrzny, a podmiot zabezpieczeń żądań musi mieć przyznane .EXTERNAL USE LOCATION W przypadku uzyskiwania dostępu do tabeli zewnętrznej należy również udzielić jej.EXTERNAL USE SCHEMA Zobacz Włączanie dostępu do danych zewnętrznych do Unity Catalog.
  • Aparat zewnętrzny musi mieć możliwość uzyskania dostępu do adresu URL obszaru roboczego usługi Azure Databricks. Dotyczy to obszarów roboczych przy użyciu list dostępu ip lub usługi Azure Private Link.
  • Adresy URL magazynu w chmurze wygenerowane przez interfejs API sprzedaży poświadczeń muszą być dostępne dla aparatu zewnętrznego. Upewnij się, że aparat jest dozwolony przez zaporę i kontrolę dostępu do sieci na źródłowych kontach magazynu w chmurze.

Żądanie tymczasowego poświadczenia ścieżki na potrzeby dostępu do danych zewnętrznych

Obsługa wydawania poświadczeń różni się w zależności od klienta zewnętrznego. Jeśli jest to obsługiwane, klient powinien automatycznie korzystać z dostarczonych poświadczeń po skonfigurowaniu połączenia.

Ta sekcja zawiera przykład jawnego wywoływania punktu końcowego interfejsu API sprzedaży poświadczeń. Niektórzy klienci zewnętrzni mogą wymagać jawnego ustawienia konfiguracji w celu uzyskania dostępu do danych i metadanych w magazynie obiektów w chmurze, które wspierają tabele Unity Catalog. Aby skonfigurować dostęp, możesz użyć wartości zwracanych przez wydawanie poświadczeń.

Poniższy curl przykład jawnie żąda tymczasowego poświadczenia dostępu do danych zewnętrznych. To żądanie musi zostać wykonane przez wystarczająco uprzywilejowanego głównego użytkownika przestrzeni roboczej.

curl -X POST -H "Authorization: Bearer $OAUTH_TOKEN" \
https://<workspace-instance>/api/2.1/unity-catalog/temporary-path-credentials \
-d '{"url": "<string>", "operation": <PATH_READ|PATH_READ_WRITE|PATH_CREATE_TABLE>"}'

Aby uzyskać szczegółowe informacje, zobacz Generowanie poświadczeń ścieżki tymczasowej w dokumentacji interfejsu API REST usługi Azure Databricks.

  • Last updated on