Samouczek: nawiązywanie połączenia z usługą Azure Data Lake Storage

Ważne

Ta dokumentacja została wycofana i może nie zostać zaktualizowana.

W tym artykule opisano starsze wzorce konfigurowania dostępu do usługi Azure Data Lake Storage. Usługa Databricks zaleca używanie Unity Catalog z zarządzanymi tożsamościami Azure. Zobacz Używanie tożsamości zarządzanych platformy Azure w Unity Catalog, aby uzyskać dostęp do magazynu.

Ten samouczek przeprowadzi Cię przez wszystkie kroki niezbędne do nawiązania połączenia z usługi Azure Databricks do usługi Azure Data Lake Storage przy użyciu protokołu OAuth 2.0 z główną jednostką usługi Microsoft Entra ID.

Requirements

Przed rozpoczęciem tego samouczka wykonaj następujące zadania:

• Tworzenie obszaru roboczego usługi Azure Databricks. Zobacz Wdrażanie obszaru roboczego przy użyciu witryny Azure Portal
• Utwórz konto usługi Azure Data Lake Storage. Zobacz Wprowadzenie: utworzenie konta magazynowego Azure Data Lake Storage.
• Tworzenie usługi Azure Key Vault. Zobacz Szybki start: tworzenie usługi Azure Key Vault

Krok 1. Tworzenie jednostki usługi Microsoft Entra ID

Aby używać zasad usług do łączenia się z usługą Azure Data Lake Storage, administrator musi utworzyć nową aplikację Microsoft Entra ID. Jeśli masz już dostępną jednostkę usługi Microsoft Entra ID, przejdź do Kroku 2: Utwórz sekretny klucz klienta dla jednostki usługi.

Aby utworzyć jednostkę usługi Microsoft Entra ID, postępuj według poniższych instrukcji:

1. Zaloguj się do witryny Azure Portal.

   Uwaga / Notatka

   Portal, który ma być używany, różni się w zależności od tego, czy aplikacja Microsoft Entra ID działa w chmurze publicznej platformy Azure, czy w chmurze krajowej lub suwerennej. Aby uzyskać więcej informacji, zobacz Chmury krajowe.

2. Jeśli masz dostęp do wielu dzierżaw, subskrypcji lub katalogów, kliknij ikonę Katalogi + subskrypcje w górnym menu, aby przełączyć się do katalogu, w którym chcesz utworzyć główną usługę.

3. Wyszukaj i wybierz <Microsoft Entra ID.

4. W obszarze Zarządzanie kliknij pozycję Rejestracje aplikacji > Nowa rejestracja.

5. W polu Nazwa wprowadź nazwę aplikacji.

6. W sekcji Obsługiwane typy kont wybierz Konta w tym katalogu organizacyjnym (tylko jeden tenant).

7. Kliknij pozycję Zarejestruj.

Krok 2: Utwórz tajemnicę klienta dla głównej aplikacji usługi

1. W Zarządzaniu kliknij pozycję Certyfikaty i tajne.

2. Na karcie Tajne klienta kliknij pozycję Nowy tajny klucz klienta.

   

3. Dodaj w okienku Dodaj tajny klucz klienta w polu Opis opis tajnego klucza klienta.

4. W przypadku Wygasawybierz okres ważności tajnego klucza klienta, a następnie kliknij Dodaj.

5. Skopiuj i zapisz Wartość sekretu klienta w bezpiecznym miejscu, ponieważ ten sekret klienta jest hasłem do Twojej aplikacji.

6. Na stronie Przegląd aplikacji w sekcji Podstawy skopiuj następujące wartości:

   • Identyfikator aplikacji (klienta)
   • Identyfikator katalogu (klienta)

Krok 3. Udzielanie jednostce usługi dostępu do usługi Azure Data Lake Storage

Można przyznać dostęp do zasobów magazynu, przypisując role głównemu obiektowi usługi. W tym samouczku przypiszesz rolę Współautor danych Blob Storage do jednostki usługi na koncie Azure Data Lake Storage. Może być konieczne przypisanie innych ról w zależności od określonych wymagań.

1. W portalu Azure przejdź do Konta magazynu.
2. Wybierz konto usługi Azure Storage do użycia.
3. Kliknij Kontrola dostępu (IAM).
4. Kliknij pozycję + Dodaj i wybierz pozycję Dodaj przypisanie roli z menu rozwijanego.
5. Ustaw pole Wybierz na nazwę aplikacji Microsoft Entra ID, którą utworzyłeś w kroku 1, i ustaw Rolę na Współautor danych obiektu blob usługi Storage.
6. Kliknij przycisk Zapisz.

Krok 4: Dodaj tajny klienta do usługi Azure Key Vault

Tajny klienta z kroku 1 można przechowywać w usłudze Azure Key Vault.

1. W witrynie Azure Portal przejdź do usługi Key Vault .
2. Wybierz usługę Azure Key Vault do użycia.
3. Na stronach ustawień usługi Key Vault wybierz pozycję Wpisy tajne.
4. Kliknij + Wygeneruj/Zaimportuj.
5. W obszarze Opcje przekazywaniawybierz opcję Ręczne.
6. W polu Nazwa wprowadź nazwę tajemnicy. Tajna nazwa musi być unikatowa w ramach Key Vault.
7. W polu Wartość wklej klucz tajny klienta przechowywany w kroku 1.
8. Kliknij pozycję Utwórz.

Krok 5. Konfigurowanie wystąpienia usługi Azure Key Vault dla usługi Azure Databricks

1. W Azure Portal przejdź do instancji usługi Azure Key Vault.

   1. W obszarze Ustawieniawybierz kartę Konfiguracja dostępu.

   2. Ustaw model uprawnień na zasady dostępu Vault .

      Uwaga / Notatka

      Tworzenie roli zakresu tajnych danych opartej na Azure Key Vault przyznaje uprawnienia Pobierz i Wylistuj identyfikatorowi aplikacji dla usługi Azure Databricks, przy użyciu zasad dostępu do Azure Key Vault. Model uprawnień kontroli dostępu opartej na rolach platformy Azure nie jest obsługiwany w usłudze Azure Databricks.

   3. W obszarze Ustawienia wybierz pozycję Sieć.

   4. W Zapory i sieci wirtualne ustawić Zezwalaj na dostęp z:Zezwalaj na dostęp publiczny z określonych sieci wirtualnych i adresów IP.

      W obszarze Wyjątek zaznacz pole wyboru Zezwalaj na obejście tej zapory przez zaufane usługi firmy Microsoft.

      Uwaga / Notatka

      Można również ustawić Zezwalaj na dostęp z: na Zezwalaj na dostęp publiczny ze wszystkich sieci.

Krok 6. Utwórz zakres tajemnicy oparty na Azure Key Vault w obszarze roboczym Azure Databricks

Aby odwołać się do sekrety klienta przechowywanej w Azure Key Vault, możesz utworzyć zakres tajemnic wspierany przez Azure Key Vault w Azure Databricks.

1. Przejdź do https://<databricks-instance>#secrets/createScope. W tym adresie URL rozróżniana jest wielkość liter; zakres w createScope musi być zapisany dużymi literami.

   

2. Wprowadź nazwę zakresu tajnego. W tajnych nazwach zakresów wielkość liter nie ma znaczenia.

3. Użyj menu rozwijanego Zarządzaj głównym użytkownikiem, aby określić, czy Wszyscy Użytkownicy mają MANAGE uprawnienia do tego zakresu tajnego, czy tylko Twórca tego zakresu tajnego (to znaczy Ty sam).

4. Wprowadź nazwę DNS (na przykład https://databrickskv.vault.azure.net/) i identyfikator zasobu, na przykład:

   /subscriptions/xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx/resourcegroups/databricks-rg/providers/Microsoft.KeyVault/vaults/databricksKV
   

   Te właściwości są dostępne na karcie *Właściwości ustawień > usługi Azure Key Vault w witrynie Azure Portal.

5. Kliknij przycisk Utwórz.

Krok 7. Nawiązywanie połączenia z usługą Azure Data Lake Storage przy użyciu języka Python

Teraz możesz bezpiecznie uzyskiwać dostęp do danych w koncie usługi Azure Storage przy użyciu protokołu OAuth 2.0 z głównym podmiotem usługi aplikacji Microsoft Entra ID do uwierzytelniania z poziomu notebooka w usłudze Azure Databricks.

1. Przejdź do obszaru roboczego usługi Azure Databricks i utwórz nowy notes języka Python.

2. Uruchom następujący kod w języku Python, zastępując poniższe elementy, aby nawiązać połączenie z usługą Azure Data Lake Storage.

   service_credential = dbutils.secrets.get(scope="<scope>",key="<service-credential-key>")
   
   spark.conf.set("fs.azure.account.auth.type.<storage-account>.dfs.core.windows.net", "OAuth")
   spark.conf.set("fs.azure.account.oauth.provider.type.<storage-account>.dfs.core.windows.net", "org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider")
   spark.conf.set("fs.azure.account.oauth2.client.id.<storage-account>.dfs.core.windows.net", "<application-id>")
   spark.conf.set("fs.azure.account.oauth2.client.secret.<storage-account>.dfs.core.windows.net", service_credential)
   spark.conf.set("fs.azure.account.oauth2.client.endpoint.<storage-account>.dfs.core.windows.net", "https://login.microsoftonline.com/<directory-id>/oauth2/token")
   

   Zamień

   • <scope> z nazwą zakresu tajnego z kroku 5.
   • <service-credential-key> z nazwą klucza zawierającego klucz tajny klienta.
   • <storage-account> z nazwą konta usługi Azure Storage.
   • z identyfikatorem aplikacji (klienta) dla aplikacji Microsoft Entra ID.
   • <directory-id> z identyfikatorem katalogu (dzierżawy) dla aplikacji Microsoft Entra ID.

   Teraz pomyślnie połączono obszar roboczy usługi Azure Databricks z kontem usługi Azure Data Lake Storage.

Udzielanie obszarowi roboczemu usługi Azure Databricks dostępu do usługi Azure Data Lake Storage

Jeśli skonfigurujesz zaporę w usłudze Azure Data Lake Storage, musisz skonfigurować ustawienia sieci, aby umożliwić obszarowi roboczemu usługi Azure Databricks nawiązywanie połączenia z usługą Azure Data Lake Storage. Najpierw upewnij się, że obszar roboczy usługi Azure Databricks jest wdrożony we własnej sieci wirtualnej zgodnie z instrukcjami podanymi w Wdrażanie usługi Azure Databricks w sieci wirtualnej platformy Azure (iniekcja VNet). Następnie można skonfigurować prywatne punkty końcowe lub dostęp z sieci wirtualnej , aby zezwolić na połączenia z podsieci do konta usługi Azure Data Lake Storage.

Jeśli używasz bezserwerowych obliczeń, takich jak bezserwerowe magazyny SQL, musisz udzielić dostępu z bezserwerowej płaszczyzny obliczeniowej do usługi Azure Data Lake Storage. Zobacz Sieciowanie bezserwerowej warstwy obliczeniowej.

Udzielanie dostępu przy użyciu prywatnych punktów końcowych

Możesz użyć prywatnych punktów końcowych dla konta usługi Azure Data Lake Storage, aby umożliwić obszarowi roboczemu usługi Azure Databricks bezpieczny dostęp do danych za pośrednictwem łącza prywatnego.

Aby utworzyć prywatny punkt końcowy w Portalu Azure, zobacz Samouczek: Nawiązywanie połączenia z kontem magazynu przy użyciu prywatnego punktu końcowego platformy Azure. Upewnij się, że utworzono prywatny punkt końcowy w tej samej sieci wirtualnej, w ramach którego wdrożono obszar roboczy usługi Azure Databricks.

Udzielanie dostępu z sieci wirtualnej

Punkty końcowe usługi sieci wirtualnej umożliwiają zabezpieczenie krytycznych zasobów usługi Azure tylko do Twoich sieci wirtualnych. Punkt końcowy usługi Azure Storage można włączyć w sieci wirtualnej używanej w obszarze roboczym Azure Databricks.

Aby uzyskać więcej informacji, w tym instrukcje dotyczące interfejsu wiersza polecenia platformy Azure i programu PowerShell, zobacz Udzielanie dostępu z sieci wirtualnej.

1. Zaloguj się do Azure Portal jako użytkownik z rolą Kontrybutora konta magazynu na koncie Azure Data Lake Storage.
2. Przejdź do konta usługi Azure Storage i przejdź do karty Sieć .
3. Sprawdź, czy wybrano opcję zezwalania na dostęp z wybranych sieci wirtualnych i adresów IP.
4. W obszarze Sieci wirtualnewybierz pozycję Dodaj istniejącą sieć wirtualną.
5. W panelu bocznym, w obszarze Subskrypcja, wybierz subskrypcję, w ramach której znajduje się sieć wirtualna.
6. W obszarze Sieci wirtualnewybierz sieć wirtualną, w ramach którego wdrożono obszar roboczy usługi Azure Databricks.
7. W obszarze Podsieciwybierz Wybierz wszystkie.
8. Kliknij przycisk Włącz.
9. Wybierz pozycję Zapisz, aby zastosować zmiany.

Rozwiązywanie problemów

Błąd: IllegalArgumentException: Sekret nie istnieje w zakresie: KeyVaultScope i z powiązanym kluczem

Ten błąd prawdopodobnie oznacza:

• Zakres oparty na usłudze Databricks, o którym mowa w kodzie, jest nieprawidłowy.

Przejrzyj nazwę swojego sekretu z kroku 4 w tym artykule.

Błąd: com.databricks.common.client.DatabricksServiceHttpClientException: INVALID_STATE: Usługa Databricks nie może uzyskać dostępu do Key Vault

Ten błąd prawdopodobnie oznacza:

• Zakres oparty na usłudze Databricks, o którym mowa w kodzie, jest nieprawidłowy. lub tajna informacja przechowywana w usłudze Key Vault wygasła.

Przejrzyj krok 3, aby upewnić się, że sekret usługi Azure Key Vault jest prawidłowy. Sprawdź nazwę swojego sekretu z kroku 4 tego artykułu.

Błąd: ADAuthenticator$HttpException: Błąd HTTP 401: nie udało się uzyskać tokenu z odpowiedzi usługi AzureAD

Ten błąd prawdopodobnie oznacza:

• Klucz tajny klienta jednostki usługi wygasł.

Utwórz nowy sekret klienta zgodnie z krokiem 2 w tym artykule i zaktualizuj sekret w usłudze Azure Key Vault.

Zasoby

• Uzyskiwanie dostępu do magazynu przy użyciu tożsamości usługi i Microsoft Entra ID (Azure Active Directory)
• Nawiązywanie połączenia z usługami Azure Data Lake Storage i Blob Storage
• Zarządzanie zakresami tajnymi
• Samouczek: wykonywanie zapytań i wizualizowanie danych z notesu