Udostępnij za pośrednictwem

Rozwiązywanie problemów z zabezpieczeniami i kontrolą dostępu w usłudze Azure Data Factory i Synapse Analytics

  • Artykuł

DOTYCZY: Azure Data Factory Azure Synapse Analytics

Napiwek

Wypróbuj usługę Data Factory w usłudze Microsoft Fabric — rozwiązanie analityczne typu all-in-one dla przedsiębiorstw. Usługa Microsoft Fabric obejmuje wszystko, od przenoszenia danych do nauki o danych, analizy w czasie rzeczywistym, analizy biznesowej i raportowania. Dowiedz się, jak bezpłatnie rozpocząć nową wersję próbną !

W tym artykule opisano typowe metody rozwiązywania problemów z zabezpieczeniami i kontrolą dostępu w potokach usługi Azure Data Factory i Synapse Analytics.

Typowe błędy i komunikaty

problem z Połączenie ivity w działaniu kopiowania magazynu danych w chmurze

Objawy

Różne komunikaty o błędach mogą być zwracane, gdy występują problemy z łącznością w źródłowym lub ujściu magazynu danych.

Przyczyna

Problem jest zwykle spowodowany jednym z następujących czynników:

  • Ustawienie serwera proxy w węźle własnego środowiska Integration Runtime (IR), jeśli używasz własnego środowiska IR.

  • Ustawienie zapory w węźle własnego środowiska IR, jeśli używasz własnego środowiska IR.

  • Ustawienie zapory w magazynie danych w chmurze.

Rozwiązanie

  • Aby upewnić się, że jest to problem z łącznością, sprawdź następujące kwestie:

    • Błąd jest zgłaszany z łączników źródła lub ujścia.
    • Błąd znajduje się na początku działania kopiowania.
    • Awaria jest spójna dla środowiska Azure IR lub własnego środowiska IR z jednym węzłem, ponieważ może to być losowa awaria w własnym środowisku IR z wieloma węzłami, jeśli problem występuje tylko w niektórych węzłach.

  • Jeśli używasz własnego środowiska IR, sprawdź ustawienia serwera proxy, zapory i sieci, ponieważ nawiązywanie połączenia z tym samym magazynem danych może zakończyć się powodzeniem, jeśli używasz środowiska Azure IR. Aby rozwiązać ten scenariusz, zobacz:

  • Jeśli używasz środowiska Azure IR, spróbuj wyłączyć ustawienie zapory magazynu danych. Takie podejście może rozwiązać problemy w następujących dwóch sytuacjach:

    • Adresy IP środowiska Azure IR nie znajdują się na liście dozwolonych.
    • Opcja Zezwalaj na dostęp do tego konta magazynu przez zaufane usługi firmy Microsoft jest wyłączona dla usług Azure Blob Storage i Azure Data Lake Storage Gen 2.
    • Ustawienie Zezwalaj na dostęp do usług platformy Azure nie jest włączone dla usługi Azure Data Lake Storage Gen1.

Jeśli żadna z powyższych metod nie działa, skontaktuj się z firmą Microsoft, aby uzyskać pomoc.

Usunięty lub odrzucony prywatny punkt końcowy nadal pokazuje aprroved w usłudze ADF

Objawy

Utworzono zarządzany prywatny punkt końcowy z usługi ADF i uzyskano zatwierdzony prywatny punkt końcowy. Jednak po usunięciu lub odrzuceniu prywatnego punktu końcowego zarządzanego prywatnego punktu końcowego w usłudze ADF nadal istnieje i jest wyświetlany komunikat "Zatwierdzone".

Przyczyna

Obecnie usługa ADF zatrzymuje ściąganie stanu prywatnego punktu końcowego po jego zatwierdzeniu. W związku z tym stan wyświetlany w usłudze ADF jest nieaktualny.

Rozwiązanie

Po odrzuceniu/usunięciu istniejących prywatnych punktów końcowych z zestawów danych źródłowych/ujścia należy usunąć zarządzany prywatny punkt końcowy w usłudze ADF.

Problem z nieprawidłowym lub pustym kluczem uwierzytelniania po wyłączeniu dostępu do sieci publicznej

Objawy

Po wyłączeniu dostępu do sieci publicznej dla usługi własne środowisko Integration Runtime zgłasza następujące błędy: The Authentication key is invalid or empty. lub Cannot connect to the data factory. Please check whether the factory has enabled public network access or the machine is hosted in a approved private endpoint Virtual Network.

Przyczyna

Problem jest najprawdopodobniej spowodowany przez problem z rozpoznawaniem nazw domen (DNS), ponieważ wyłączenie łączności publicznej i ustanowienie prywatnego punktu końcowego uniemożliwia ponowne nawiązywanie połączenia.

Aby sprawdzić, czy w pełni kwalifikowana nazwa domeny usługi (FQDN) jest rozpoznawana jako publiczny adres IP, wykonaj następujące czynności:

  1. Upewnij się, że maszyna wirtualna platformy Azure została utworzona w tej samej sieci wirtualnej co prywatny punkt końcowy usługi.

  2. Uruchom polecenie PsPing i ping z maszyny wirtualnej platformy Azure do nazwy FQDN usługi:

    psping.exe <dataFactoryName>.<region>.datafactory.azure.net:443 ping <dataFactoryName>.<region>.datafactory.azure.net

    Uwaga

    Musisz określić port polecenia PsPing. Port 443 jest wyświetlany tutaj, ale nie jest wymagany.

  3. Sprawdź, czy oba polecenia rozpoznają publiczny adres IP usługi Azure Data Factory oparty na określonym regionie. Adres IP powinien mieć następujący format: xxx.xxx.xxx.0

Rozwiązanie

Aby rozwiązać ten problem, wykonaj następujące czynności:

  • W ramach opcji zalecamy ręczne dodanie linku "Sieć wirtualna" w obszarze "Strefa DNS łącza prywatnego" dla usługi. Aby uzyskać szczegółowe informacje, zapoznaj się z artykułem Dotyczącym usługi Azure Private Link . Instrukcją jest skonfigurowanie prywatnej strefy DNS lub niestandardowego serwera DNS w celu rozpoznawania nazwy FQDN usługi na prywatny adres IP.

  • Jeśli jednak nie chcesz konfigurować prywatnej strefy DNS ani niestandardowego serwera DNS, wypróbuj następujące rozwiązanie tymczasowe:

    1. Zmień plik hosta w systemie Windows i zamapuj prywatny adres IP (prywatny punkt końcowy usługi) na nazwę FQDN usługi.

      Na maszynie wirtualnej platformy Azure przejdź do C:\Windows\System32\drivers\etcpozycji , a następnie otwórz plik hosta w Notatnik. Dodaj wiersz mapujący prywatny adres IP na nazwę FQDN na końcu pliku i zapisz zmianę.

      Screenshot of mapping the private IP to the host.

    2. Uruchom ponownie te same polecenia, co w poprzednich krokach weryfikacji, aby sprawdzić odpowiedź, która powinna zawierać prywatny adres IP.

    3. Zarejestruj ponownie własne środowisko Integration Runtime i należy rozwiązać problem.

Objawy

Nie możesz zarejestrować klucza uwierzytelniania środowiska IR na własnej maszynie wirtualnej, ponieważ link prywatny jest włączony. Zostanie wyświetlony następujący komunikat o błędzie:

"Nie można pobrać tokenu usługi z usługi ADF z kluczem *************** i koszt czasu: 0,1250079 sekunda, kod błędu: InvalidGatewayKey, activityId to: XXXXXXX i szczegółowy komunikat o błędzie to Adres IP klienta nie jest prawidłowym prywatnym adresem IP Przyczyna, że fabryka danych nie może uzyskać dostępu do sieci publicznej, aby nie mogła nawiązać połączenia z chmurą.

Przyczyna

Problem może być spowodowany przez maszynę wirtualną, w której próbujesz zainstalować własne środowisko IR. Aby nawiązać połączenie z chmurą, upewnij się, że dostęp do sieci publicznej jest włączony.

Rozwiązanie

Rozwiązanie 1

Aby rozwiązać ten problem, wykonaj następujące czynności:

  1. Przejdź do strony Fabryki — aktualizacja .

  2. W prawym górnym rogu wybierz przycisk Wypróbuj .

  3. W obszarze Parametry wypełnij wymagane informacje.

  4. W obszarze Treść wklej następującą właściwość:

    { "tags": { "publicNetworkAccess":"Enabled" } }

  5. Wybierz pozycję Uruchom , aby uruchomić funkcję.

  6. W obszarze Parametry wypełnij wymagane informacje.

  7. W obszarze Treść wklej następującą właściwość:

    { "tags": { "publicNetworkAccess":"Enabled" } }

  8. Wybierz pozycję Uruchom , aby uruchomić funkcję.

  9. Upewnij się, że jest wyświetlany kod odpowiedzi: 200 . Wklejona właściwość powinna być również wyświetlana w definicji JSON.

  10. Ponownie dodaj klucz uwierzytelniania środowiska IR w środowisku Integration Runtime.

Rozwiązanie 2

Aby rozwiązać ten problem, przejdź do usługi Azure Private Link.

Spróbuj włączyć dostęp do sieci publicznej w interfejsie użytkownika, jak pokazano na poniższym zrzucie ekranu:

Prywatna strefa DNS usługi zastępuje rozpoznawanie nazw DNS usługi Azure Resource Manager, powodując błąd "Nie znaleziono"

Przyczyna

Zarówno usługa Azure Resource Manager, jak i usługa używają tej samej strefy prywatnej, co potencjalny konflikt w prywatnej usłudze DNS klienta ze scenariuszem, w którym rekordy usługi Azure Resource Manager nie zostaną znalezione.

Rozwiązanie

  1. Znajdź strefy Prywatna strefa DNS privatelink.azure.com w witrynie Azure Portal. Screenshot of finding Private DNS zones.
  2. Sprawdź, czy istnieje rekord Adf. Screenshot of A record.
  3. Przejdź do pozycji Łącza sieci wirtualnej, usuń wszystkie rekordy. Screenshot of virtual network link.
  4. Przejdź do usługi w witrynie Azure Portal i utwórz ponownie prywatny punkt końcowy dla portalu. Screenshot of recreating private endpoint.
  5. Wróć do stref Prywatna strefa DNS i sprawdź, czy istnieje nowa prywatna strefa DNS privatelink.adf.azure.com. Screenshot of new DNS record.

Błąd Połączenie ion w publicznym punkcie końcowym

Objawy

Podczas kopiowania danych przy użyciu publicznego dostępu do konta usługi Azure Blob Storage potok losowo kończy się niepowodzeniem z powodu następującego błędu.

Na przykład: Ujście usługi Azure Blob Storage używało środowiska Azure IR (publicznego, nie zarządzanej sieci wirtualnej), a źródło usługi Azure SQL Database używało zarządzanego środowiska IR sieci wirtualnej. Lub źródło/ujście używają zarządzanego środowiska IR sieci wirtualnej tylko z dostępem publicznym magazynu.

<LogProperties><Text>Invoke callback url with req: "ErrorCode=AzureBlobFailedToCreateContainer,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=Unable to create Azure Blob container. Endpoint: XXXXXXX/, Container Name: test.,Source=Microsoft.DataTransfer.ClientLibrary,''Type=Microsoft.WindowsAzure.Storage.StorageException,Message=Unable to connect to the remote server,Source=Microsoft.WindowsAzure.Storage,''Type=System.Net.WebException,Message=Unable to connect to the remote server,Source=System,''Type=System.Net.Sockets.SocketException,Message=A connection attempt failed because the connected party did not properly respond after a period of time, or established connection failed because connected host has failed to respond public ip:443,Source=System,'","Details":null}}</Text></LogProperties>.

Przyczyna

Usługa może nadal używać zarządzanego środowiska IR sieci wirtualnej, ale może wystąpić taki błąd, ponieważ publiczny punkt końcowy usługi Azure Blob Storage w zarządzanej sieci wirtualnej nie jest niezawodny na podstawie wyniku testowania, a usługi Azure Blob Storage i Azure Data Lake Gen2 nie są obsługiwane do łączenia za pośrednictwem publicznego punktu końcowego z zarządzanej sieci wirtualnej usługi zgodnie z zarządzanymi punktami końcowymi sieci wirtualnej i zarządzanymi prywatnymi punktami końcowymi usługi.

Rozwiązanie

  • Po włączeniu prywatnego punktu końcowego po stronie źródła i ujścia podczas korzystania z zarządzanego środowiska IR sieci wirtualnej.
  • Jeśli nadal chcesz użyć publicznego punktu końcowego, możesz przełączyć się na publiczne środowisko IR tylko zamiast używać zarządzanego środowiska VNet IR dla źródła i ujścia. Nawet jeśli przełączysz się z powrotem do publicznego środowiska IR, usługa może nadal używać zarządzanego środowiska IR sieci wirtualnej, jeśli zarządzane środowisko IR sieci wirtualnej nadal istnieje.

Błąd wewnętrzny podczas próby usunięcia fabryki danych lub obszaru roboczego usługi Synapse z kluczem zarządzanym przez klienta (CMK) i tożsamością zarządzaną przypisaną przez użytkownika (UA-MI)

Objawy

{\"error\":{\"code\":\"InternalError\",\"message\":\"Internal error has occurred.\"}}

Przyczyna

Jeśli wykonujesz jakiekolwiek operacje związane z kluczem cmK, najpierw należy wykonać wszystkie operacje związane z usługą, a następnie operacje zewnętrzne (takie jak tożsamości zarządzane lub operacje usługi Key Vault). Jeśli na przykład chcesz usunąć wszystkie zasoby, musisz najpierw usunąć wystąpienie usługi, a następnie usunąć magazyn kluczy. Jeśli najpierw usuniesz magazyn kluczy, ten błąd wystąpi, ponieważ usługa nie będzie już mogła odczytać wymaganych obiektów i nie będzie mogła sprawdzić, czy usunięcie jest możliwe, czy nie.

Rozwiązanie

Istnieją trzy możliwe sposoby rozwiązania problemu. Są one następujące:

  • Odwołano dostęp usługi do magazynu kluczy, w którym był przechowywany klucz CMK. Możesz ponownie przypisać dostęp do następujących uprawnień: Pobieranie, odpakowywanie klucza i zawijanie klucza. Te uprawnienia są wymagane do włączenia kluczy zarządzanych przez klienta. Zapoznaj się z tematem Udzielanie dostępu do kluczy zarządzanych przez klienta. Po podaniu uprawnienia powinno być możliwe usunięcie usługi.

  • Klient usunął usługę Key Vault/CMK przed usunięciem usługi. Klucz cmK w usłudze powinien mieć włączoną opcję "Usuwanie nietrwałe" i włączono opcję "Przeczyść ochronę", która ma domyślne zasady przechowywania przez 90 dni. Możesz przywrócić usunięty klucz.
    Zapoznaj się z artykułem Odzyskiwanie usuniętego klucza i usuniętą wartość klucza

  • Tożsamość zarządzana przypisana przez użytkownika (UA-MI) została usunięta przed usługą. Można to odzyskać przy użyciu wywołań interfejsu API REST. Możesz to zrobić w wybranym kliencie http w dowolnym języku programowania. Jeśli nie masz jeszcze żadnych skonfigurowanych wywołań interfejsu API REST przy użyciu uwierzytelniania platformy Azure, najprostszym sposobem na to byłoby użycie narzędzia POSTMAN/Fiddler. Wykonaj następujące kroki.

    1. Wykonaj wywołanie GET przy użyciu metody: GET Url, na przykład https://management.azure.com/subscriptions/YourSubscription/resourcegroups/YourResourceGroup/providers/Microsoft.DataFactory/factories/YourFactoryName?api-version=2018-06-01

    2. Musisz utworzyć nową tożsamość zarządzaną użytkownika o innej nazwie (ta sama nazwa może działać, ale wystarczy mieć pewność, że bezpieczniej będzie używać innej nazwy niż ta w odpowiedzi GET)

    3. Zmodyfikuj właściwość encryption.identity i identity.userassignedidentities, aby wskazać nowo utworzoną tożsamość zarządzaną. Usuń identyfikator clientId i principalId z obiektu userAssignedIdentity.

    4. Wykonaj wywołanie PUT do tego samego adresu URL przekazującego nową treść. Bardzo ważne jest przekazanie dowolnego elementu w odpowiedzi GET i zmodyfikowanie tożsamości. W przeciwnym razie zostaną one przypadkowo zastąpione innymi ustawieniami.

    5. Po pomyślnym wywołaniu będzie można ponownie zobaczyć jednostki i ponowić próbę usunięcia.

Udostępnianie własnego środowiska Integration Runtime

Udostępnianie własnego środowiska IR z innej dzierżawy nie jest obsługiwane

Objawy

Możesz zauważyć inne fabryki danych (w różnych dzierżawach), gdy próbujesz udostępnić własne środowisko IR z interfejsu użytkownika, ale nie możesz udostępniać go w różnych fabrykach danych, które znajdują się w różnych dzierżawach.

Przyczyna

Własnego środowiska IR nie można udostępniać między dzierżawami.

Powiązana zawartość

Aby uzyskać więcej pomocy dotyczącej rozwiązywania problemów, wypróbuj następujące zasoby: