Połączenie replikacji do usługi Qlik
Ważne
Ta funkcja jest dostępna w publicznej wersji zapoznawczej.
Usługa Qlik Replicate ułatwia ściąganie danych z wielu źródeł danych (Oracle, Microsoft SQL Server, SAP, mainframe i nie tylko) do usługi Delta Lake. Automatyczne przechwytywanie danych zmian (CDC) replikacji pomaga uniknąć dużego obciążenia ręcznego wyodrębniania danych, przesyłania przy użyciu skryptu interfejsu API, posiekania, przemieszczania i importowania. Usługa Qlik Compose automatyzuje usługę CDC w usłudze Delta Lake.
Uwaga
Aby uzyskać informacje o usłudze Qlik Sense, rozwiązaniu, które ułatwia analizowanie danych w usłudze Delta Lake, zobacz Połączenie do usługi Qlik Sense.
Aby obejrzeć ogólny pokaz replikowania usługi Qlik, obejrzyj następujący film wideo w serwisie YouTube (14 minut).
Aby zapoznać się z pokazem potoków danych z repliką usługi Qlik, zobacz poniższy film wideo z serwisu YouTube (6 minut).
Poniżej przedstawiono kroki korzystania z usługi Qlik Replicate z usługą Azure Databricks.
Krok 1. Generowanie osobistego tokenu dostępu usługi Databricks
Usługa Qlik Replicate uwierzytelnia się w usłudze Azure Databricks przy użyciu osobistego tokenu dostępu usługi Azure Databricks.
Uwaga
Najlepszym rozwiązaniem w zakresie zabezpieczeń w przypadku uwierzytelniania za pomocą zautomatyzowanych narzędzi, systemów, skryptów i aplikacji usługa Databricks zaleca używanie osobistych tokenów dostępu należących do jednostek usługi zamiast użytkowników obszaru roboczego. Aby utworzyć tokeny dla jednostek usługi, zobacz Zarządzanie tokenami dla jednostki usługi.
Krok 2. Konfigurowanie klastra w celu obsługi potrzeb związanych z integracją
Usługa Qlik Replicate zapisze dane w ścieżce usługi Azure Data Lake Storage, a klaster integracji usługi Azure Databricks odczytuje dane z tej lokalizacji. W związku z tym klaster integracji wymaga bezpiecznego dostępu do ścieżki usługi Azure Data Lake Storage.
Bezpieczny dostęp do ścieżki usługi Azure Data Lake Storage
Aby zabezpieczyć dostęp do danych w usłudze Azure Data Lake Storage (ADLS), możesz użyć klucza dostępu konta usługi Azure Storage (zalecane) lub jednostki usługi Microsoft Entra ID.
Używanie klucza dostępu do konta usługi Azure Storage
Klucz dostępu konta magazynu można skonfigurować w klastrze integracji w ramach konfiguracji platformy Spark. Upewnij się, że konto magazynu ma dostęp do kontenera usługi ADLS i systemu plików używanego do przemieszczania danych oraz kontenera i systemu plików usługi ADLS, w którym chcesz zapisywać tabele usługi Delta Lake. Aby skonfigurować klaster integracji do używania klucza, wykonaj kroki opisane w Połączenie do usług Azure Data Lake Storage Gen2 i Blob Storage.
Używanie jednostki usługi Microsoft Entra ID
Jednostkę usługi można skonfigurować w klastrze integracji usługi Azure Databricks w ramach konfiguracji platformy Spark. Upewnij się, że jednostka usługi ma dostęp do kontenera usługi ADLS używanego do przemieszczania danych i kontenera usługi ADLS, w którym chcesz zapisywać tabele delty. Aby skonfigurować klaster integracji do korzystania z jednostki usługi, wykonaj kroki opisane w artykule Access ADLS Gen2 with service principal (Uzyskiwanie dostępu do usługi ADLS Gen2 za pomocą jednostki usługi).
Określanie konfiguracji klastra
Ustaw wartość Tryb klastra na Standardowa.
Ustaw wersję środowiska uruchomieniowego usługi Databricks na wersję środowiska uruchomieniowego usługi Databricks.
Włącz zoptymalizowane zapisy i automatyczne kompaktowanie, dodając następujące właściwości do konfiguracji platformy Spark:
spark.databricks.delta.optimizeWrite.enabled true spark.databricks.delta.autoCompact.enabled trueSkonfiguruj klaster w zależności od potrzeb dotyczących integracji i skalowania.
Aby uzyskać szczegółowe informacje o konfiguracji klastra, zobacz Informacje o konfiguracji obliczeniowej.
Zobacz Uzyskiwanie szczegółów połączenia dla zasobu obliczeniowego usługi Azure Databricks, aby uzyskać adres URL JDBC i ścieżkę HTTP.
Krok 3. Uzyskiwanie szczegółów połączenia JDBC i ODBC w celu nawiązania połączenia z klastrem
Aby połączyć klaster usługi Azure Databricks z usługą Qlik Replicate, potrzebne są następujące właściwości połączenia JDBC/ODBC:
- JDBC URL
- HTTP Path (Ścieżka HTTP)
Krok 4. Konfigurowanie usługi Qlik Replicate za pomocą usługi Azure Databricks
Przejdź do strony logowania usługi Qlik i postępuj zgodnie z instrukcjami.