Nawiązywanie połączenia z usługą Syncsort

Ważne

Ta dokumentacja została wycofana i może nie zostać zaktualizowana. Produkty, usługi lub technologie wymienione w tej zawartości nie są już obsługiwane. Zobacz dokładnie dokumentację.

Rozwiązanie Syncsort ułatwia podzielenie silosów danych przez zintegrowanie starszych, komputerów mainframe i danych IBM z usługą Azure Databricks. Możesz łatwo ściągać dane z tych źródeł do usługi Delta Lake. Funkcja Syncsort jest teraz częścią funkcji Precisely.

Poniżej przedstawiono kroki korzystania z usługi Syncsort z usługą Azure Databricks.

Krok 1. Generowanie osobistego tokenu dostępu usługi Databricks

Usługa Syncsort uwierzytelnia się w usłudze Azure Databricks przy użyciu osobistego tokenu dostępu usługi Azure Databricks.

Uwaga / Notatka

Najlepsza praktyka w zakresie zabezpieczeń zalecana przez Databricks w przypadku uwierzytelniania za pomocą zautomatyzowanych narzędzi, systemów, skryptów i aplikacji to używanie osobistych tokenów dostępu należących do jednostek usługi zamiast użytkowników obszaru roboczego. Aby utworzyć tokeny dla jednostek usługi, zobacz Zarządzanie tokenami dla jednostki usługi.

Krok 2. Konfigurowanie klastra w celu obsługi potrzeb związanych z integracją

Usługa Syncsort zapisze dane w ścieżce usługi Azure Data Lake Storage, a klaster integracji usługi Azure Databricks odczytuje dane z tej lokalizacji. W związku z tym klaster integracji wymaga bezpiecznego dostępu do ścieżki usługi Azure Data Lake Storage.

Bezpieczny dostęp do ścieżki usługi Azure Data Lake Storage

Aby zabezpieczyć dostęp do danych w usłudze Azure Data Lake Storage (ADLS), możesz użyć klucza dostępu konta usługi Azure Storage (zalecane) lub jednostki usługi Microsoft Entra ID.

Używanie klucza dostępu do konta usługi Azure Storage

Klucz dostępu konta magazynowego można skonfigurować w klastrze integracji w ramach konfiguracji Spark. Upewnij się, że konto magazynu ma dostęp do kontenera usługi ADLS i systemu plików używanego do przygotowywania danych oraz do kontenera i systemu plików usługi ADLS, do którego chcesz zapisywać tabele Delta Lake. Aby skonfigurować klaster integracji do używania klucza, wykonaj kroki opisane w temacie Nawiązywanie połączenia z usługą Azure Data Lake Storage i usługą Blob Storage.

Użyj jednostki usługi Microsoft Entra ID

Jednostkę usługi można skonfigurować w klastrze integracji usługi Azure Databricks w ramach konfiguracji platformy Spark. Upewnij się, że jednostka usługi ma dostęp do kontenera ADLS używanego do przechowywania danych tymczasowych oraz do kontenera ADLS, w którym chcesz zapisywać tabele Delta. Aby skonfigurować klaster integracji do korzystania z jednostki usługi, wykonaj kroki opisane w temacie Access ADLS with service principal (Uzyskiwanie dostępu do usługi ADLS przy użyciu jednostki usługi).

Określanie konfiguracji klastra

1. Ustaw Tryb klastra na Standard.

2. Ustaw wersję środowiska uruchomieniowego usługi Databricks na wersję środowiska uruchomieniowego usługi Databricks.

3. Włącz zoptymalizowane zapisy i automatyczne kompaktowanie , dodając następujące właściwości do konfiguracji platformy Spark:

   spark.databricks.delta.optimizeWrite.enabled true
   spark.databricks.delta.autoCompact.enabled true
   

4. Skonfiguruj klaster w zależności od potrzeb dotyczących integracji i skalowania.

Aby uzyskać szczegółowe informacje o konfiguracji klastra, zobacz Informacje o konfiguracji obliczeniowej.

Zobacz Uzyskaj szczegóły połączenia dla zasobu obliczeniowego usługi Azure Databricks, aby poznać kroki, jak uzyskać adres URL JDBC i ścieżkę HTTP.

Krok 3. Uzyskiwanie szczegółów połączenia JDBC i ODBC w celu nawiązania połączenia z klastrem

Aby połączyć klaster usługi Azure Databricks z usługą Syncsort, potrzebne są następujące właściwości połączenia JDBC/ODBC:

• JDBC URL
• HTTP Path (Ścieżka HTTP)

Krok 4. Konfigurowanie programu Syncsort z usługą Azure Databricks

Przejdź do strony logowania Databricks i połącz się z Big Data i postępuj zgodnie z instrukcjami.

Dodatkowe zasoby

Pomoc