Csatlakozás a Syncsorthoz
Fontos
Ez a funkció a nyilvános előzetes verzióban érhető el.
A Syncsort az örökölt, nagyszámítógépes és IBM-adatok Azure Databricksbe való integrálásával segít az adatsilók lebontásában. Ezekből a forrásokból egyszerűen lekérhet adatokat a Delta Lake-be.
A Syncsort és az Azure Databricks használatának lépései.
1. lépés: Databricks személyes hozzáférési jogkivonat létrehozása
A Syncsort az Azure Databricks szolgáltatással hitelesít egy Azure Databricks személyes hozzáférési jogkivonat használatával.
Feljegyzés
Ajánlott biztonsági eljárásként, ha automatizált eszközökkel, rendszerekkel, szkriptekkel és alkalmazásokkal hitelesít, a Databricks azt javasolja, hogy munkaterület-felhasználók helyett a szolgáltatásnevekhez tartozó személyes hozzáférési jogkivonatokat használja. A szolgáltatásnevek jogkivonatainak létrehozásáról a szolgáltatásnév jogkivonatainak kezelése című témakörben olvashat.
2. lépés: Fürt beállítása az integrációs igények támogatására
A Syncsort adatokat fog írni egy Azure Data Lake Storage-útvonalra, és az Azure Databricks integrációs fürt ebből a helyről fogja beolvasni az adatokat. Az integrációs fürt ezért biztonságos hozzáférést igényel az Azure Data Lake Storage elérési úthoz.
Biztonságos hozzáférés egy Azure Data Lake Storage-elérési úthoz
Az Azure Data Lake Storage (ADLS) adataihoz való hozzáférés biztonságossá tételéhez használhatja az Azure Storage-fiók hozzáférési kulcsát (ajánlott) vagy a Microsoft Entra ID szolgáltatásnevet.
Azure Storage-fiók hozzáférési kulcsának használata
A Spark-konfiguráció részeként konfigurálhat egy tárfiók hozzáférési kulcsát az integrációs fürtön. Győződjön meg arról, hogy a tárfiók rendelkezik hozzáféréssel az előkészítéshez használt ADLS-tárolóhoz és fájlrendszerhez, valamint ahhoz az ADLS-tárolóhoz és fájlrendszerhez, ahol a Delta Lake-táblákat meg szeretné írni. Az integrációs fürt kulcs használatára való konfigurálásához kövesse a Csatlakozás az Azure Data Lake Storage Gen2-hez és a Blob Storage-hoz című témakörben leírt lépéseket.
Microsoft Entra ID szolgáltatásnév használata
A Spark-konfiguráció részeként konfigurálhat egy szolgáltatásnevet az Azure Databricks integrációs fürtön. Győződjön meg arról, hogy a szolgáltatásnév hozzáfér az előkészítéshez használt ADLS-tárolóhoz és ahhoz az ADLS-tárolóhoz, ahová a Delta-táblákat meg szeretné írni. Az integrációs fürt szolgáltatásnév használatára való konfigurálásához kövesse az Access ADLS Gen2 szolgáltatásnévvel kapcsolatos lépéseit.
A fürtkonfiguráció megadása
Fürtmód beállítása Standard értékre.
Állítsa a Databricks runtime verziót Databricks-futtatókörnyezeti verzióra.
Az optimalizált írás és az automatikus tömörítés engedélyezéséhez adja hozzá a következő tulajdonságokat a Spark-konfigurációhoz:
spark.databricks.delta.optimizeWrite.enabled true spark.databricks.delta.autoCompact.enabled trueKonfigurálja a fürtöt az integrációs és skálázási igényeknek megfelelően.
A fürtkonfiguráció részleteiért lásd : Számítási konfigurációs referencia.
A JDBC URL-címének és HTTP-elérési útjának beszerzéséhez szükséges lépésekért tekintse meg az Azure Databricks számítási erőforrás kapcsolati adatainak lekérését.
3. lépés: JDBC- és ODBC-kapcsolatadatok beszerzése a fürthöz való csatlakozáshoz
Az Azure Databricks-fürtök Syncsorthoz való csatlakoztatásához a következő JDBC/ODBC kapcsolati tulajdonságokra van szükség:
- JDBC URL-címe
- HTTP elérési útja
4. lépés: A Syncsort konfigurálása az Azure Databricks használatával
Lépjen a Databricks és a Connect for Big Data bejelentkezési oldalára, és kövesse az utasításokat.