Csatlakozás az Infoworkshez
Fontos
Ez a funkció a nyilvános előzetes verzióban érhető el.
Az Infoworks DataFoundry egy automatizált nagyvállalati adatműveleti és vezénylési rendszer, amely natív módon fut az Azure Databricksen, és az Azure Databricks teljes erejét kihasználva egyszerű megoldást kínál az adatok előkészítésére – ez a data lake üzembe helyezésének fontos első lépése. A DataFoundry nem csak automatizálja az adatbetöltést, hanem automatizálja azokat a kulcsfontosságú funkciókat is, amelyeknek a betöltéssel együtt kell lenniük az elemzés alapjainak létrehozásához. Adatbevezetés a DataFoundry automatikával:
- Adatbetöltés: minden vállalati és külső adatforrásból
- Adatszinkronizálás: CDC az adatok forrással való szinkronizálásának megőrzéséhez
- Adatszabályozás: katalogizálás, leállás, metaadatok kezelése, naplózás és előzmények
Az Infoworks és az Azure Databricks használatának lépései az alábbiak.
1. lépés: Databricks személyes hozzáférési jogkivonat létrehozása
Az Infoworks egy Azure Databricks személyes hozzáférési jogkivonat használatával hitelesíti az Azure Databrickset.
Feljegyzés
Ajánlott biztonsági eljárásként, ha automatizált eszközökkel, rendszerekkel, szkriptekkel és alkalmazásokkal hitelesít, a Databricks azt javasolja, hogy munkaterület-felhasználók helyett a szolgáltatásnevekhez tartozó személyes hozzáférési jogkivonatokat használja. A szolgáltatásnevek jogkivonatainak létrehozásáról a szolgáltatásnév jogkivonatainak kezelése című témakörben olvashat.
2. lépés: Fürt beállítása az integrációs igények támogatására
Az Infoworks adatokat fog írni egy Azure Data Lake Storage-útvonalra, és az Azure Databricks integrációs fürt ebből a helyről fogja beolvasni az adatokat. Az integrációs fürt ezért biztonságos hozzáférést igényel az Azure Data Lake Storage elérési úthoz.
Biztonságos hozzáférés egy Azure Data Lake Storage-elérési úthoz
Az Azure Data Lake Storage (ADLS) adataihoz való hozzáférés biztonságossá tételéhez használhatja az Azure Storage-fiók hozzáférési kulcsát (ajánlott) vagy a Microsoft Entra ID szolgáltatásnevet.
Azure Storage-fiók hozzáférési kulcsának használata
A Spark-konfiguráció részeként konfigurálhat egy tárfiók hozzáférési kulcsát az integrációs fürtön. Győződjön meg arról, hogy a tárfiók rendelkezik hozzáféréssel az előkészítéshez használt ADLS-tárolóhoz és fájlrendszerhez, valamint ahhoz az ADLS-tárolóhoz és fájlrendszerhez, ahol a Delta Lake-táblákat meg szeretné írni. Az integrációs fürt kulcs használatára való konfigurálásához kövesse a Csatlakozás az Azure Data Lake Storage Gen2-hez és a Blob Storage-hoz című témakörben leírt lépéseket.
Microsoft Entra ID szolgáltatásnév használata
A Spark-konfiguráció részeként konfigurálhat egy szolgáltatásnevet az Azure Databricks integrációs fürtön. Győződjön meg arról, hogy a szolgáltatásnév hozzáfér az előkészítéshez használt ADLS-tárolóhoz és ahhoz az ADLS-tárolóhoz, ahová a Delta-táblákat meg szeretné írni. Az integrációs fürt szolgáltatásnév használatára való konfigurálásához kövesse az Access ADLS Gen2 szolgáltatásnévvel kapcsolatos lépéseit.
A fürtkonfiguráció megadása
Fürtmód beállítása Standard értékre.
Állítsa a Databricks runtime verziót Databricks-futtatókörnyezeti verzióra.
Az optimalizált írás és az automatikus tömörítés engedélyezéséhez adja hozzá a következő tulajdonságokat a Spark-konfigurációhoz:
spark.databricks.delta.optimizeWrite.enabled true spark.databricks.delta.autoCompact.enabled trueKonfigurálja a fürtöt az integrációs és skálázási igényeknek megfelelően.
A fürtkonfiguráció részleteiért lásd : Számítási konfigurációs referencia.
A JDBC URL-címének és HTTP-elérési útjának beszerzéséhez szükséges lépésekért tekintse meg az Azure Databricks számítási erőforrás kapcsolati adatainak lekérését.
3. lépés: JDBC- és ODBC-kapcsolatadatok beszerzése a fürthöz való csatlakozáshoz
Az Azure Databricks-fürt infoworkshez való csatlakoztatásához a következő JDBC/ODBC kapcsolati tulajdonságokra van szükség:
- JDBC URL-címe
- HTTP elérési útja
4. lépés: Infoworks lekérése az Azure Databrickshez
Az Infoworksben további információkért és bemutatókért látogasson el.