Kötegelt feldolgozási technológia kiválasztása az Azure-ban

A big data-megoldások gyakran különálló kötegelt feldolgozási feladatokból állnak, amelyek hozzájárulnak az általános adatfeldolgozási megoldáshoz. Kötegelt feldolgozást használhat olyan számítási feladatokhoz, amelyekhez nincs szükség azonnali hozzáférésre az elemzésekhez. A kötegelt feldolgozás kiegészítheti a valós idejű feldolgozási követelményeket. Kötegelt feldolgozással is kiegyensúlyozhatja az összetettségeket, és csökkentheti a teljes megvalósítás költségeit.

A kötegfeldolgozó motorok alapvető követelménye a számítások vertikális felskálázása a nagy mennyiségű adat kezeléséhez. A valós idejű feldolgozástól eltérően a kötegelt feldolgozásnak késleltetései vannak, vagyis az adatbetöltés és az eredmény kiértékelése között eltelt idő percekig vagy órákig tarthat.

Technológia kiválasztása kötegelt feldolgozáshoz

A Microsoft számos szolgáltatást kínál, amelyeket tömeges feldolgozásra használhat.

Microsoft Fabric

A Microsoft Fabric egy teljes körű elemzési és adatplatform szervezetek számára. Ez egy szolgáltatásként nyújtott szoftver, amely leegyszerűsíti a végpontok közötti elemzési megoldások kiépítését, kezelését és szabályozását. A Fabric kezeli az adatok áthelyezését, feldolgozását, betöltését, átalakítását és jelentéskészítését. A kötegelt feldolgozáshoz használt hálófunkciók közé tartozik az adatfeldolgozás, az adattárházak, a lakehouse-k és az Apache Spark-feldolgozás. Az Azure Data Factory a Fabricben a lakehouse-t is támogatja. A fejlesztés egyszerűsítése és felgyorsítása érdekében engedélyezheti az AI-alapú Copilotot.

  • Nyelvek: R, Python, Java, Scala és SQL

  • Biztonság: Felügyelt virtuális hálózat és OneLake szerepköralapú hozzáférés-vezérlés (RBAC)

  • Elsődleges tároló: OneLake, amely billentyűparancsokkal és tükrözési beállításokkal rendelkezik

  • Spark: Előre hidratált kezdőkészlet és egyéni Spark-készlet előre definiált csomópontméretekkel

Azure Databricks

Az Azure Databricks egy Spark-alapú elemzési platform. Gazdag és prémium Spark-funkciókkal rendelkezik, amelyek a nyílt forráskódú Sparkra épülnek. Az Azure Databricks egy Microsoft-szolgáltatás, amely integrálható a többi Azure-szolgáltatással. További konfigurációkat tartalmaz a Spark-fürtök üzembe helyezéséhez. A Unity Catalog pedig megkönnyíti az Azure Databricks Spark-objektumok szabályozását.

  • Nyelvek: R, Python, Java, Scala és Spark SQL.

  • Biztonság: Felhasználói hitelesítés Microsoft Entra-azonosítóval.

  • Elsődleges tároló: Az Azure Blob Storage, a Data Lake Storage, a Fabric OneLake és más szolgáltatások beépített integrációja. További információ: Adatforrások.

Egyéb előnyök:

Kulcsválasztási feltételek

A kötegelt feldolgozás technológiájának kiválasztásához vegye figyelembe a következő kérdéseket:

  • Szeretne felügyelt szolgáltatást, vagy saját kiszolgálókat szeretne kezelni?

  • Kötegfeldolgozási logikát szeretne deklaratívan vagy imperatív módon létrehozni?

  • Kötegelt feldolgozást végez kipukkanásokban? Ha igen, fontolja meg azokat a beállításokat, amelyek lehetővé teszik egy fürt automatikus megszakítását, vagy amelyek árazási modellekkel rendelkeznek az egyes kötegelt feladatokhoz.

  • Szüksége van arra, hogy a kötegelt feldolgozás során relációs adattárakban hajtson végre lekérdezéseket, például hivatkozási adatok keresésére? Ha igen, fontolja meg azokat a beállításokat, amelyek lehetővé teszik a külső relációs tárolók lekérdezését.

Képességmátrix

Az alábbi táblázatok a szolgáltatások közötti képességbeli főbb különbségeket összegzik.

Általános képességek

Képesség Szövet Azure Databricks
Szoftver mint szolgáltatás Igen1 Nem
Felügyelt szolgáltatás Nem Igen
Relációs adattár Igen Igen
Díjszabási modell Kapacitásegységek Az Azure Databricks 2 egysége és a klaszter órája

[1] Hozzárendelt hálókapacitás.

[2] Az Azure Databricks-egység óránkénti feldolgozási képesség.

Egyéb lehetőségek

Képesség Szövet Azure Databricks
Automatikus skálázás Nem Igen
Vertikális felskálázás részletessége Szövetenkénti cikkszám Clusterenként
Adatok memóriabeli gyorsítótárazása Nem Igen
Lekérdezés külső relációs tárolókból Igen Igen
Hitelesítés Microsoft Entra ID Microsoft Entra ID
Könyvvizsgálat Igen Igen
Sorszintű biztonság Igen Igen
Tűzfalak támogatása Igen Igen
Dinamikus adatmaszkolás Igen Igen

Közreműködők

Ezt a cikket a Microsoft tartja karban. Eredetileg a következő közreműködők írták.

Fő szerzők:

A nem nyilvános LinkedIn-profilok megtekintéséhez jelentkezzen be a LinkedInbe.

Következő lépések

  • Last updated on