Adatfolyamat-vezénylési technológia kiválasztása az Azure-ban

  • Cikk

A legtöbb big data-megoldás ismétlődő adatfeldolgozási műveletekből áll, amelyek munkafolyamatokba vannak ágyazva. A folyamatvezénylő olyan eszköz, amely segít automatizálni ezeket a munkafolyamatokat. A vezénylők feladatokat ütemezhetnek, munkafolyamatokat hajthatnak végre, és összehangolhatják a tevékenységek közötti függőségeket.

Milyen lehetőségei vannak az adatfolyam-vezénylésre?

Az Azure-ban a következő szolgáltatások és eszközök felelnek meg a folyamat vezénylésére, a folyamatvezérlésre és az adatáthelyezésre vonatkozó alapvető követelményeknek:

Ezek a szolgáltatások és eszközök egymástól függetlenül használhatók, vagy együtt használhatók hibrid megoldás létrehozásához. Az Azure Data Factory V2 integrációs modulja (INTEGRÁCIÓ) például natív módon hajthat végre SSIS-csomagokat felügyelt Azure számítási környezetben. Bár a szolgáltatások között átfedés van a funkciók között, van néhány fő különbség.

Kulcsválasztási feltételek

A lehetőségek szűkítéséhez először válaszoljon az alábbi kérdésekre:

  • Szüksége van big data-képességekre az adatok áthelyezéséhez és átalakításához? Ez általában több gigabájttól több terabájtnyi adatig jelent. Ha igen, szűkítse a lehetőségeket a big data-hoz leginkább megfelelő lehetőségekre.

  • Olyan felügyelt szolgáltatásra van szüksége, amely nagy léptékben működik? Ha igen, válassza ki az egyik felhőalapú szolgáltatást, amelyet nem korlátoz a helyi feldolgozási teljesítmény.

  • Vannak a helyszínen található adatforrások? Ha igen, keressen olyan lehetőségeket, amelyek a felhőbeli és a helyszíni adatforrásokkal vagy célhelyekkel is használhatók.

  • A forrásadatok EGY HDFS-fájlrendszer blobtárolójában találhatók? Ha igen, válasszon egy olyan lehetőséget, amely támogatja a Hive-lekérdezéseket.

Képességmátrix

Az alábbi táblázatok összefoglalják a képességek főbb különbségeit.

Általános képességek

Funkció Azure Data Factory Az SQL Server Integration Servicest (SSIS) Oozie a HDInsighton
Felügyelt Igen Nem Igen
Felhőalapú Igen Nem (helyi) Igen
Előfeltétel Azure-előfizetés SQL Server Azure-előfizetés, HDInsight-fürt
Felügyeleti eszközök Azure Portal, PowerShell, PARANCSSOR, .NET SDK SSMS, PowerShell Bash shell, Oozie REST API, Oozie webes felhasználói felület
Díjszabás Használatalapú fizetés Licencelés / szolgáltatások kifizetése A HDInsight-fürt futtatása után nincs további díj

Folyamat képességei

Funkció Azure Data Factory Az SQL Server Integration Servicest (SSIS) Oozie a HDInsighton
Adatok másolása Igen Igen Igen
Egyéni átalakítások Igen Igen Igen (MapReduce, Pig és Hive feladatok)
Azure Machine Tanulás pontozása Igen Igen (szkriptekkel) Nem
IGÉNY SZERINTI HDInsight Igen Nem Nem
Azure Batch Igen Nem Nem
Pig, Hive, MapReduce Igen Nem Igen
Spark Igen Nem Nem
SSIS-csomag végrehajtása Igen Igen Nem
Átvitelvezérlés Igen Igen Igen
Helyszíni adatok elérése Igen Igen Nem

Méretezhetőségi képességek

Funkció Azure Data Factory Az SQL Server Integration Servicest (SSIS) Oozie a HDInsighton
Vertikális felskálázás Igen Nem Nem
Horizontális felskálázás Igen Nem Igen (feldolgozó csomópontok fürthöz való hozzáadásával)
Big Data-adatokra optimalizálva Igen Nem Igen

Közreműködők

Ezt a cikket a Microsoft tartja karban. Eredetileg a következő közreműködők írták.

Fő szerző:

Következő lépések