Az Azure Data Factory ismertetése
A legtöbb elemzési megoldás esetében követelmény, hogy aktiválni kell az adatok kötegelt áthelyezését, vagy rendszeres ütemezést kell beállítani. Az Azure Data Factory (ADF) az a szolgáltatás, amely egy ilyen követelmény teljesítéséhez használható. Az ADF egy felhőalapú adatintegrációs szolgáltatást biztosít, amely összehangolja az adatok különböző adattárak és számítási erőforrások közötti áthelyezését és átalakítását.
Az Azure Data Factory egy felhőalapú ETL- és adatintegrációs szolgáltatás, amely lehetővé teszi adatvezérelt munkafolyamatok létrehozását az adatáthelyezés és az adatok nagy léptékű átalakításához. Az Azure Data Factory segítségével létrehozhatók és ütemezhetők a különböző adattárolókból adatokat beolvasó adatvezérelt munkafolyamatok. Összetett ETL-folyamatokat hozhat létre, amelyek vizuálisan alakítják át az adatokat adatfolyamokkal, vagy olyan számítási szolgáltatások használatával, mint az Azure HDInsight Hadoop, az Azure Databricks és az Azure Synapse Analytics.
Az Azure Data Factory funkcióinak nagy része az Azure Synapse Analytics szolgáltatásban pipelines néven jelenik meg, amely lehetővé teszi, hogy az sql-készletek, a Spark-készletek és az SQL Serverless között integráljon adatfolyamokat, így egyablakos ügyintézést biztosít az összes elemzési igényhez.
Mit jelent a vezénylés?
Egy analógia használatához gondolj egy szimfonikus zenekarra. A zenekar központi tagja a karmester. A karmester nem játszik a hangszereken, egyszerűen végigvezetik a szimfonikus tagokat az általuk előadott zenedarabon. A zenészek a saját képességeiket használják a szimfónia különböző szakaszaiban adott hangok előállítására, így csak a zene bizonyos részeit sajátíthatják el. A karmester vezényli a teljes zenedarabot, és így tisztában van az éppen előadott teljes pontszámmal. Speciális karmozdulatokat is használnak, amelyek útmutatást nyújtanak a zenészeknek egy zenedarab lejátszásához.
Az ADF hasonló megközelítést használhat, miközben natív funkciókkal rendelkezik az adatok betöltéséhez és átalakításához, néha egy másik szolgáltatást is arra utasít, hogy végezze el a nevében szükséges tényleges munkát, például egy Databrickset egy átalakítási lekérdezés végrehajtásához. Ebben az esetben tehát a Databricks végzi a munkát, nem az ADF-t. Az ADF csupán a lekérdezés végrehajtását vezényli, majd biztosítja a folyamatokat az adatok következő lépésre vagy célhelyre való áthelyezéséhez.
Ezenkívül látványos vizualizációkkal jelenítheti meg az adatfolyamatok közötti leszármaztatási és függőségi kapcsolatokat, valamint egyetlen, egységesített nézetben figyelheti az összes folyamatot, így egyszerűen kiszűrheti a problémákat és beállíthatja a figyelési riasztásokat.
