Mi az az Azure Data Factory?
Kezdjük az Azure Data Factory áttekintésével. Ez segít meghatározni, hogy az adatok rendszerezéséhez érdemes-e üzleti elemzéseket létrehozni.
Az Azure Data Factory egy felhőalapú ETL- és adatintegrációs szolgáltatás, amellyel adatvezérelt munkafolyamatokat hozhat létre a következőkhöz:
- Adatáthelyezés vezénylálása.
- Adatok átalakítása nagy léptékben.
Megjegyzés:
Az adatvezérelt munkafolyamatokat folyamatoknak is nevezik.
Az Azure Data Factory használatával átszervezheti a nyers adatokat értelmes adattárakba és adattavakba. Ez lehetővé teszi, hogy jobb üzleti döntéseket hozzon.
Mi az adatelemzés?
Az adatelemzés a nyers adatok gyűjtésének és vizsgálatának folyamata, hogy következtetéseket vonjon le belőle. Ez nehéz lehet, ha az adatok több helyen, például üzemeltetett adatbázisokban és helyszíni helyeken találhatók.
Tipp.
A nyers adatok olyan adatok, amelyeket egy forrásból gyűjtöttek össze, és nem dolgozták fel. Ezeket néha rendezetlen adatoknak is nevezik.
Az Azure számos olyan technológiát biztosít, amelyeket implementálhat a szervezet adatelemzésének segítéséhez. These include:
- Azure Synapse Analytics
- Azure Blob Storage
- Azure Data Lake Storage
- Azure Data Lake Analytics
- Azure Analysis Services
- Azure HDInsight
- Azure Databricks
- Azure Machine Learning
Ezeket a szolgáltatásokat szükség szerint használhatja a szervezet adatainak elemzéséhez. Ezek közül a szolgáltatások közül azonban egyik sem foglalkozik az adatintegrációval. Az adatintegráció lehetővé teszi, hogy több forrásból gyűjtsön adatokat, majd ezeket az összesített adatokat egy adatelemzésre alkalmas helyre töltse be. Szükség esetén a folyamat során átalakíthatja az adatokat. Bár manuálisan is elvégezheti ezeket a feladatokat, érdemes lehet az Azure Data Factoryt használni.
Az Azure Data Factory definíciója
Az Azure Data Factory egy felhőalapú adatintegrációs szolgáltatás, amely két adott közösség igényeinek kielégítésére lett kialakítva, az alábbi táblázatban leírtak szerint:
| Közösség | A közösségi igények leírása |
|---|---|
| Big data-közösség | Ez a közösség nagy mennyiségű különböző adat kezelésére szolgáló technológiákra támaszkodik. Számukra az Azure Data Factory lehetővé teszi a folyamatok felhőben való létrehozását és futtatását. Ezek a folyamatok a felhőbeli és a helyszíni adatszolgáltatásokat is elérhetik. Ezek a folyamatok általában olyan technológiákkal működnek, mint az Azure Synapse Analytics, az Azure Blobs, az Azure Data Lake, az Azure HDInsight, az Azure Databricks és az Azure Machine Tanulás. |
| Relációs adatraktározási közösség | Ez a közösség általában olyan technológiákra támaszkodik, mint a Microsoft SQL Server. Az SQL Server Integration Servicest (SSIS) gyakran használják SSIS-csomagok létrehozásához. Ebben a közösségben az Azure Data Factory SSIS-csomagok futtatását teszi lehetővé az Azure-ban, így lehetővé teszi számukra a felhőbeli és a helyszíni adatszolgáltatások elérését. |
Megjegyzés:
A csomagok hasonlóak az Azure Data Factory-folyamatokhoz. Minden csomag meghatároz egy folyamatot az adatok kinyerésére, betöltésére, átalakítására vagy más módon való használatára.
A lényeg az, hogy az Azure Data Factory egyetlen felhőszolgáltatás az adatintegrációhoz. Egyetlen eszközkészletet és egy közös felügyeleti felületet biztosít az összes adatintegrációhoz, és minden adatforrást támogat, bárhol is legyenek:
- Azure
- Helyszíni követelmények
- Külső nyilvános felhőplatform
Hogyan segíthet az Azure Data Factory az adatelemzésben?
Az Azure Data Factory használatával:
Összetett ETL-folyamatok létrehozása. Ezek a folyamatok vizuálisan átalakíthatják az adatokat adatfolyamok vagy számítási szolgáltatások használatával, például:
- Azure HDInsight Hadoop
- Azure Databricks
- Azure SQL Database
Tegye közzé ezeket az átalakított adatokat az adattárakban az üzletiintelligencia-alkalmazások számára.
Az alábbi ábrán külső adatforrások csatlakoznak az Azure Data Factoryhez. A tárolóblobok az adatok betöltésére szolgálnak, míg az Azure Synapse Analytics tárolóként. Ezek az elemek biztosítják a vezénylést. Az elemzési és vizualizációs összetevők, az Azure Analysis Service és a Power BI szintén csatlakoznak az Azure Data Factoryhez.
Tipp.
Az Azure Data Factory több mint 90 beépített, karbantartásmentes összekötőt biztosít.