Data Factory-folyamatok használata
Az adat-előállítói folyamatok használatához elengedhetetlen megérteni, hogy mi az Azure Data Factory egyik folyamata.
Az Azure Data Factoryben a folyamatok olyan tevékenységek logikai csoportosítását jelentik, amelyekben a tevékenységek együttesen hajtanak végre egy bizonyos feladatot.
Az egyik folyamat tevékenységeinek kombinációjára példa lehet a naplóadatok betöltése és tisztítása egy leképezési adatfolyammal együtt, amely elemzi a megtisztított naplóadatokat.
A folyamatok lehetővé teszik a különálló tevékenységek készletként való kezelését, amelyeket egyébként külön kezelne. Lehetővé teszi a tevékenységek hatékony üzembe helyezését és ütemezését egyetlen folyamat használatával, szemben az egyes tevékenységek egymástól független kezelésével.
A folyamatok tevékenységeit az adatokon végrehajtott műveleteknek nevezzük. An activity can take zero or more input datasets and produce one or more output datasets.
Ilyen művelet lehet például a másolási tevékenység, amely során adatokat másol egy Azure SQL Database-ből egy Azure DataLake Storage Gen2-be. A példa alapján adatfolyam-tevékenységet vagy Azure Databricks Notebook-tevékenységet használhat az Azure Data Lake Storage Gen2-fiókjába másolt adatok feldolgozásához és átalakításához, hogy az adatok készen állnak az üzletiintelligencia-jelentési megoldásokra, például az Azure Synapse Analyticsben.
Mivel az Azure Data Factory folyamataiban számos tevékenység lehetséges, a tevékenységeket három kategóriába csoportosítottuk:
- Adatáthelyezési tevékenységek: A Data Factory másolási tevékenysége adatokat másol egy forrásadattárból egy fogadó adattárba.
- Adatátalakítási tevékenységek: Az Azure Data Factory támogatja az olyan átalakítási tevékenységeket, mint például a Adatfolyam, az Azure Function, a Spark és más, a folyamatokhoz egyenként vagy más tevékenységgel láncolt tevékenységek.
- Vezérlési tevékenységek: A vezérlőfolyamat-tevékenységek például a "metaadatok lekérése", az "Mindegyikhez" és a "Folyamat végrehajtása".
A tevékenységek egymástól függhetnek. Úgy értjük, hogy a tevékenységfüggőség határozza meg, hogy a későbbi tevékenységek hogyan függenek a korábbi tevékenységektől. Maga a függőség azon a feltételen alapulhat, hogy a tevékenység elvégzéséhez folytatni kell-e a korábbi tevékenységek végrehajtását. Egy olyan tevékenység, amely egy vagy több korábbi tevékenységtől függ, különböző függőségi feltételekkel rendelkezhet.
A négy függőségi feltétel a következő:
- Sikeres
- Failed
- Kihagyva
- Befejeződött
Ha például egy folyamat rendelkezik A tevékenységgel, majd egy B tevékenységgel, a B tevékenység pedig függőségi feltételként az A tevékenység "Sikeres" tevékenységéhez, akkor a B tevékenység csak akkor fut, ha az A tevékenység sikeres állapotú.
Ha az adott folyamatban több tevékenység is található, és az egymást követő tevékenységek nem függnek az azokat megelőző tevékenységektől, akkor ezek párhuzamosan is futtathatók.