Inzicht in de controlestroom van data factory
Wat is controlestroom?
Controlestroom is een indeling van pijplijnactiviteiten die ketenactiviteiten in een reeks, vertakking, het definiëren van parameters op pijplijnniveau en het doorgeven van argumenten tijdens het aanroepen van de pijplijn op aanvraag of van een trigger omvatten.
Controlestroom kan ook luscontainers bevatten die informatie kunnen doorgeven voor elke iteratie van de luscontainer.
Als een For Each-lus wordt gebruikt als controlestroomactiviteit, kan Azure Data Factory meerdere activiteiten parallel starten met behulp van deze methode. Hiermee kunt u complexe en iteratieve verwerkingslogica bouwen binnen de pijplijnen die u maakt met Azure Data Factory, die ondersteuning biedt voor het maken van diverse patronen voor gegevensintegratie, zoals het bouwen van een modern datawarehouse.
Enkele algemene controlestroomactiviteiten worden beschreven in de onderstaande secties.
Koppelingsactiviteiten
Binnen Azure Data Factory kunt u activiteiten in een reeks in een pijplijn koppelen. Het is mogelijk om de eigenschap dependsOn in een activiteitsdefinitie te gebruiken om deze te koppelen aan een upstream-activiteit.
Vertakkingsactiviteiten
Gebruik Azure Data Factory voor het vertakken van activiteiten binnen een pijplijn. Een voorbeeld van een vertakkingsactiviteit is De if-condition-activiteit die vergelijkbaar is met een if-instructie die is opgegeven in programmeertalen. Een vertakkingsactiviteit evalueert een reeks activiteiten en wanneer de voorwaarde waar evalueert, wordt een reeks activiteiten uitgevoerd. Wanneer deze resulteert in onwaar, wordt er een alternatieve set activiteiten uitgevoerd.
Parameters
U kunt parameters definiëren op pijplijnniveau en de argumenten doorgeven tijdens het aanroepen van de pijplijn op aanvraag of vanuit een trigger. Activiteiten gebruiken vervolgens de argumenten die zijn opgeslagen in een parameter wanneer ze worden doorgegeven aan de pijplijn.
Aangepaste status doorgeven
Aangepaste statusdoorgifte wordt mogelijk gemaakt met Azure Data Factory. Aangepaste statusdoorgifte is een activiteit die uitvoer heeft gemaakt of de status van de activiteit die moet worden gebruikt door een volgende activiteit in de pijplijn. Een voorbeeld is dat u in een JSON-definitie van een activiteit toegang hebt tot de uitvoer van de vorige activiteit. Door aangepaste statussen door te geven, kunt u werkstromen bouwen waarbij waarden worden doorgegeven aan activiteiten.
Herhalende containers
De luscontainers beheren de controlestroom, zoals de ForEach-activiteit, definieert herhaling in een pijplijn. Hiermee kunt u een verzameling herhalen en opgegeven activiteiten uitvoeren in de gedefinieerde lus. Het werkt op dezelfde manier als de 'voor elke lusstructuur' die wordt gebruikt in programmeertalen. Naast elke activiteit is er ook een Until-activiteit. Deze functionaliteit is vergelijkbaar met een do-until-lus die wordt gebruikt bij het programmeren. Wat het doet, is het uitvoeren van een reeks activiteiten (doen) in een lus totdat aan de voorwaarde (tot) wordt voldaan.
Op triggers gebaseerde stromen
Pijplijnen kunnen worden geactiveerd door on-demand (op gebeurtenissen gebaseerd, bijvoorbeeld blobpost) of wandkloktijd.
Een pijplijn aanroepen vanaf een andere pijplijn
Met de activiteit Execute Pipeline met Azure Data Factory kan een Data Factory-pijplijn een andere pijplijn aanroepen.
Deltastromen
Gebruiksvoorbeelden met betrekking tot het gebruik van deltastromen zijn deltabelastingen. Deltabelastingen in ETL-patronen laden alleen gegevens die zijn gewijzigd sinds een eerdere iteratie van een pijplijn. Mogelijkheden zoals opzoekactiviteiten en flexibele planning helpen bij het verwerken van deltabelastingstaken. In het geval van het gebruik van een opzoekactiviteit, wordt een record- of tabelnaamwaarde uit een externe bron gelezen of opgezoekd. Er kan naar deze uitvoer worden verwezen door volgende activiteiten.
Andere besturingsstromen
Er zijn nog veel meer controlestroomactiviteiten. Zie de volgende items voor andere nuttige activiteiten:
Webactiviteit: De webactiviteit in Azure Data Factory met behulp van besturingsstromen kan een aangepast RESTendpoint aanroepen vanuit een Data Factory-pijplijn. Gegevenssets en gekoppelde services kunnen worden doorgegeven om te worden verbruikt door de activiteit.
Activiteit metagegevens ophalen: met de activiteit Metagegevens ophalen worden de metagegevens van alle gegevens in Azure Data Factory opgehaald.