Grundlegendes zur Data Factory-Ablaufsteuerung
Was ist die Ablaufsteuerung?
Die Ablaufsteuerung ist eine Orchestrierung von Pipelineaktivitäten und umfasst die Verkettung von Aktivitäten in einer Sequenz, Verzweigungen, Definition von Parametern auf Pipelineebene sowie Übergabe von Argumenten, während die Pipeline bedarfs- oder triggergesteuert aufgerufen wird.
Die Ablaufsteuerung kann auch Schleifencontainer enthalten, die Informationen für jede Iteration des Schleifencontainers übergeben können.
Wenn eine For-Each-Schleife als Ablaufsteuerungsaktivität verwendet wird, kann Azure Data Factory damit mehrere Kopieraktivitäten parallel starten. Auf diese Weise können Sie eine komplexe und iterative Verarbeitungslogik innerhalb der Pipelines erstellen, die Sie mit Azure Data Factory erstellen. Dies unterstützt die Erstellung verschiedener Datenintegrationsmuster, z. B. den Aufbau eines modernen Data Warehouse.
Einige der allgemeinen Aktivitäten der Ablaufsteuerung werden in den folgenden Abschnitten beschrieben.
Verketten von Aktivitäten
In Azure Data Factory können Sie Aktivitäten innerhalb einer Pipeline in einer Sequenz verketten. Sie können die dependsOn-Eigenschaft in einer Aktivitätsdefinition verwenden, um sie mit einer Upstreamaktivität zu verketten.
Verzweigen von Aktivitäten
Verwenden Sie Azure Data Factory für Verzweigungsaktivitäten innerhalb einer Pipeline. Ein Beispiel für eine Verzweigungsaktivität ist die If-Bedingung, die einer if-Anweisung in Programmiersprachen ähnelt. Eine Verzweigungsaktivität wertet eine Aktivitätengruppe aus, und wenn die Bedingung als „true“ (wahr) ausgewertet wird, wird eine Aktivitätengruppe ausgeführt. Wenn die Auswertung zum Ergebnis „false“ (falsch) kommt, wird eine alternative Aktivitätengruppe ausgeführt.
Parameter
Sie können Parameter auf Pipelineebene definieren und Argumente übergeben, während die Pipelineausführung bei Bedarf oder mithilfe eines Triggers gestartet wird. Aktivitäten nutzen dann die Argumente, die in einem Parameter gespeichert sind, während sie an die Pipeline übergeben werden.
Übergeben von benutzerdefinierten Zuständen
Das Übergeben von benutzerdefinierten Zuständen wird durch Azure Data Factory ermöglicht. Das Übergeben von benutzerdefinierten Zuständen ist eine Aktivität, die eine Ausgabe oder den Zustand der Aktivität erstellt hat, die von einer nachfolgenden Aktivität in der Pipeline genutzt werden muss. Ein Beispiel dafür ist, dass Sie in einer JSON-Definition einer Aktivität auf die Ausgabe der vorherigen Aktivität zugreifen können. Mithilfe der Übergabe von benutzerdefinierten Zuständen können Sie Workflows erstellen, bei denen Werte Aktivitäten durchlaufen.
Schleifencontainer
Der Schirm des Schleifencontainers der Ablaufsteuerung wie die ForEach-Aktivität definiert die Wiederholung in einer Pipeline. Er ermöglicht es Ihnen, eine Sammlung zu durchlaufen und bestimmte Aktivitäten in der definierten Schleife auszuführen. Er funktioniert ähnlich wie die in Programmiersprachen verwendete Schleifenstruktur „for each“. Neben der ForEach-Aktivität gibt es auch eine Until-Aktivität. Diese Funktionalität ist vergleichbar mit einer in der Programmierung verwendeten „do-until“-Schleife. Dabei wird eine Reihe von Aktivitäten (do) in einer Schleife ausgeführt, bis die Bedingung (until) erfüllt ist.
Triggerbasierte Abläufe
Pipelines können nach Bedarf (ereignisbasiert, z. B. Blobbeitrag) oder nach Zeitplan ausgelöst werden.
Aufrufen einer Pipeline aus einer anderen Pipeline
Mit der Aktivität „Execute Pipeline“ (Pipeline ausführen) in Azure Data Factory kann eine Data Factory-Pipeline eine andere Pipeline aufrufen.
Deltaabläufe
Anwendungsfälle, die mit der Verwendung von Deltaflüsse zusammenhängen, sind Deltaladevorgänge. Deltaladevorgänge in ETL-Mustern laden nur Daten, die sich seit einer vorherigen Iteration einer Pipeline geändert haben. Funktionen wie Lookup-Aktivität und flexible Zeitplanung helfen bei der Handhabung von Aufträgen für Deltaladevorgänge. Wenn Sie eine Lookup-Aktivität verwenden, wird ein Datensatz- oder Tabellennamenwert aus einer beliebigen externen Quelle gelesen oder gesucht. Auf die Ausgabe kann durch nachfolgende Aktivitäten verwiesen werden.
Weitere Ablaufsteuerungen
Es gibt noch viele weitere Ablaufsteuerungsaktivitäten. Folgenden Aktivitäten sind z. B. sehr hilfreich:
Webaktivität: Die Webaktivität in Azure Data Factory, die Ablaufsteuerungen verwendet, kann ein benutzerdefinierte „RESTendpoint“ aus einer Data Factory-Pipeline aufrufen. Datasets und verknüpfte Dienste können übergeben werden, um von der Aktivität verarbeitet zu werden.
Aktivität „Get metadata“: Die Aktivität „Get metadata“ (Metadaten abrufen) ruft die Metadaten beliebiger Daten in Azure Data Factory ab.