Omówienie przepływu sterowania fabryki danych
Co to jest przepływ sterowania
Przepływ sterowania to aranżacja działań potoku, która obejmuje działania łańcuchowe w sekwencji, rozgałęzianie, definiowanie parametrów na poziomie potoku i przekazywanie argumentów podczas wywoływania potoku na żądanie lub z wyzwalacza.
Przepływ sterowania może również obejmować kontenery pętli, które mogą przekazywać informacje dla każdej iteracji kontenera pętli.
Jeśli pętla For Each jest używana jako działanie przepływu sterowania, usługa Azure Data Factory może równolegle uruchomić wiele działań przy użyciu tego podejścia. Dzięki temu można tworzyć złożoną i iteracyjną logikę przetwarzania w potokach tworzonych za pomocą usługi Azure Data Factory, która obsługuje tworzenie różnorodnych wzorców integracji danych, takich jak tworzenie nowoczesnego magazynu danych.
Niektóre typowe działania przepływu sterowania opisano w poniższych sekcjach.
Tworzenie łańcuchów działań
W usłudze Azure Data Factory można połączyć działania w sekwencji w potoku. Istnieje możliwość użycia właściwości dependsOn w definicji działania, aby połączyć ją z działaniem nadrzędnym.
Rozgałęzianie działań
Użyj usługi Azure Data Factory do rozgałęziania działań w potoku. Przykładem działania rozgałęziania jest działanie If-condition , które jest podobne do instrukcji if podanej w językach programowania. Działanie rozgałęziania ocenia zestaw działań, a gdy warunek ma wartość true, jest wykonywany zestaw działań. Gdy zostanie obliczona wartość false, zostanie wykonany alternatywny zestaw działań.
Parametry
Parametry można definiować na poziomie potoku, a argumenty przekazywać w trakcie wywoływania potoku na żądanie lub przy użyciu wyzwalacza. Następnie działania używają argumentów przechowywanych w parametrze, gdy są przekazywane do potoku.
Przekazywanie stanów niestandardowych
Przekazywanie stanu niestandardowego jest możliwe w usłudze Azure Data Factory. Przekazywanie stanu niestandardowego to działanie, które utworzyło dane wyjściowe lub stan działania, które musi być używane przez kolejne działanie w potoku. Przykładem jest to, że w definicji JSON działania można uzyskać dostęp do danych wyjściowych poprzedniego działania. Użycie niestandardowego przekazywania stanu umożliwia tworzenie przepływów pracy, w których wartości przechodzą przez działania.
Tworzenie pętli kontenerów
Kontenery pętli parasol przepływu sterowania, taki jak działanie ForEach definiuje powtórzenie w potoku. Umożliwia iterowanie w kolekcji i wykonywanie określonych działań w zdefiniowanej pętli. Działa podobnie do struktury "dla każdej struktury pętli" używanej w językach programowania. Oprócz każdego działania istnieje również działanie Until. Ta funkcja jest podobna do pętli do-until używanej w programowaniu. To, co robi, uruchamia zestaw działań (do) w pętli do momentu spełnienia warunku (do).
Przepływy na podstawie wyzwalaczy
Potoki mogą być wyzwalane przez czas na żądanie (na przykład na podstawie zdarzeń, post obiektu blob) lub zegara ściany.
Wywoływanie potoku z poziomu innego potoku
Działanie Execute Pipeline with Azure Data Factory (Wykonywanie potoku za pomocą usługi Azure Data Factory) umożliwia potokowi usługi Data Factory wywoływanie innego potoku.
Przepływy delta
Przypadki użycia związane z używaniem przepływów różnicowych to obciążenia różnicowe. Obciążenia różnicowe we wzorcach ETL będą ładować tylko dane, które uległy zmianie od poprzedniej iteracji potoku. Funkcje, takie jak działanie wyszukiwania i elastyczne planowanie, ułatwiają obsługę zadań obciążenia różnicowego. W przypadku korzystania z działania Lookup odczytuje lub wyszukuje wartość rekordu lub tabeli z dowolnego źródła zewnętrznego. Do tych danych wyjściowych mogą także odwoływać się kolejne działania.
Inne przepływy sterowania
Istnieje wiele innych działań przepływu sterowania. Zobacz następujące elementy, aby zapoznać się z innymi przydatnymi działaniami:
Działanie internetowe: działanie internetowe w usłudze Azure Data Factory przy użyciu przepływów sterowania może wywoływać niestandardowy punkt RESTendpoint z potoku usługi Data Factory. Zestawy danych i połączone usługi można przekazać w celu uzyskania użycia przez działanie.
Działanie Pobieranie metadanych: działanie Pobieranie metadanych pobiera metadane wszystkich danych w usłudze Azure Data Factory.