Szybki start: tworzenie przepływu pracy danych

Uwaga

Przepływy pracy danych są obsługiwane przez platformę Apache Airflow.
Apache Airflow to platforma typu open source używana do programowego tworzenia, planowania i monitorowania złożonych przepływów pracy danych. Umożliwia zdefiniowanie zestawu zadań nazywanych operatorami, które można połączyć w skierowane grafy acykliczne (DAG) do reprezentowania potoków danych.

Przepływy pracy danych zapewniają prosty i wydajny sposób tworzenia środowisk Apache Airflow i zarządzania nimi, umożliwiając łatwe uruchamianie przepływów pracy danych na dużą skalę. W tym przewodniku Szybki start utworzysz pierwszy przepływ pracy danych i uruchomisz graf Acykliczny (DAG), aby zapoznać się ze środowiskiem i funkcjami przepływów pracy danych.

Wymagania wstępne

• Włącz przepływy pracy danych w dzierżawie.

Uwaga

Ponieważ przepływy pracy danych są w stanie wersji zapoznawczej, należy je włączyć za pośrednictwem administratora dzierżawy. Jeśli widzisz już przepływy pracy danych, administrator dzierżawy mógł go już włączyć.

1. Przejdź do pozycji Portal administracyjny —> Ustawienia dzierżawy —> w obszarze Microsoft Fabric —> rozwiń sekcję "Użytkownicy mogą tworzyć przepływy pracy danych (wersja zapoznawcza)".
2. Wybierz Zastosuj.

Tworzenie przepływu pracy danych

1. Możesz użyć istniejącego obszaru roboczego lub utworzyć nowy obszar roboczy.

2. Rozwiń + New listę rozwijaną —> kliknij pozycję Więcej opcji —> w Data Factory sekcji —> Wybieranie przepływów pracy danych (wersja zapoznawcza)

   

   

3. Nadaj projektowi odpowiednią nazwę i kliknij przycisk "Utwórz".

Tworzenie pliku DAG

1. Kliknij kartę "Nowy plik DAG" —> nadaj nazwę pliku i kliknij przycisk "Utwórz".

   

2. Prezentowany jest standardowy kod DAG. Plik można edytować zgodnie z wymaganiami.

   

3. Kliknij pozycję "Zapisz ikonę".

   

Uruchamianie grupy dag

1. Zacznij od kliknięcia przycisku "Uruchom dag".

   

2. Po zainicjowaniu zostanie wyświetlone powiadomienie z informacją, że grupa DAG jest uruchomiona.

3. Aby monitorować postęp przebiegu grupy DAG, po prostu kliknij pozycję "Wyświetl szczegóły" w centrum powiadomień. Ta akcja spowoduje przekierowanie do interfejsu użytkownika platformy Apache Airflow, w którym można wygodnie śledzić stan i szczegóły przebiegu grupy DAG.

   

Monitorowanie grupy DAG przepływu pracy danych w interfejsie użytkownika platformy Apache Airflow

Zapisane pliki dag są ładowane w interfejsie użytkownika platformy Apache Airflow. Możesz je monitorować, klikając przycisk "Monitoruj w systemie Apache Airflow".

Powiązana zawartość

• Instalowanie pakietu prywatnego w przepływach pracy danych