Rýchla konfigurácia: Vytvorenie úlohy v toku vzduchu Apache

Poznámka

Úlohu apache airflow poháňa apache airflow.

Apache Airflow je open-source platforma používaná na programové vytváranie, plánovanie a monitorovanie zložitých úloh. Umožňuje definovať súbor úloh, nazývaných operátory, ktoré je možné kombinovať do smerovaných acyklických grafov (DAG) na reprezentáciu potrubí.

Apache Airflow Job poskytuje jednoduchý a efektívny spôsob na vytvorenie a spravovanie prostredí toku vzduchu Apache, čo vám umožňuje jednoducho spúšťať funkcie orchestrácie. V tomto stručnom úvode vytvoríme jednoduchú úlohu v toku údajov Apache Airflow, ktorá sa zoznámi s prostredím a funkciami služby Apache Airflow Job.

Vytvorenie úlohy toku vzduchu v Apache

1. Môžete použiť existujúci pracovný priestor alebo Vytvoriť nový pracovný priestor.

2. Rozbaliť + Nová položka , potom v sekcii Data Factory vybrať Apache Airflow Job

   

3. Dajte svojmu projektu vhodný názov a vyberte tlačidlo Vytvoriť .

Vytvorenie súboru DAG

1. Vyberte novú DAG kartu, dajte jej názov a vyberte Vytvoriť.

   

2. Komický kód DAG je určený pre vás. Súbor môžete upraviť podľa svojich požiadaviek.

   

3. Vyberte položku Uložiť.

   

Spustenie jazyka DAG

1. Začnite výberom tlačidla Run DAG .

   

2. Po spustení sa zobrazí upozornenie, že DAG beží.

3. Ak chcete sledovať priebeh DAG behu, vyberte Zobraziť podrobnosti v notifikačnom centre. Táto akcia vás presmeruje do používateľského rozhrania služby Apache Airflow, kde môžete pohodlne sledovať stav a podrobnosti o spustení DAG.

   

Monitorovanie apache airflow DAG v rozhraní Apache Airflow UI

Uložené súbory DAG sa načítajú do používateľského rozhrania toku údajov Apache Airflow. Môžete ich sledovať kliknutím na tlačidlo Monitor v Apache Airflow .

Súvisiaci obsah

• Inštalácia súkromného balíka v úlohe Apache Airflow