Kurz: Orchestrace úloh ETL Azure Databricks pomocí úlohy Apache Airflow

Poznámka:

Úloha Apache Airflow využívá Apache Airflow.

Tento kurz popisuje integraci Azure Databricks a úlohy Apache Airflow (využívající Apache Airflow) pro orchestraci pracovních toků. Orchestrace úloh je zásadní pro správu složitých pracovních postupů, zajištění přesnosti dat a optimalizaci efektivity zpracování. Azure Databricks je výkonná analytická platforma založená na Apache Sparku, zatímco Apache Airflow nabízí robustní možnosti správy pracovních postupů. Kombinace těchto nástrojů umožňuje bezproblémovou koordinaci úloh od příjmu dat po transformaci a analýzu. Připojení Apache Airflow Azure Databricks umožňuje využívat optimalizovaný modul Spark nabízený službou Azure Databricks s funkcemi plánování Apache Airflow.

V tomto kurzu vytvoříte DAG Apache Airflow, který aktivuje úlohu Azure Databricks pomocí úlohy Apache Airflow.

Požadavky

Abyste mohli začít, musíte splnit následující požadavky:

• V pracovním prostoru vytvořte úlohu Apache Airflow.

• Vytvoření základního kanálu ETL pomocí Databricks

Přidání požadavku Apache Airflow

1. Přejděte na Nastavení a vyberte Konfigurace prostředí.

2. V části Požadavky na Apache Airflow uveďte apache-airflow-providers-databricks.

3. Výběrem možnosti Použít uložte změny.

   

Vytvořte osobní přístupový token Azure Databricks pro připojení k Apache Airflow.

1. V pracovním prostoru Azure Databricks vyberte uživatelské jméno Azure Databricks v horním panelu a pak v rozevíracím seznamu vyberte Nastavení.
2. Vyberte Vývojář.
3. Vedle přístupových tokenů vyberte Spravovat.
4. Vyberte Vygenerovat nový token.
5. (Volitelné) Zadejte komentář, který vám pomůže identifikovat tento token v budoucnu a změnit výchozí životnost tokenu na 90 dnů. Pokud chcete vytvořit token bez životnosti (nedoporučuje se), nechte pole Životnost (dny) prázdné (prázdné).
6. Vyberte Generovat.
7. Zkopírujte zobrazený token do zabezpečeného umístění a pak vyberte Hotovo.

Vytvoření připojení Apache Airflow pro připojení k pracovnímu prostoru Azure Databricks

Když jako požadavek v prostředí úloh Apache Airflow nainstalujete apache-airflow-providers-databricks, ve výchozím nastavení se v seznamu připojení Apache Airflow nakonfiguruje výchozí připojení pro Azure Databricks. Aktualizujte připojení pro váš pracovní prostor pomocí osobního přístupového tokenu, který jste vytvořili dříve:

1. Výběrem možnosti Zobrazit připojení airflow zobrazíte seznam všech nakonfigurovaných připojení.

   

2. V části Conn ID vyhledejte databricks_default a vyberte tlačítko Upravit záznam.

3. Hodnotu v poli Hostitel nahraďte názvem instance pracovního prostoru vašeho nasazení Azure Databricks, například https://adb-123456789.cloud.databricks.com.

4. Do pole Heslo zadejte osobní přístupový token Azure Databricks.

5. Zvolte Uložit.

Vytvoření DAG Apache Airflow

1. Začněte výběrem karty Nový soubor DAG. Potom souboru přiřaďte název a vyberte Vytvořit.

2. Jakmile je vytvořen, zobrazí se vám šablonový kód DAG. Upravte soubor tak, aby zahrnoval zadaný obsah. Aktualizujte argument job_id o ID úlohy Azure Databricks.

from airflow import DAG
from airflow.providers.databricks.operators.databricks import DatabricksRunNowOperator
from airflow.utils.dates import days_ago

default_args = {
  'owner': 'airflow'
}

with DAG('databricks_dag',
  start_date = days_ago(2),
  schedule_interval = "@hourly",
  default_args = default_args
) as dag:

 transform_data = DatabricksRunNowOperator(
    task_id = 'transform_data',
    databricks_conn_id = 'databricks_default',
    job_id ="<JOB_ID>>"
  )

1. Výběrem možnosti Uložit soubor uložte.

   

Monitorování DAG Apache Airflow a jeho spuštění z uživatelského rozhraní Apache Airflow

Po uložení se soubory DAG automaticky načtou do uživatelského rozhraní Apache Airflow. Pokud je chcete monitorovat, vyberte tlačítko Sledovat v Apache Airflow.

Související obsah

Rychlý start: Vytvoření úlohy Apache Airflow