บทช่วยสอน: แปลงไปป์ไลน์ Azure Data Factory (ADF) ด้วยงานกระแสอากาศ Apache

หมายเหตุ

งานกระแสอากาศ Apache ขับเคลื่อนด้วย กระแสอากาศ Apache

ในบทช่วยสอนนี้ คุณจะสร้าง Apache Airflow DAG เพื่อจัดเรียงไปป์ไลน์ ADF ด้วยงานกระแสอากาศ Apache

ข้อกำหนดเบื้องต้น

เมื่อต้องการเริ่มต้นใช้งาน คุณต้องดําเนินการข้อกําหนดเบื้องต้นต่อไปนี้ให้เสร็จสมบูรณ์:

• สร้าง "งานกระแสอากาศ Apache" ในพื้นที่ทํางาน

• สร้างไปป์ไลน์ข้อมูลใน Azure Data Factory

• สร้างบริการหลัก

• เมื่อต้องการเรียกใช้ไปป์ไลน์ Azure Data Factory (ADF) คุณสามารถเพิ่มบริการหลักเป็น ลงใน contributor อินสแตนซ์ ADF ที่คุณกําลังเรียกใช้ไปป์ไลน์ได้

เพิ่มข้อกําหนดในการไหลของอากาศ Apache

1. นําทางไปยัง "การตั้งค่า" และเลือก "การกําหนดค่าสภาพแวดล้อม"

2. ภายใต้ "ข้อกําหนดกระแสอากาศ Apache" รวมถึง "apache-airflow-providers-microsoft-azure"

3. คลิก "นําไปใช้" เพื่อบันทึกการเปลี่ยนแปลง

   

สร้าง Apache Airflow DAG

1. เริ่มต้นโดยการเลือกการ์ด "ไฟล์ DAG ใหม่" จากนั้นกําหนดชื่อให้กับไฟล์และคลิกปุ่ม "สร้าง"

   

2. เมื่อสร้างขึ้นแล้ว คุณจะเห็นรหัส DAG ต้นแบบ แก้ไขไฟล์เพื่อรวมเนื้อหาที่ให้ไว้ อัปเดตอาร์กิวเมนต์ pipeline_name ด้วยชื่อของไปป์ไลน์ ADF ของคุณ

from datetime import datetime, timedelta

from airflow.models import DAG
from airflow.providers.microsoft.azure.operators.data_factory import AzureDataFactoryRunPipelineOperator


with DAG(
    dag_id="example_adf_run_pipeline",
    start_date=datetime(2022, 5, 14),
    schedule_interval="@daily",
    catchup=False,
    default_args={
        "retries": 1,
        "retry_delay": timedelta(minutes=3),
        "azure_data_factory_conn_id": "azure_data_factory_conn_id", #This is a connection created on Airflow UI
    },
    default_view="graph",
) as dag:

    run_adf_pipeline = AzureDataFactoryRunPipelineOperator(
        task_id="run_adf_pipeline",
        pipeline_name="<Pipeline Name>",
    )

    run_adf_pipeline

3. คลิกที่ "บันทึก" เพื่อบันทึกไฟล์

   

สร้างการเชื่อมต่อกระแสอากาศ Apache เพื่อเชื่อมต่อกับ Azure Data Factory

1. คลิกที่ "ดูการเชื่อมต่อกระแสอากาศ" เพื่อดูรายการการเชื่อมต่อทั้งหมดที่กําหนดค่าและตั้งค่าใหม่

   

2. คลิกที่ '+' -> เลือกชนิดการเชื่อมต่อ: Azure Data Factory -> กรอกข้อมูลในเขตข้อมูล: ID การเชื่อมต่อ, ID ไคลเอ็นต์, ข้อมูลลับ, รหัสผู้เช่า, ID การสมัครใช้งาน, ชื่อกลุ่มทรัพยากร, ชื่อโรงงาน

3. คลิกปุ่ม "บันทึก"

ตรวจสอบ Apache Airflow DAG และเรียกใช้จาก Apache Airflow UI

ไฟล์ dag ที่บันทึกไว้จะโหลดใน Apache Airflow UI คุณสามารถตรวจสอบได้โดยคลิกที่ปุ่ม "การตรวจสอบในกระแสอากาศ Apache"

เนื้อหาที่เกี่ยวข้อง

เริ่มต้นใช้งานด่วน: สร้างงานกระแสอากาศ Apache