자습서: Apache Airflow 작업을 사용하여 ADF(Azure Data Factory) 파이프라인을 오케스트레이션합니다.

2024-12-18

참고 항목

Apache Airflow 작업은 Apache Airflow에서 구동됩니다.

이 자습서에서는 Apache Airflow 작업을 사용하여 ADF 파이프라인을 오케스트레이션하는 Apache Airflow DAG를 빌드합니다.

필수 조건

시작하려면 먼저 다음 필수 조건을 완료해야 합니다.

테넌트에서 Apache Airflow 작업을 사용하도록 설정합니다.

참고 항목

Apache Airflow 작업은 미리 보기 상태이므로 테넌트 관리자를 통해 사용하도록 설정해야 합니다. Apache Airflow 작업이 이미 표시되는 경우 테넌트 관리자가 이미 사용하도록 설정했을 수 있습니다.
1. 관리 포털 - 테넌트 설정 ->> Microsoft Fabric>에서 "사용자가 Apache Airflow 작업(미리 보기)을 만들고 사용할 수 있습니다." 섹션으로 이동합니다.
2. 적용을 클릭합니다.
작업 영역에서 "Apache Airflow 작업"을 만듭니다.
데이터를 수집할 Azure Data Factory 파이프라인 만들기.
서비스 주체 만들기
ADF(Azure Data Factory) 파이프라인을 실행하려면 파이프라인을 실행하는 ADF 인스턴스에 서비스 주체 contributor를 추가합니다.

Apache Airflow 요구 사항 추가

"설정"으로 이동하고 "환경 구성"을 선택합니다.
“Apache Airflow 요구 사항"에 “apache-airflow-providers-microsoft-azure”를 포함하세요.
“적용”을 클릭하여 변경 내용을 저장합니다.

Apache Airflow DAG 만들기

먼저 "새 DAG 파일" 카드를 선택합니다. 그런 다음 파일에 이름을 할당하고 "만들기" 단추를 클릭합니다.
만든 후에는 상용구 DAG 코드가 표시됩니다. 제공된 내용을 포함하도록 파일을 편집합니다. pipeline_name 인수를 ADF 파이프라인의 이름으로 업데이트합니다.

from datetime import datetime, timedelta

from airflow.models import DAG
from airflow.providers.microsoft.azure.operators.data_factory import AzureDataFactoryRunPipelineOperator


with DAG(
    dag_id="example_adf_run_pipeline",
    start_date=datetime(2022, 5, 14),
    schedule_interval="@daily",
    catchup=False,
    default_args={
        "retries": 1,
        "retry_delay": timedelta(minutes=3),
        "azure_data_factory_conn_id": "azure_data_factory_conn_id", #This is a connection created on Airflow UI
    },
    default_view="graph",
) as dag:

    run_adf_pipeline = AzureDataFactoryRunPipelineOperator(
        task_id="run_adf_pipeline",
        pipeline_name="<Pipeline Name>",
    )

    run_adf_pipeline

“저장”을 클릭하여 파일을 저장합니다.

Azure Data Factory와 연결하는 Apache Airflow 연결 만들기

"Airflow 연결 보기"를 클릭하여 구성된 모든 연결 목록을 확인하고 새 연결을 설정합니다.
'+' 클릭 -> 연결 유형 선택: Azure Data Factory -> 연결 ID, 클라이언트 ID, 비밀, 테넌트 ID, 구독 ID, 리소스 그룹 이름, 팩터리 이름 필드를 입력합니다.
“저장” 단추를 클릭합니다.

Apache Airflow DAG 모니터링 및 Apache Airflow UI에서 실행

저장된 dag 파일은 Apache Airflow UI에 로드됩니다. "Apache Airflow의 모니터링" 단추를 클릭하여 모니터링할 수 있습니다.

빠른 시작: Apache Airflow 작업 만들기