Eğitim: Apache Airflow Görevi ile Azure Data Factory (ADF) İşlem Hattı Düzenleme.

Not

Apache Airflow işi, Apache Airflow tarafından desteklenmektedir.

Bu öğreticide, Apache Airflow Ödevi ile ADF işlem hattını koordine etmek için bir Apache Airflow DAG oluşturacaksınız.

Önkoşullar

Başlamak için aşağıdaki önkoşulları tamamlamanız gerekir:

• Çalışma alanında "Apache Airflow Görevi" oluşturun..

• Azure Data Factory'de veri işlem hattını oluşturun.

• Hizmet Sorumlusunu oluşturun.

• Azure Data Factory (ADF) işlem hattını çalıştırmak için, hizmet sorumlusunu işlem hattını çalıştıracağınız ADF örneğine contributor olarak eklersiniz.

Apache Airflow gereksinimi ekleme

1. "Ayarlar"a gidin ve "Ortam Yapılandırması" öğesini seçin.

2. "Apache Airflow Gereksinimleri" bölümünde "apache-airflow-providers-microsoft-azure" ifadesini ekleyin.

3. Değişiklikleri kaydetmek için "Uygula" seçeneğine tıklayın.

   

Apache Airflow DAG oluşturma

1. "Yeni DAG Dosyası" kartını seçerek başlayın. Ardından dosyaya bir ad atayın ve "Oluştur" düğmesine tıklayın.

   

2. Oluşturulduktan sonra size ortak bir DAG kodu sunulur. Sağlanan içeriği içerecek şekilde dosyayı düzenleyin. pipeline_name bağımsız değişkenini ADF işlem hattınızın adıyla güncelleştirin.

from datetime import datetime, timedelta

from airflow.models import DAG
from airflow.providers.microsoft.azure.operators.data_factory import AzureDataFactoryRunPipelineOperator


with DAG(
    dag_id="example_adf_run_pipeline",
    start_date=datetime(2022, 5, 14),
    schedule_interval="@daily",
    catchup=False,
    default_args={
        "retries": 1,
        "retry_delay": timedelta(minutes=3),
        "azure_data_factory_conn_id": "azure_data_factory_conn_id", #This is a connection created on Airflow UI
    },
    default_view="graph",
) as dag:

    run_adf_pipeline = AzureDataFactoryRunPipelineOperator(
        task_id="run_adf_pipeline",
        pipeline_name="<Pipeline Name>",
    )

    run_adf_pipeline

3. Dosyayı kaydetmek için "Kaydet"e tıklayın.

   

Azure Data Factory'ye bağlanmak için Apache Airflow bağlantısı oluşturma

1. Yapılandırılan tüm bağlantıların listesini görmek ve yenisini ayarlamak için "Hava Akışı bağlantılarını görüntüle" seçeneğine tıklayın.

   

2. '+' öğesine tıklayın -> Bağlantı türünü seçin: Azure Data Factory -> Şu alanları doldurun: Bağlantı Kimliği, İstemci Kimliği, Gizli Dizi, Kiracı Kimliği, Abonelik Kimliği, Kaynak grubu adı, Fabrika adı.

3. "Kaydet" düğmesine tıklayın.

Apache Airflow DAG'sini izleme ve Apache Airflow kullanıcı arabiriminden çalıştırma

Kaydedilen DAG dosyaları Apache Airflow kullanıcı arabirimine olarak yüklenir. "Apache Airflow'da İzle" düğmesine tıklayarak bunları izleyebilirsiniz.

İlgili İçerik

Hızlı Başlangıç: Apache Airflow İşi Oluşturma