Aracılığıyla paylaş

Kodunuzu mevcut bir GitHub deposundan eşitleyin

Not

Apache Airflow işi Apache Airflow tarafından desteklenmektedir.

Microsoft Fabric içindeki dönüştürücü bir özellik olan Veri İş Akışları, veri işlem hatlarını oluşturma ve yönetme yaklaşımınızı yeniden tanımlar. Apache Airflow çalışma zamanı tarafından desteklenen Veri İş Akışları, Yönlendirilmiş Döngüsel Grafikler (DAG) olarak ifade edilen Python tabanlı veri iş akışlarını geliştirmek, zamanlamak ve izlemek için tümleşik, bulut tabanlı bir platform sağlar. Apache Airflow kullanarak veri işlem hattı geliştirme ve yönetimi için Hizmet Olarak Yazılım (SaaS) deneyimi sunarak çalışma zamanını kolayca erişilebilir hale getirir ve veri iş akışlarınızın oluşturulmasını ve çalışmasını sağlar.
Veri iş akışlarıyla ilgili olarak, iş akışı dosyalarınızı depolamak için iki seçeneğiniz vardır: Fabric tarafından yönetilen depolama ve GitHub tarafından yönetilen depolama. Bu makalede, kodunuzu mevcut bir GitHub deposundan eşitlemeyi öğreneceksiniz.

Apache Airflow Görevi Oluşturma

  1. Mevcut bir çalışma alanını veya Yeni çalışma alanı oluştur'u kullanabilirsiniz.

  2. Genişlet + New açılır menüsü -> Daha Fazla Seçenek'e tıklayın ->Data Factory başlığı altında -> Apache Airflow Görevi (önizleme) öğesini seçin

    Diğer seçeneklere tıklamayı gösteren ekran görüntüsü.

    Apache Airflow İşi'nin seçilmesi için ekran görüntüsü.

  3. Projenize uygun bir ad verin ve "Oluştur" Düğmesine tıklayın.

GitHub deponuzu eşitleme

Apache Airflow İşinizi eşitlemek istediğiniz git deposunu belirtin.

  1. "Ayarlar" düğmesine gidin ve 'Dosya Depolama' sekmesine tıklayın. Depolama türü olarak "Git-sync" öğesini seçin. GitHub deposunu eşitlemek için ekran görüntüsü.

  2. Aşağıdaki alanları doldurun:

    • Git hizmet türü: Desteklenen hizmet türleri:

      • GitHub
      • ADO: Azure DevOps
      • GitLab
      • BitBucket

    • Git Kimlik Bilgisi türü: Desteklenen kimlik bilgisi türleri:

      • Hiçbiri: Depo herkese açık olduğunda bu kimlik bilgisi türünü seçin.
      • Kişisel Erişim belirteci: Git hizmetinden depoyla kimlik doğrulaması yapmak için kullanılan kişisel erişim belirteci.
        • Alanları doldurun:
          • Kullanıcı adı: GitHub kullanıcı adı.
          • Kişisel Erişim belirteci
      • Hizmet Sorumlusu: Git Hizmeti'ni Azure Devops olarak seçtiğinizde bu kimlik bilgilerini seçin:
        • Alanları doldurun:
          • Hizmet sorumlusu uygulama kimliği: Azure Devops Deposu'na erişimi olan Hizmet Sorumlunuzun istemci kimliği.
          • Hizmet sorumlusu sırrı: Azure DevOps deposuna erişimi olan istemci sırrı.
          • Hizmet sorumlusu kiracı kimliği: Hizmet Sorumlunuzun Kiracı Kimliği.
      • Depo: Eşitlemek istediğiniz deponun kopya URL'si.
      • Dal: Eşitlemek istediğiniz depo dalının adı.

  3. 'Uygula'ya tıklayın.

DAG'lerinizi izleme

  • Deponuzun eşitlenip eşitlenmediğini doğrulamak için "Apache Airflow'da İzle" seçeneğine tıklayarak Apache Airflow'un kullanıcı arabirimine gidin. Kullanıcı arabiriminde deponuzdaki tüm DAG'lerin doğrudan yüklendiğini görürsünüz. Apache hava akışında DAG'leri izlemek için ekran görüntüsü.

  • Git-sync depolama alanı kullanılırken kod düzenleyicisi desteklenmez. Kodunuzu yerel olarak düzenlemeniz ve değişiklikleri uzak Git deponuza göndermeniz gerekir. En son işlemeniz Veri İş Akışları ile otomatik olarak eşitlenir ve güncelleştirilmiş kodunuzu Apache Airflow kullanıcı arabiriminde görebilirsiniz.

Desteklenen Git deposu yapısı

|── dags/
|   |-- *.py
|-- plugins
|    |-- executors/
|    |   ├-- __init__.py
|    |   └-- *.py
|    |-- hooks/
|    |   ├-- __init__.py
|    |   └-- *.py
|    |-- operators/
|    |   ├-- __init__.py
|    |   └-- *.py
|    |-- transfers/
|    |   ├-- __init__.py
|    |   └-- *.py
|    |-- triggers/
|    |    ├-- __init__.py
|    |    └-- *.py

Not

Yalnızca dags ve plugins klasörlerini depodan eşitleriz. Tüm dosyaların veya alt klasörlerin bu klasörlerden birinin içinde olduğundan emin olun.

İlgili içerik