Aracılığıyla paylaş

Azure workflow orchestration manager nasıl çalışır?

  • Makale

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

İpucu

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Not

Workflow Orchestration Manager, Apache Airflow tarafından desteklenir.

Not

Azure Data Factory için workflow orchestration manager, apache airflow uygulamasını açık kaynak kullanır. Airflow belgeleri ve diğer öğreticiler Apache Airflow Belgeleri veya Topluluk sayfalarında bulunabilir.

Azure Data Factory'deki Workflow Orchestration Manager, düzenleme iş akışlarınızı çalıştırmak için Python tabanlı Directed Acyclic Graphs (DAG) kullanır. Bu özelliği kullanmak için DAG'lerinizi ve eklentilerinizi Azure Blob Depolama veya GitHub deposu aracılığıyla sağlamanız gerekir. DAG'lerinizi yönetmek için bir komut satırı arabirimi (CLI) veya yazılım geliştirme seti (SDK) kullanarak ADF'den Airflow kullanıcı arabirimini başlatabilirsiniz.

İş Akışı Düzenleme Yöneticisi ortamı oluşturma

Bkz. İş Akışı Orchestration Manager ortamı oluşturma

DAG'leri içeri aktarma

Workflow Orchestration Manager, PYTHON kaynak dosyalarından Airflow ortamına DAG'leri yüklemek için iki farklı yöntem sağlar. Bu yöntemler şunlardır:

  • Git Sync'i etkinleştir: Bu hizmet, GitHub deponuzu Workflow Orchestration Manager ile eşitlemenize olanak tanıyarak DAG'leri doğrudan GitHub deponuzdan içeri aktarmanızı sağlar. Bkz. Workflow Orchestration Manager'da GitHub deposunu eşitleme

  • Azure Blob Depolama: DAG'lerinizi, eklentilerinizi vb. Azure Data Factory ile bağlantılı bir blob depolama hesabı içinde belirlenen bir klasöre yükleyebilirsiniz. Ardından, Workflow Orchestration Manager'da klasörün dosya yolunu içeri aktarırsınız. Bkz. Azure Blob Depolama kullanarak DAG'leri içeri aktarma

HAVA AKıŞı ortamından DAG'leri kaldırma

Bkz. İş Akışı Düzenleme Yöneticisi'nde DAG'leri silme

DAG çalıştırmalarını izleme

Airflow DAG'lerini izlemek için airflow kullanıcı arabiriminde daha önce oluşturulan kullanıcı adı ve parolayla oturum açın.

  1. Oluşturulan Airflow ortamında öğesini seçin.

    Oluşturulan Airflow ortamını gösteren ekran görüntüsü.

  2. Airflow Integration Runtime oluşturma sırasında sağlanan kullanıcı adı-parolayı kullanarak oturum açın. (Gerekirse Airflow Integration çalışma zamanını düzenleyerek kullanıcı adını veya parolayı sıfırlayabilirsiniz)

    Airflow Integration Runtime oluşturma sırasında sağlanan kullanıcı adı-parolayı kullanarak oturum açmayı gösteren ekran görüntüsü.

İçeri aktarma DAG sorunlarını giderme

  • Sorun: DAG içeri aktarma işlemi 5 dakikadan fazla sürüyor Risk Azaltma: tek bir içeri aktarma ile içeri aktarılan DAG'lerin boyutunu küçültün. Bunu başarma yollarından biri, birden çok kapsayıcıda daha az DAG içeren birden çok DAG klasörü oluşturmaktır.

  • Sorun: Airflow kullanıcı arabiriminde oturum açtığınızda içeri aktarılan DAG'ler gösterilmiyor. Azaltma: Airflow kullanıcı arabiriminde oturum açın ve DAG ayrıştırma hataları olup olmadığına bakın. DAG dosyaları uyumsuz kod içeriyorsa bu durum oluşabilir. Sorunu airflow kullanıcı arabirimi aracılığıyla içeren tam satır numaralarını ve dosyaları bulabilirsiniz.

    İçeri aktarma dag sorunlarını gösteren ekran görüntüsü.

İlgili içerik