Azure workflow orchestration manager nasıl çalışır?
UYGULANANLAR: Azure Data Factory Azure Synapse Analytics
İpucu
Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!
Not
Workflow Orchestration Manager, Apache Airflow tarafından desteklenir.
Not
Azure Data Factory için workflow orchestration manager, apache airflow uygulamasını açık kaynak kullanır. Airflow belgeleri ve diğer öğreticiler Apache Airflow Belgeleri veya Topluluk sayfalarında bulunabilir.
Azure Data Factory'deki Workflow Orchestration Manager, düzenleme iş akışlarınızı çalıştırmak için Python tabanlı Directed Acyclic Graphs (DAG) kullanır. Bu özelliği kullanmak için DAG'lerinizi ve eklentilerinizi Azure Blob Depolama veya GitHub deposu aracılığıyla sağlamanız gerekir. DAG'lerinizi yönetmek için bir komut satırı arabirimi (CLI) veya yazılım geliştirme seti (SDK) kullanarak ADF'den Airflow kullanıcı arabirimini başlatabilirsiniz.
İş Akışı Düzenleme Yöneticisi ortamı oluşturma
Bkz. İş Akışı Orchestration Manager ortamı oluşturma
DAG'leri içeri aktarma
Workflow Orchestration Manager, PYTHON kaynak dosyalarından Airflow ortamına DAG'leri yüklemek için iki farklı yöntem sağlar. Bu yöntemler şunlardır:
Git Sync'i etkinleştir: Bu hizmet, GitHub deponuzu Workflow Orchestration Manager ile eşitlemenize olanak tanıyarak DAG'leri doğrudan GitHub deponuzdan içeri aktarmanızı sağlar. Bkz. Workflow Orchestration Manager'da GitHub deposunu eşitleme
Azure Blob Depolama: DAG'lerinizi, eklentilerinizi vb. Azure Data Factory ile bağlantılı bir blob depolama hesabı içinde belirlenen bir klasöre yükleyebilirsiniz. Ardından, Workflow Orchestration Manager'da klasörün dosya yolunu içeri aktarırsınız. Bkz. Azure Blob Depolama kullanarak DAG'leri içeri aktarma
HAVA AKıŞı ortamından DAG'leri kaldırma
Bkz. İş Akışı Düzenleme Yöneticisi'nde DAG'leri silme
DAG çalıştırmalarını izleme
Airflow DAG'lerini izlemek için airflow kullanıcı arabiriminde daha önce oluşturulan kullanıcı adı ve parolayla oturum açın.
Oluşturulan Airflow ortamında öğesini seçin.
Airflow Integration Runtime oluşturma sırasında sağlanan kullanıcı adı-parolayı kullanarak oturum açın. (Gerekirse Airflow Integration çalışma zamanını düzenleyerek kullanıcı adını veya parolayı sıfırlayabilirsiniz)
İçeri aktarma DAG sorunlarını giderme
Sorun: DAG içeri aktarma işlemi 5 dakikadan fazla sürüyor Risk Azaltma: tek bir içeri aktarma ile içeri aktarılan DAG'lerin boyutunu küçültün. Bunu başarma yollarından biri, birden çok kapsayıcıda daha az DAG içeren birden çok DAG klasörü oluşturmaktır.
Sorun: Airflow kullanıcı arabiriminde oturum açtığınızda içeri aktarılan DAG'ler gösterilmiyor. Azaltma: Airflow kullanıcı arabiriminde oturum açın ve DAG ayrıştırma hataları olup olmadığına bakın. DAG dosyaları uyumsuz kod içeriyorsa bu durum oluşabilir. Sorunu airflow kullanıcı arabirimi aracılığıyla içeren tam satır numaralarını ve dosyaları bulabilirsiniz.