Veri fabrikası işlem hatlarıyla çalışma
Veri fabrikası işlem hatlarıyla çalışmak için Azure Data Factory'de işlem hattının ne olduğunu anlamak zorunludur.
Azure Data Factory'deki işlem hattı, etkinliklerin birlikte belirli bir görevi gerçekleştirdiği mantıksal bir etkinlik grubunu temsil eder.
Bir işlem hattındaki etkinliklerin bir birleşimine örnek olarak günlük verilerinin alınması ve temizlenmesi, temizlenen günlük verilerini analiz eden bir eşleme veri akışı ile birlikte gerçekleştirilebilir.
İşlem hattı, ayrı ayrı etkinlikleri bir küme olarak yönetmenize olanak tanır; aksi takdirde tek tek yönetilir. Tek bir işlem hattı kullanarak etkinlikleri verimli bir şekilde dağıtmanıza ve zamanlamanıza ve her etkinliği bağımsız olarak yönetmenize olanak tanır.
İşlem hattındaki etkinlikler, verileriniz üzerinde gerçekleştirdiğiniz eylemler olarak adlandırılır. Bir etkinliğin sıfır veya sıfırdan çok giriş veri kümesi olabilir ve her etkinlik bir veya birden çok çıkış veri kümesi oluşturabilir.
Bir eyleme örnek olarak, bir Azure SQL Veritabanı Azure DataLake Depolama 2. Nesil'e veri kopyaladığınız kopyalama etkinliği kullanılabilir. Bu örneği temel almak için, verilerin Azure Synapse Analytics'teki gibi iş zekası raporlama çözümleri için hazır olmasını sağlamak amacıyla Azure Data Lake Storage 2. Nesil hesabınıza kopyalanan verileri işlemek ve dönüştürmek için veri akışı etkinliğini veya Azure Databricks Not Defteri etkinliğini kullanabilirsiniz.
Azure Data Factory'deki bir işlem hattında mümkün olan birçok etkinlik olduğundan, etkinlikleri üç kategoride gruplandırdık:
- Veri taşıma etkinlikleri: Data Factory'deki Kopyalama Etkinliği, verileri bir kaynak veri deposundan havuz veri deposuna kopyalar.
- Veri dönüştürme etkinlikleri: Azure Data Factory, Veri Akışı, Azure İşlevi, Spark gibi işlem hatlarına tek tek veya başka bir etkinlikle zincirleme olarak eklenebilen dönüştürme etkinliklerini destekler.
- Denetim etkinlikleri: Denetim akışı etkinliklerine örnek olarak 'get metadata', 'For Each' ve 'Execute Pipeline' verilebilir.
Etkinlikler birbirine bağlı olabilir. Demek istediğimiz, etkinlik bağımlılığının sonraki etkinliklerin önceki etkinliklere nasıl bağımlı olduğunu tanımlamasıdır. Bağımlılığın kendisi, bir görevi tamamlamak için önceki tanımlı etkinliklerin yürütülmesine devam edilip edilmeyeceğine ilişkin bir koşula dayanabilir. Önceki bir veya daha fazla etkinliğe bağlı olan bir etkinlik farklı bağımlılık koşullarına sahip olabilir.
Dört bağımlılık koşulu şunlardır:
- Başarılı Oldu
- Başarısız oldu
- Atlandı
- Tamamlandı
Örneğin, bir işlem hattının Etkinlik A'sı varsa ve ardından Etkinlik B ve Etkinlik B'nin 'Başarılı' Etkinliğinde bağımlılık koşulu olarak varsa, Etkinlik B yalnızca Etkinlik A'nın durumu başarılı ise çalışır.
Bir işlem hattında birden fazla etkinlik varsa ve sonraki etkinlikler önceki etkinliklere bağımlı değilse, etkinlikler paralel olarak çalışabilir.