Azure Data Factory bileşenlerini anlama
Bir Azure aboneliğinde bir veya daha fazla Azure Data Factory örneği olabilir. Azure Data Factory dört temel bileşenden oluşur. Bu bileşenler, üzerinde veri taşıma ve dönüştürme adımları ile veri odaklı iş akışları oluşturabileceğiniz platformu sağlamak üzere birlikte çalışır.
Data Factory, Bağlı Hizmet olarak bilinen bir nesne oluşturarak bağlanabileceğiniz çok çeşitli veri kaynaklarını destekler ve bu sayede verileri dönüştürme ve/veya analiz için hazırlamaya hazır durumdaki bir veri kaynağından veri alabilirsiniz. Ayrıca Bağlı Hizmetler, işlem hizmetlerini isteğe bağlı olarak çalıştırabilir. Örneğin, yalnızca bir Hive sorgusu aracılığıyla veri işleme amacıyla isteğe bağlı HDInsight kümesi başlatma gereksiniminiz olabilir. Bu nedenle Bağlı Hizmetler, veri almak ve hazırlamak için gereken veri kaynaklarını veya işlem kaynağını tanımlamanızı sağlar.
Bağlı hizmet tanımlandığında, Azure Data Factory bir Datasets nesnesi oluşturarak kullanması gereken veri kümelerini algılar . Veri kümeleri, Bağlı Hizmet nesnesi tarafından başvurulmakta olan veri deposu içindeki veri yapılarını temsil eder. Veri kümeleri, Etkinlik olarak bilinen bir ADF nesnesi tarafından da kullanılabilir.
Etkinlikler genellikle Azure Data Factory'nin çalışmasının dönüştürme mantığını veya analiz komutlarını içerir. Etkinlikler, çeşitli veri kaynaklarından veri almak için kullanılabilecek Kopyalama Etkinliğini içerir. Kodsuz veri dönüştürmeleri gerçekleştirmek için Eşleme Veri Akışı de içerebilir. Verileri dönüştürmek için saklı yordamın, Hive Sorgusunun veya Pig betiğinin yürütülmesini de içerebilir. Analiz gerçekleştirmek için bir Machine Learning modeline veri gönderebilirsiniz. SQL saklı yordamı kullanarak verileri dönüştürmeyi ve ardından Databricks ile analiz gerçekleştirmeyi içerebilecek birden çok etkinliğin gerçekleştirilmesi yaygın bir durum değildir. Bu durumda, birden çok etkinlik mantıksal olarak İşlem Hattı olarak adlandırılan bir nesneyle birlikte gruplandırılabilir ve bunlar yürütülmek üzere zamanlanabilir veya işlem hattı yürütmenin ne zaman başlatılacağına karar veren bir tetikleyici tanımlanabilir. Farklı etkinlik türleri için farklı tetikleyici türleri vardır.
Denetim akışı , işlem hattını isteğe bağlı olarak veya tetikleyiciden çağırırken sıralı zincirleme etkinlikleri, dallanma, işlem hattı düzeyinde parametre tanımlama ve bağımsız değişkenleri geçirme gibi işlem hattı etkinliklerinin düzenlemesidir. Ayrıca özel durum geçirme ve döngü kapsayıcıları ile Her yineleyici için içerir.
Parametreler , salt okunur yapılandırmanın anahtar-değer çiftleridir. Parametreler işlem hattında tanımlanır. Tanımlı parametrelerin bağımsız değişkenleri, bir tetikleyici tarafından oluşturulan çalıştırma bağlamı veya el ile yürütülen işlem hattından yürütme sırasında geçirilir. İşlem hattındaki etkinlikler parametre değerlerini kullanır.
Azure Data Factory' nin etkinlik ve bağlı Hizmetler nesneleri arasında köprü oluşturmasını sağlayan bir tümleştirme çalışma zamanı vardır. Bağlı hizmet tarafından başvurulur ve etkinliği çalıştığı veya dağıtıldığı işlem ortamını sağlar. Bu şekilde etkinlik mümkün olan en yakın bölgede gerçekleştirilebilir. Azure, Şirket içinde barındırılan ve Azure-SSIS dahil olmak üzere üç tür Integration Runtime vardır.
Tüm çalışmalar tamamlandıktan sonra Data Factory'yi kullanarak son veri kümesini Power BI veya Machine Learning gibi teknolojiler tarafından kullanılabilecek başka bir bağlı hizmete yayımlayabilirsiniz.