Azure Data Factory'i anlama
Verilerin toplu hareketini tetikleme veya düzenli bir zamanlama ayarlama gereksinimi, çoğu analiz çözümü için bir gereksinimdir. Azure Data Factory (ADF), böyle bir gereksinimi yerine getirmek için kullanılabilecek bir hizmettir. ADF, çeşitli veri depoları ve işlem kaynakları arasında veri taşıma ve dönüştürme işlemlerini düzenleyen bulut tabanlı bir veri tümleştirme hizmeti sağlar.
Azure Data Factory, büyük ölçekte veri taşıma ve dönüştürme işlemleri için veri odaklı iş akışları oluşturmanıza olanak tanıyan bulut tabanlı ETL ve veri tümleştirme hizmetidir. Azure Data Factory platformunu kullanarak farklı veri depolarından veri alabilen veri odaklı iş akışları (işlem hattı olarak adlandırılır) oluşturabilir ve zamanlayabilirsiniz. Veri akışlarıyla veya Azure HDInsight Hadoop, Azure Databricks ve Azure Synapse Analytics gibi işlem hizmetlerini kullanarak verileri görsel olarak dönüştüren karmaşık ETL işlemleri oluşturabilirsiniz.
Azure Data Factory'nin işlevlerinin çoğu Azure Synapse Analytics'te İşlem Hatları olarak adlandırılan ve SQL Havuzları, Spark Havuzları ve SQL Sunucusuz arasında veri işlem hatlarını tümleştirmenize olanak tanıyan ve tüm analiz gereksinimleriniz için tek bir mağaza sağlayan bir özellik olarak görünür.
Düzenlemenin anlamı
Benzetme yapmak için bir senfoni orkestrası düşünün. Orkestranın merkezi üyesi şeftir. Orkestra şefi enstrümanları çalmaz, sadece senfoni üyelerini, gerçekleştirdikleri tüm müzik parçası boyunca yönlendirir. Müzisyenler, senfoninin çeşitli aşamalarında belirli sesler üretmek için kendi becerilerini kullanırlar, bu nedenle müziğin yalnızca belirli kısımlarını öğrenebilirler. Orkestra şefi, müziğin tamamını düzenler ve bu nedenle gerçekleştirilmekte olan puanın tamamının farkındadır. Ayrıca müzisyenlere bir parça müziğin nasıl çalınması gerektiğiyle ilgili yönergeler sağlayan belirli kol hareketlerini de kullanacaktır.
ADF de benzer bir yaklaşım kullanabilir, ancak verileri alma ve dönüştürmeye yönelik yerel işlevlere sahip olsa da, bazen başka bir hizmete dönüştürme sorgusu yürütmek için Databricks gibi kendi adına gereken fiili işi gerçekleştirmesini bildirir. Bu durumda, ADF'yi değil, işi gerçekleştiren Databricks olacaktır. ADF yalnızca sorgunun yürütülmesini düzenler ve ardından verileri sonraki adıma veya hedefe taşımak için işlem hatlarını sağlar.
Ayrıca, veri işlem hatlarınız arasındaki çizgileri ve bağımlılıkları gösteren ve sorunları kolayca saptamak ve izleme uyarılarını ayarlamak üzere tek bir birleşik görünümden tüm veri işlem hatlarınızı izleyen zengin görsel öğeler sağlar.
