Azure Data Factory ile veri tümleştirme çözümü tasarlama

Tamamlandı

Azure Data Factory , veri temelli iş akışları oluşturmanıza ve zamanlamanıza yardımcı olabilecek bulut tabanlı bir veri tümleştirme hizmetidir. Azure Data Factory'yi kullanarak büyük ölçekte veri taşıma ve dönüştürme işlemlerini düzenleyebilirsiniz. Veri temelli iş akışları veya işlem hatları, farklı veri depolarından veri alır. Azure Data Factory, ayıklama, dönüştürme ve yükleme anlamına gelen bir ETL veri tümleştirme işlemidir. Bu tümleştirme işlemi, birden çok veri kaynağındaki verileri tek bir veri deposunda birleştirir.

Azure Data Factory hakkında bilinmesi gerekenler

Azure Data Factory mimarisinde veri temelli iş akışı oluşturmak ve uygulamak için dört önemli adım vardır:

1. Bağlanın ve toplayın. İlk olarak, farklı kaynaklardan tüm verileri merkezi bir konuma toplamak için verileri alın.
2. Dönüştürün ve zenginleştirin. Ardından Azure Databricks ve Azure HDInsight Hadoop gibi bir işlem hizmeti kullanarak verileri dönüştürün.
3. Sürekli tümleştirme ve teslim (CI/CD) sağlama ve yayımlama. Verileri analiz altyapısında yayımlamadan önce ETL işlemini artımlı olarak sunmak için GitHub ve Azure Pipelines'ı kullanarak CI/CD'yi destekleyin.
4. İzleyici'ye tıklayın. Son olarak, zamanlanmış etkinlikler ve hatalar için işlem hattını izlemek için Azure portalını kullanın.

Aşağıdaki diyagramda Azure Data Factory'nin farklı veri kaynaklarından veri alımını nasıl düzenlemesi gösterilmektedir. Veriler bir Depolama blobuna alınır ve Azure Synapse Analytics'te depolanır. Analiz ve görselleştirme bileşenleri de Azure Data Factory'ye bağlanır. Azure Data Factory, tüm veri tümleştirme gereksinimleriniz için ortak bir yönetim arabirimi sağlar.

Azure Data Factory bileşenleri

Azure Data Factory, veri taşıma ve veri tümleştirme platformu sağlamak için birlikte çalışan aşağıdaki bileşenlere sahiptir.

• İşlem hatları ve etkinlikler: İşlem hatları, bir görevi gerçekleştiren etkinliklerin mantıksal bir gruplandırması sağlar. Etkinlik, işlem hattındaki tek bir işlem adımıdır. Azure Data Factory veri taşıma, veri dönüştürme ve denetim etkinliklerini destekler.
• Veri kümeleri: Veri kümeleri, veri depolarınızın içindeki veri yapılarıdır.
• Bağlı hizmetler: Bağlı hizmetler, Azure Data Factory'nin dış kaynaklara bağlanması için gereken bağlantı bilgilerini tanımlar.
• Veri akışları: Veri akışları, veri mühendislerinin kod yazmadan veri dönüştürme mantığı geliştirmesine olanak tanır. Veri akışı etkinlikleri mevcut Azure Data Factory zamanlama, denetim, akış ve izleme özellikleri kullanılarak kullanıma hazır hale getirilebilir.
• Tümleştirme çalışma zamanları: Tümleştirme çalışma zamanları, etkinlik ve bağlı Hizmetler nesneleri arasındaki köprülerdir. Üç tür tümleştirme çalışma zamanı vardır: Azure, şirket içinde barındırılan ve Azure-SSIS.

İş senaryosu

Tailwind Traders gibi hızla büyüyen bir ev geliştirme perakendecisi için önemli bir zorluk, hem bulutta hem de şirket içinde ilişkisel, ilişkisel olmayan ve diğer depolama sistemlerinde depolanan yüksek hacimli veriler üretmesidir. Yönetim, bu verilerden mümkün olduğunca gerçek zamanlı olarak eyleme dönüştürülebilir iş içgörüleri istiyor. Buna ek olarak, satış ekibi satış ve çapraz satış çözümleri ayarlamak ve piyasaya çıkarmak istiyor. Bulutta nasıl büyük ölçekli bir veri alımı çözümü oluşturabilirsiniz? Çeşitli veri depoları ve işlem kaynakları arasında verilerin taşınmasına ve dönüştürülmesine yardımcı olmak için hangi Azure hizmetlerini ve çözümlerini benimsemeniz gerekir?

Şimdi Azure Data Factory bileşenlerinin Tailwind Traders için veri hazırlama ve taşıma senaryosuna nasıl dahil olduğunu gözden geçirelim. Bağlanmak için birçok farklı veri kaynağı vardır ve bu verilerin veri üzerinde çalıştırılan saklı yordamlar aracılığıyla alınması ve dönüştürülmesi gerekir. Son olarak veriler analiz için bir analiz platformuna gönderilmelidir.

• Bu senaryoda bağlı hizmet, Tailwind Traders'ın farklı kaynaklardan veri almalarına olanak tanır ve işlem hizmetlerini isteğe bağlı olarak çalıştıracak bağlantı dizesi depolar.
• Tailwind Traders'ın tümleştirme çalışma zamanı ortamı olan Azure-SSIS'de bağlı hizmet aracılığıyla gerçekleşen veri dönüşümü için saklı yordamlar yürütebilirsiniz.
• Veri kümesi bileşenleri etkinlik nesnesi tarafından kullanılır ve etkinlik nesnesi dönüştürme mantığını içerir.
• Birlikte gruplandırılmış tüm etkinlikler olan işlem hattını tetikleyebilirsiniz.
• Power BI veya Machine Learning gibi teknolojiler tarafından kullanılan son veri kümesini yayımlamak için Azure Data Factory'yi kullanabilirsiniz.

Azure Data Factory kullanırken dikkat edilmesi gerekenler

Azure Data Factory'yi aşağıdaki karar ölçütlerine göre değerlendirin ve hizmetin Tailwind Traders için veri tümleştirme çözümünüzden nasıl yararlanabileceğini göz önünde bulundurun.

• Veri tümleştirme gereksinimlerini göz önünde bulundurun. Azure Data Factory iki topluluğa hizmet eder: büyük veri topluluğu ve SQL Server Integration Services (SSIS) kullanan ilişkisel veri ambarı topluluğu. Kuruluşunuzun veri gereksinimlerine bağlı olarak Azure Data Factory'yi kullanarak bulutta işlem hatları ayarlayabilirsiniz. Verilere hem bulut hem de şirket içi veri hizmetlerinden erişebilirsiniz.
• Kaynakları kodlamayı göz önünde bulundurun. İşlem hatlarını ayarlamak için grafik arabirim tercih ediyorsanız Azure Data Factory yazma ve izleme aracı ihtiyaçlarınıza en uygun araçtır. Azure Data Factory, veri kaynaklarıyla çalışmak için düşük kod/kod yok işlemi sağlar.
• Birden çok veri kaynağı için desteği göz önünde bulundurun. Azure Data Factory, farklı veri kaynaklarıyla tümleştirmek için 90'ın üzeri bağlayıcıyı destekler.
• Sunucusuz altyapıyı göz önünde bulundurun. Veri tümleştirmesi için tam olarak yönetilen, sunucusuz bir çözüm kullanmanın avantajları vardır. Sunucuları korumanıza, yapılandırmanıza veya dağıtmanıza gerek yoktur ve dalgalı iş yükleriyle ölçeklendirme olanağı elde edebilirsiniz.