Aracılığıyla paylaş

Azure'da veri işlem hattı düzenleme teknolojisi seçme

Büyük veri çözümlerinin çoğu, iş akışlarında kapsüllenmiş yinelenen veri işleme işlemlerinden oluşur. İşlem hattı düzenleyici, bu iş akışlarını otomatikleştirmeye yardımcı olan bir araçtır. Düzenleyici işleri zamanlayabilir, iş akışlarını yürütebilir ve görevler arasındaki bağımlılıkları koordine edebilir.

Veri işlem hattı düzenleme seçenekleriniz nelerdir?

Azure'da aşağıdaki hizmetler ve araçlar işlem hattı düzenleme, denetim akışı ve veri taşıma için temel gereksinimleri karşılar:

Bu hizmetler ve araçlar birbirinden bağımsız olarak veya karma çözüm oluşturmak için birlikte kullanılabilir. Örneğin, Azure Data Factory V2'deki Integration Runtime (IR), yönetilen bir Azure işlem ortamında SSIS paketlerini yerel olarak yürütebilir. Bu hizmetler arasında bazı işlevlerde çakışma olsa da, bazı önemli farklar vardır.

Anahtar Seçim Ölçütleri

Seçenekleri daraltmak için şu soruları yanıtlayarak başlayın:

  • Verilerinizi taşımak ve dönüştürmek için büyük veri özelliklerine mi ihtiyacınız var? Genellikle bu, çoklu gigabayt ile terabaytlarca veri anlamına gelir. Evet ise, seçeneklerinizi büyük veriye en uygun olanlarla daraltın.

  • Uygun ölçekte çalışabilen bir yönetilen hizmete ihtiyacınız var mı? Evet ise, yerel işlem gücünüzle sınırlı olmayan bulut tabanlı hizmetlerden birini seçin.

  • Veri kaynaklarınızdan bazıları şirket içinde mi bulunuyor? Evet ise hem bulut hem de şirket içi veri kaynakları veya hedefleriyle çalışabilecek seçenekleri arayın.

  • Kaynak verileriniz HDFS dosya sistemindeki Blob depolamada mı depolanıyor? Bu durumda Hive sorgularını destekleyen bir seçenek belirleyin.

Yetenek matrisi

Aşağıdaki tablolarda, özelliklerdeki temel farklar özetlemektedir.

Genel özellikler

Yetenek Azure Data Factory SQL Server Integration Services (SSIS) HDInsight üzerinde Oozie
Yönetilen Evet Hayır Evet
Bulut tabanlı Evet Hayır (yerel) Evet
Önkoşul Azure Aboneliği SQL Server Azure Aboneliği, HDInsight kümesi
Yönetim araçları Azure Portal, PowerShell, CLI, .NET SDK SSMS, PowerShell Bash kabuk, Oozie REST API, Oozie web arayüzü
Fiyatlandırma Kullanım başına ödeme Lisanslama / özellikler için ödeme HDInsight kümesini çalıştırmaya ek ücret alınmaz

İşlem hattı özellikleri

Yetenek Azure Data Factory SQL Server Integration Services (SSIS) HDInsight üzerinde Oozie
Verileri kopyalama Evet Evet Evet
Özel dönüştürmeler Evet Evet Evet (MapReduce, Pig ve Hive işleri)
Azure Machine Learning puanlaması Evet Evet (komut dosyası ile) Hayır
HDInsight İsteğe Bağlı Evet Hayır Hayır
Azure Batch Evet Hayır Hayır
Pig, Hive, MapReduce Evet Hayır Evet
Kıvılcım Evet Hayır Hayır
SSIS Paketini Yürütme Evet Evet Hayır
Denetim akışı Evet Evet Evet
Şirket içi verilere erişme Evet Evet Hayır

Ölçeklenebilirlik özellikleri

Yetenek Azure Data Factory SQL Server Integration Services (SSIS) HDInsight üzerinde Oozie
Büyütmek Evet Hayır Hayır
Ölçek genişletme Evet Hayır Evet (işçi düğümleri kümeye ekleyerek)
Büyük veriler için iyileştirilmiş Evet Hayır Evet

Katkıda bulunan

Bu makale Microsoft tarafından yönetilir. Başlangıçta aşağıdaki katkıda bulunanlar tarafından yazılmıştır.

Asıl yazar:

Sonraki adımlar