Aracılığıyla paylaş

Dinamik parametrelerle verileri saatlik olarak kopyalama ve dönüştürme

  • Makale

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

İpucu

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Bu senaryoda, AWS S3'ten Azure Blob depolamaya veri kopyalamak ve Azure Databricks ile (betikteki dinamik parametrelerle) her gün 30 günde 8 saat saatlik bir zamanlamaya dönüştürmek istiyorsunuz.

Aşağıdaki örnekte kullanılan fiyatlar varsayımsaldır ve tam olarak gerçek fiyatlandırmayı ima etmeye yönelik değildir. Okuma/yazma ve izleme maliyetleri genellikle göz ardı edilebilir olduğundan ve genel maliyetleri önemli ölçüde etkilemeyeceğinden gösterilmez. Etkinlik çalıştırmaları, fiyatlandırma hesaplayıcı tahminlerinde de en yakın 1000'e yuvarlanmış durumdadır.

Daha belirli senaryolar ve hizmeti kullanmak için gelecekteki maliyetlerinizi tahmin etmek için Azure Fiyatlandırma Hesaplayıcısı'na bakın.

Yapılandırma

Senaryoyu gerçekleştirmek için aşağıdaki öğelerle bir işlem hattı oluşturmanız gerekir:

  • Azure depolama alanındaki verilerin çıkış veri kümesi olan AWS S3'ten kopyalanacak verilerin giriş veri kümesiyle bir kopyalama etkinliği.
  • Parametreleri dönüştürme betiğine dinamik olarak geçirmek için bir Arama etkinliği.
  • Veri dönüştürme için bir Azure Databricks etkinliği.
  • İşlem hattını günde 8 saat boyunca saatte bir yürütmek için bir zamanlama tetikleyicisi. İşlem hattını çalıştırmak istediğinizde, işlem hattını hemen tetikleyebilir veya zamanlayabilirsiniz. İşlem hattının kendisine ek olarak, her tetikleyici örneği tek bir Etkinlik çalıştırması olarak sayılır.

Diyagramda zamanlama tetikleyicisi olan bir işlem hattı gösterilir. İşlem hattında etkinlik akışlarını bir giriş veri kümesine, çıkış veri kümesine ve Azure Databricks üzerinde çalışan databricks etkinliğine akan arama etkinliğine kopyalayın. Giriş veri kümesi bir AWS S3 bağlı hizmetine akar. Çıkış veri kümesi bir Azure Depolama bağlı hizmetine akar.

Maliyet tahmini

Operations Türler ve Birimler
İşlem Hattını Çalıştır 4 Yürütme başına etkinlik çalıştırmaları (tetikleyici çalıştırması için 1, etkinlik çalıştırmaları için 3) = 960 etkinlik çalıştırması, hesap makinesi yalnızca 1000'lik artışlara izin verdiğinden yukarı yuvarlandı.
Veri Kopyalama Varsayımı: Yürütme başına DIU saati = 10 dk 10 dk \ 60 dk * 4 Azure Integration Runtime (varsayılan DIU ayarı = 4) Veri tümleştirme birimleri ve kopyalama performansını iyileştirme hakkında daha fazla bilgi için bu makaleye bakın
Arama etkinliğini yürütme Varsayımı: yürütme başına işlem hattı etkinlik saatleri = 1 dk 1 dk / 60 dk İşlem Hattı Etkinliği yürütme
Databricks etkinliğini yürütme Varsayımı: Yürütme başına dış yürütme saatleri = 10 dk 10 dk / 60 dk Dış İşlem Hattı Etkinliği yürütme

Fiyatlandırma örneği: Fiyatlandırma hesaplayıcısı örneği

30 günlük toplam senaryo fiyatlandırması: 41,03 ABD doları

Dinamik parametreler senaryosuyla veri kopyalama ve dönüştürme için yapılandırılan fiyatlandırma hesaplayıcısının ekran görüntüsü.

İlgili içerik