Azure Data Factory ile LastModifiedDate tarafından yeni ve değiştirilmiş dosyaları kopyalama

Makale
05/15/2024

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

İpucu

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Bu makalede, yeni ve değiştirilmiş dosyaları yalnızca LastModifiedDate tarafından dosya tabanlı bir depodan hedef depoya kopyalamak için kullanabileceğiniz bir çözüm şablonu açıklanmaktadır.

Bu çözüm şablonu hakkında

Bu şablon önce yeni ve değiştirilmiş dosyaları yalnızca LastModifiedDate öznitelikleriyle seçer ve ardından bu seçili dosyaları veri kaynağı deposundan veri hedef deposuna kopyalar.

Şablon bir etkinlik içerir:

Yeni ve değiştirilmiş dosyaları yalnızca LastModifiedDate tarafından bir dosya deposundan hedef depoya kopyalamak için kopyalayın .

Şablon altı parametre tanımlar:

FolderPath_Source, dosyaları kaynak depodan okuyabileceğiniz klasör yoludur. Varsayılan değeri kendi klasör yolunuzla değiştirmeniz gerekir.
Directory_Source, dosyaları kaynak depodan okuyabileceğiniz alt klasör yoludur. Varsayılan değeri kendi alt klasör yolunuzla değiştirmeniz gerekir.
FolderPath_Destination, dosyaları hedef depoya kopyalamak istediğiniz klasör yoludur. Varsayılan değeri kendi klasör yolunuzla değiştirmeniz gerekir.
Directory_Destination, hedef depoya dosya kopyalamak istediğiniz alt klasör yoludur. Varsayılan değeri kendi alt klasör yolunuzla değiştirmeniz gerekir.
LastModified_From, LastModifiedDate özniteliği bu tarih saat değerinden sonra veya buna eşit olan dosyaları seçmek için kullanılır. Yalnızca son kez kopyalanmamış yeni dosyaları seçmek için, bu tarih saat değeri işlem hattının son tetiklendiği zaman olabilir. '2019-02-01T00:00:00Z' varsayılan değerini UTC saat diliminde beklenen LastModifiedDate değeriyle değiştirebilirsiniz.
LastModified_To, LastModifiedDate özniteliği bu tarih saat değerinden önce olan dosyaları seçmek için kullanılır. Yalnızca önceki çalıştırmalarda kopyalanmayan yeni dosyaları seçmek için bu tarih saat değeri geçerli saat olabilir. '2019-02-01T00:00:00Z' varsayılan değerini UTC saat diliminde beklenen LastModifiedDate değeriyle değiştirebilirsiniz.

Bu çözüm şablonunu kullanma

Azure Data Factory'deki Yazar sekmesinden Şablon Galerisi'ne gidin, ardından düğmeyi, İşlem Hattı'nı +ve son olarak Şablon Galerisi'ni seçin.
Şablonu arayın Yeni dosyaları yalnızca LastModifiedDate ile kopyalayın, seçin ve ardından Devam'ı seçin.
Hedef deponuza yeni bir bağlantı oluşturun. Hedef depo, dosyaları kopyalamak istediğiniz yerdir.
Kaynak depolama deponuza yeni bir bağlantı oluşturun. Kaynak depolama deposu, dosyaları kopyalamak istediğiniz yerdir.
Bu şablonu kullan'ı seçin.
İşlem hattının aşağıdaki örnekte gösterildiği gibi panelde kullanılabilir olduğunu görürsünüz:
Hata Ayıkla'yı seçin, Parametreler için değeri yazın ve Son'u seçin. Aşağıdaki resimde, parametreleri aşağıdaki gibi ayarlayacağız.
- FolderPath_Source = kaynak klasör
- Directory_Source = alt klasör
- FolderPath_Destination = hedef klasör
- Directory_Destination = alt klasör
- LastModified_From = 2019-02-01T00:00:00Z
- LastModified_To = 2019-03-01T00:00:00Z
Örnek, zaman aralığı içinde en son değiştirilen dosyaların (2019-02-01T00:00:00Z - 2019-03-01T00:00:00Z) kaynak yol kaynak klasöründen/alt klasöründen hedef yol hedef klasörüne/alt klasörüne kopyalanacağıdır. Bu saatleri veya klasörleri kendi parametrelerinizle değiştirebilirsiniz.
Sonucu gözden geçirin. Yalnızca yapılandırılan zaman aralığı içinde en son değiştirilen dosyaların hedef depoya kopyalendiğini görürsünüz.
Artık bu işlem hattını otomatikleştirmek için atlayan bir pencere tetikleyicisi ekleyebilirsiniz, böylece işlem hattı her zaman yeni ve değiştirilmiş dosyaları yalnızca LastModifiedDate tarafından düzenli aralıklarla kopyalayabilir. Tetikleyici ekle'yi ve ardından Yeni/Düzenle'yi seçin.
Tetikleyici Ekle penceresinde + Yeni'yi seçin.
Tetikleyici türü için Atlayan Pencere'yi seçin, Her 15 dakikada bir'i yinelenme olarak ayarlayın (herhangi bir aralık süresine değiştirebilirsiniz). Etkinleştirildi kutusu için Evet'i ve ardından Tamam'ı seçin.
Tetikleyici Çalıştırma Parametrelerinin değerini aşağıdaki gibi ayarlayın ve Son'u seçin.
- = FolderPath_Source kaynak klasör. öğesini kaynak veri deposundaki klasörünüzle değiştirebilirsiniz.
- = alt klasörü Directory_Source. öğesini kaynak veri deposundaki alt klasörünüzle değiştirebilirsiniz.
- = hedef klasör FolderPath_Destination. öğesini hedef veri deposundaki klasörünüzle değiştirebilirsiniz.
- = alt klasörü Directory_Destination. öğesini hedef veri deposundaki alt klasörünüzle değiştirebilirsiniz.
- = LastModified_From@trigger().outputs.windowStartTime. İşlem hattının son tetiklenme zamanını belirleyen tetikleyiciden alınan bir sistem değişkenidir.
- = LastModified_To@trigger().outputs.windowEndTime. Bu kez işlem hattının tetiklenme zamanını belirleyen tetikleyiciden bir sistem değişkenidir.
Tümünü Yayımla.
Veri kaynağı deponuzun kaynak klasöründe yeni dosyalar oluşturun. Artık işlem hattının otomatik olarak tetiklenip hedef depoya yalnızca yeni dosyaların kopyalanması bekleniyor.
Sol gezinti panelinde İzleyici sekmesini seçin ve tetikleyicinin yinelenme süresi 15 dakikada bir olarak ayarlandıysa yaklaşık 15 dakika bekleyin.
Sonucu gözden geçirin. İşlem hattınızın her 15 dakikada bir otomatik olarak tetiklendiğini ve her işlem hattı çalıştırmasında yalnızca kaynak depodaki yeni veya değiştirilmiş dosyaların hedef depoya kopyaildiğini görürsünüz.