Bir kaynak veri deposundan hedef veri deposuna artımlı olarak veri yükleme

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

İpucu

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

İlk veriler yüklendikten sonra verileri artımlı olarak (veya delta) yükleme senaryosu, veri tümleştirme çözümlerinde sıkça kullanılır. Bu bölümdeki öğreticiler, Azure Data Factory kullanarak artımlı veri yüklemenin farklı yollarını gösterir.

Filigran kullanarak veritabanından delta veri yükleme

Bu durumda, kaynak veritabanında bir filigran tanımlayın. Filigran, en son güncelleştirilen zaman damgası veya artan bir anahtarı olan bir sütundur. Delta yükleme çözümü, eski bir filigran ile yeni bir filigran arasında değiştirilen verileri yükler. Bu yaklaşıma yönelik iş akışı şu diyagramda gösterilmiştir:

Adım adım yönergeler için şu öğreticilere bakın:

• Azure SQL Veritabanı’ndaki bir tablodan Azure Blob depolama Alanı’na artımlı olarak veri kopyalama
• SQL Server örneğindeki birden çok tablodaki verileri artımlı olarak Azure SQL Veritabanı

Şablonlar için aşağıdakilere bakın:

• Denetim tablosuyla delta kopyalama

Değişiklik İzleme teknolojisini kullanarak SQL DB'den delta veri yükleme

Değişiklik İzleme teknolojisi, SQL Server ve Azure SQL Veritabanı’nda bulunan, uygulamalar için verimli bir değişiklik izleme mekanizması sağlayan basit bir çözümdür. Bir uygulamanın eklenen, güncelleştirilen veya silinen verileri kolayca tanımlamasına olanak sağlar.

Bu yaklaşıma yönelik iş akışı şu diyagramda gösterilmiştir:

Adım adım yönergeler için aşağıdaki öğreticiye bakın:

• Değişiklik İzleme teknolojisini kullanarak Azure SQL Veritabanı’ndan Azure Blob depolama alanına artımlı olarak veri kopyalama

Yeni ve değiştirilmiş dosyaları yalnızca LastModifiedDate kullanarak yükleme

Yeni ve değiştirilmiş dosyaları yalnızca LastModifiedDate kullanarak hedef depoya kopyalayabilirsiniz. ADF kaynak depodaki tüm dosyaları tarar, dosya filtresini LastModifiedDate ölçütüne göre uygular ve yalnızca yeni ve güncelleştirilmiş dosyayı hedef depoya son kez kopyalar. ADF'nin çok miktarda dosyayı taramasına izin verirseniz ancak hedefe yalnızca birkaç dosya kopyalarsanız, dosya tarama işlemi nedeniyle bu işlemin yine de uzun süreceğini unutmayın.

Adım adım yönergeler için aşağıdaki öğreticiye bakın:

• LastModifiedDate tabanlı yeni ve değiştirilmiş dosyaları Azure Blob depolamadan Azure Blob depolamaya artımlı olarak kopyalama

Şablonlar için aşağıdakilere bakın:

• LastModifiedDate tarafından yeni dosyaları kopyalama

Yeni dosyaları yalnızca zaman bölümlenmiş klasör veya dosya adı kullanarak yükleme.

Dosya veya klasör adının (örneğin, /y/aa/gg/file.csv) parçası olarak dosya veya klasörlerin zaman dilimi bilgileriyle bölümlenmiş olduğu yeni dosyaları yalnızca kopyalayabilirsiniz. Bu, yeni dosyaları artımlı olarak yüklemek için en yüksek performanslı yaklaşımdır.

Adım adım yönergeler için aşağıdaki öğreticiye bakın:

• Azure Blob depolamadan Azure Blob depolamaya bölümlenmiş zaman klasörüne veya dosya adına göre yeni dosyaları artımlı olarak kopyalama

İlgili içerik

Şu öğreticiye ilerleyin:

Azure SQL Veritabanı’ndaki bir tablodan Azure Blob depolama Alanı’na artımlı olarak veri kopyalama