Bir kaynak veri deposundan hedef veri deposuna artımlı olarak veri yükleme

ŞUNLARA UYGULANIR: Azure Data Factory Azure Synapse Analytics

İpucu

Verileri taşımanın kolay bir yolunu mu arıyorsunuz? Microsoft Fabric'teki Copy job, işlem hattı oluşturmadan verileri yüklemek için basit ve ölçeklenebilir bir yol sağlar. Nasıl oluşturacağınızı öğrenin.

İlk veri yüklemesi tamamlandıktan sonra verileri artımlı olarak (veya delta) yükleme senaryosu, veri entegrasyonu çözümünde sıkça kullanılır. Bu bölümdeki öğreticiler, Azure Data Factory kullanarak artımlı veri yüklemenin farklı yollarını gösterir.

Filigran kullanarak veritabanından delta veri yükleme

Bu durumda, kaynak veritabanında bir filigran tanımlayın. Filigran, son güncelleme zaman damgası veya arttırılan anahtarı olan bir sütundur. Delta yükleme çözümü, eski bir filigran ile yeni bir filigran arasında değiştirilen verileri yükler. Bu yaklaşıma yönelik iş akışı şu diyagramda gösterilmiştir:

Adım adım yönergeler için şu öğreticilere bakın:

• Azure SQL Veritabanı’ndaki bir tablodan Azure Blob depolama Alanı’na artımlı olarak veri kopyalama
• SQL Server örneğindeki birden çok tablodaki verileri artımlı olarak Azure SQL Veritabanı'na kopyalama

Şablonlar için aşağıdakilere bakın:

• Denetim tablosuyla delta kopyalama

Değişiklik İzleme teknolojisini kullanarak SQL DB'den delta veri yükleme

Değişiklik İzleme teknolojisi, SQL Server ve Azure SQL Veritabanı’nda bulunan, uygulamalar için verimli bir değişiklik izleme mekanizması sağlayan basit bir çözümdür. Bir uygulamanın eklenen, güncelleştirilen veya silinen verileri kolayca tanımlamasına olanak sağlar.

Bu yaklaşıma yönelik iş akışı şu diyagramda gösterilmiştir:

Adım adım yönergeler için aşağıdaki öğreticiye bakın:

• Değişiklik İzleme teknolojisini kullanarak Azure SQL Veritabanı’ndan Azure Blob depolama alanına artımlı olarak veri kopyalama

Yeni ve değiştirilmiş dosyaları yalnızca LastModifiedDate kullanarak yükleme

Yeni ve değiştirilmiş dosyaları yalnızca LastModifiedDate kullanarak hedef depoya kopyalayabilirsiniz. ADF kaynak depodaki tüm dosyaları tarar, dosya filtresini LastModifiedDate ölçütüne göre uygular ve yalnızca yeni ve güncelleştirilmiş dosyayı hedef depoya son kez kopyalar. ADF'nin çok miktarda dosyayı taramasına izin verirseniz ancak hedefe yalnızca birkaç dosya kopyalarsanız, dosya tarama işlemi nedeniyle bu işlem yine de uzun sürer.

Adım adım yönergeler için aşağıdaki öğreticiye bakın:

• LastModifiedDate tabanlı yeni ve değiştirilmiş dosyaları Azure Blob depolamadan Azure Blob depolamaya artımlı olarak kopyalama

Şablonlar için aşağıdakilere bakın:

• LastModifiedDate tarafından yeni dosyaları kopyalama

Yeni dosyaları yalnızca zaman bölümlenmiş klasör veya dosya adı kullanarak yükleme

Dosya veya klasör adının (örneğin, /y/aa/gg/file.csv) parçası olarak dosya veya klasörlerin zaman dilimi bilgileriyle bölümlenmiş olduğu yeni dosyaları yalnızca kopyalayabilirsiniz. Bu, yeni dosyaları artımlı olarak yüklemek için en yüksek performansa sahip yaklaşımdır.

Adım adım yönergeler için aşağıdaki öğreticiye bakın:

• Zaman bölümlenmiş klasör veya dosya adına göre Azure Blob depolamadan Azure Blob depolamaya yeni dosyaları artımlı olarak kopyala

İlgili içerik

Bir sonraki kılavuza ilerleyin.

Azure SQL Veritabanı’ndaki bir tablodan Azure Blob depolama Alanı’na artımlı olarak veri kopyalama