Azure Data Factory ve Azure Synapse Analytics'te veri yakalamayı değiştirme

  • Makale

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

Bahşiş

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Bu makalede, Azure Data Factory'de değişiklik veri yakalama (CDC) açıklanmaktadır.

Daha fazla bilgi edinmek için bkz . Azure Data Factory'ye genel bakış veya Azure Synapse'e genel bakış.

Genel Bakış

Bulutta veri tümleştirmesi ve ETL işlemleri gerçekleştirdiğinizde, her çalıştırmada her zaman bir veri kümesinin tamamını sorgulamak yerine, işlem hattı son çalıştırıldığından bu yana değişen kaynak verileri okuduğunuzda işleriniz daha iyi ve daha etkili olabilir. ADF, yalnızca son çalıştırmadan delta verilerini kolayca almanız için birden çok farklı yol sağlar.

Veri Yakalama fabrika kaynağını değiştirme

CDC ile veri fabrikasına başlamanın en kolay ve en hızlı yolu, fabrika düzeyinde Değişiklik Verileri Yakalama kaynağından geçmektir. Ana işlem hattı tasarımcısında Fabrika Kaynakları'nın altında Yeni'ye tıklayarak yeni bir Değişiklik VeriSi Yakalama oluşturun. CDC fabrika kaynağı, kaynaklarınızı ve hedeflerinizi seçebileceğiniz, isteğe bağlı dönüştürmeler uygulayabileceğiniz ve ardından başlat'a tıklayarak veri yakalama işleminizi başlatabileceğiniz bir yapılandırma kılavuzu deneyimi sağlar. CDC kaynağıyla işlem hatları veya veri akışı etkinlikleri tasarlamanız gerekmez. Ayrıca, verileriniz işlenirken yalnızca dört Genel Amaçlı veri akışı çekirdeği için faturalandırılırsınız. ADF'nin uyanıp değiştirilen verileri aramak için kullanacağı tercih edilen bir gecikme süresi ayarlayabilirsiniz. Faturalandırılacağın tek zaman bu. En üst düzey CDC kaynağı, işlemlerinizi sürekli olarak çalıştırmaya yönelik ADF yöntemidir. ADF'deki işlem hatları yalnızca toplu işlem hattıdır, ancak CDC kaynağı sürekli olarak çalıştırılabilir.

Eşleme veri akışında yerel değişiklik verisi yakalama

Eklenen, güncelleştirilen ve silinen satırlar da dahil olmak üzere değiştirilen veriler, kaynak veritabanlarından ADF eşleme veri akışı tarafından otomatik olarak algılanabilir ve ayıklanabilir. Veritabanlarında yerel değişiklik veri yakalama teknolojisini kullandığından değişiklikleri tanımlamak için zaman damgası veya kimlik sütunu gerekmez. Bir kaynak dönüştürmeyi ve havuz dönüştürme başvurularını eşleme veri akışındaki bir veritabanı veri kümesine zincirleyerek, kaynak veritabanında yapılan değişikliklerin hedef veritabanına otomatik olarak uygulanacağını görebilirsiniz, böylece verileri iki tablo arasında kolayca eşitleyebilirsiniz. Ayrıca, delta verilerini işlemek için herhangi bir iş mantığı için arasında herhangi bir dönüştürme ekleyebilirsiniz. Havuz veri hedefinizi tanımlarken, ADF satır oluşturucuları otomatik olarak algılayabildiği için Satır Değiştirme dönüştürmesine gerek kalmadan havuzunuzda ekleme, güncelleştirme, upsert ve silme işlemlerini ayarlayabilirsiniz.

Desteklenen bağlayıcılar

Eşleme veri akışında otomatik artımlı ayıklama

Yeni güncelleştirilen satırlar veya güncelleştirilmiş dosyalar, kaynak depolardan ADF eşleme veri akışı tarafından otomatik olarak algılanabilir ve ayıklanabilir. Veritabanlarından delta verileri almak istediğinizde, değişiklikleri tanımlamak için artımlı sütun gerekir. Yeni dosyaları veya güncelleştirilmiş dosyaları yalnızca bir depolama deposundan yüklemek istediğinizde, ADF eşleme veri akışı yalnızca dosyaların son değiştirme zamanı boyunca çalışır.

Desteklenen bağlayıcılar

İşlem hattında müşteri tarafından yönetilen delta veri ayıklama

Dış denetim tablosunda depolanan filigran değerini almak için arama etkinliğini kullanma, değişiklik verilerini zaman damgası veya kimlik sütununa göre sorgulamak için kopyalama etkinliği veya eşleme veri akışı etkinliği ve sonraki çalıştırma için dış denetim tablonuza yeni filigran değerini geri yazmak için SP etkinliği dahil olmak üzere, her zaman ADF tarafından desteklenen tüm veri depoları için kendi delta veri ayıklama işlem hattınızı oluşturabilirsiniz. Yalnızca bir depolama deposundan yeni dosyalar yüklemek istediğinizde, dosyalar hedefe başarıyla taşındıktan sonra her seferinde silebilir veya yeni dosyaları tanımlamak için bölümlenmiş klasör veya dosya adlarından veya son değiştirme zamanından yararlanabilirsiniz.

En İyi Uygulamalar

Veritabanlarından veri yakalamayı değiştirme

  • Yerel değişiklik verilerini yakalama, değişiklik verilerini almanız için her zaman en basit yol olarak önerilir. Ayrıca, ADF değişiklik verilerini daha fazla işlenmek üzere ayıkladığında kaynak veritabanınıza çok daha az yük getirir.
  • Veritabanı depolarınız yerel değişiklik veri yakalama desteğine sahip ADF bağlayıcısı listesinin parçası değilse, değişiklikleri yakalamak için yalnızca artımlı sütun girmeniz gereken otomatik artımlı ayıklama seçeneğini denetlemenizi öneririz. ADF, değişiklik yükleme için dinamik sorgu oluşturma ve her etkinlik çalıştırması için denetim noktasını yönetme dahil olmak üzere gerisini halleder.
  • İşlem hattında müşteri tarafından yönetilen delta veri ayıklama, ADF tarafından desteklenen tüm veritabanlarını kapsar ve size her şeyi kendiniz denetleme esnekliği sağlar.

Dosya tabanlı depolamalardan dosya yakalamayı değiştirme

  • Azure Blob Depolama, Azure Data Lake Storage 2. Nesil veya Azure Data Lake Storage 1. Nesil'dan veri yüklemek istediğinizde, eşleme veri akışı size yalnızca tek bir tıklamayla yeni veya güncelleştirilmiş dosyaları alma fırsatı sağlar. Eşleme veri akışında bu dosya tabanlı depolamalardan delta yükü elde etmenin en basit ve önerilen yoludur.
  • Daha fazla en iyi deneyim elde edebilirsiniz.

Checkpoint

ADF eşleme veri akışında yerel değişiklik verileri yakalamayı veya otomatik artımlı ayıklama seçeneklerini etkinleştirdiğinizde, ADF her etkinlik çalıştırmasının yalnızca işlem hattı son çalıştırıldığından bu yana değişen kaynak verileri otomatik olarak okuyacağından emin olmak için denetim noktasını yönetmenize yardımcı olur. Varsayılan olarak, denetim noktası işlem hattınızla ve etkinlik adınızla ilişkilendirilir. İşlem hattı adınızı veya etkinlik adınızı değiştirirseniz denetim noktası sıfırlanır ve bu da sizi baştan başlamanıza veya bir sonraki çalıştırmada değişiklikler almanıza neden olur. İşlem hattı adını veya etkinlik adını değiştirmek ancak son çalıştırmadan otomatik olarak değiştirilen verileri almak için denetim noktasını yine de tutmak istiyorsanız, bunu yapmak için lütfen veri akışı etkinliğinde kendi Denetim Noktası anahtarınızı kullanın. Kendi denetim noktası anahtarınızın adlandırma kuralı bağlı hizmetler, veri kümeleri, işlem hatları ve veri akışlarıyla aynıdır.

İşlem hattında hata ayıkladığınızda, bu özellik aynı şekilde çalışır. Hata ayıklama çalıştırması sırasında tarayıcınızı yenilediğinizde denetim noktası sıfırlanır. Hata ayıklama çalıştırmasından elde edilen işlem hattı sonucundan memnun olduktan sonra işlem hattını yayımlamaya ve tetikleme işlemine geçebilirsiniz. Yayımlanan işlem hattınızı ilk tetiklediğiniz anda, başlangıçtan itibaren otomatik olarak yeniden başlatılır veya bundan sonra değişiklikler alır.

İzleme bölümünde her zaman bir işlem hattını yeniden çalıştırma şansınız olur. Bunu yaparken, değiştirilen veriler her zaman seçili işlem hattı çalıştırmanızın önceki denetim noktasından yakalanır.

Öğreticiler

Aşağıda, Azure Data Factory ve Azure Synapse Analytics'te değişiklik verilerini yakalamayı başlatma öğreticileri yer alır.

Şablonlar

Aşağıda, Azure Data Factory ve Azure Synapse Analytics'te değişiklik verilerini yakalamayı kullanmaya yönelik şablonlar yer alır.

İlgili içerik