Aracılığıyla paylaş

Azure Data Factory ve Azure Synapse Analytics'te veri yakalamayı değiştirme

GEÇERLİ OLDUĞU YERLER: Azure Data Factory Azure Synapse Analytics

İpucu

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Bu makalede, Azure Data Factory'de değişiklik veri yakalama (CDC) açıklanmaktadır.

Daha fazla bilgi edinmek için bkz . Azure Data Factory'ye genel bakış veya Azure Synapse'e genel bakış.

Genel bakış

Bulutta veri tümleştirmesi ve ETL işlemleri gerçekleştirdiğinizde, her çalıştırmada her zaman bir veri kümesinin tamamını sorgulamak yerine, yalnızca işlem hattının son çalıştırılışından bu yana değişen kaynak verileri okuduğunuzda işleriniz daha iyi ve daha etkili olabilir. ADF, yalnızca son çalıştırmadan delta verilerini kolayca almanız için birden çok farklı yol sağlar.

Veri Yakalama fabrika kaynağını değiştirme

CDC ile veri fabrikasına başlamanın en kolay ve en hızlı yolu, fabrika düzeyinde Değişiklik Verileri Yakalama kaynağından geçmektir. Ana hat tasarımcısından, Fabrika Kaynakları altında Yeni'yi seçerek yeni bir Veri Değişikliği Yakalama oluşturun. CDC fabrika kaynağı, kaynaklarınızı ve hedeflerinizi seçebileceğiniz, isteğe bağlı dönüştürmeler uygulayabileceğiniz ve ardından veri yakalamaya başlamak için başlat'ı seçebileceğiniz bir yapılandırma kılavuzu deneyimi sağlar. CDC kaynağıyla işlem hatları veya veri akışı etkinlikleri tasarlamanız gerekmez. Ayrıca, verileriniz işlenirken yalnızca dört Genel Amaçlı veri akışı çekirdeği için faturalandırılırsınız. ADF'nin uyanıp değiştirilen verileri aramak için kullandığı tercih edilen bir gecikme süresi ayarlayabilirsiniz. Bu ilk denetim, faturalandırıldığınız tek zamandır. En üst düzey CDC kaynağı, işlemlerinizi sürekli olarak çalıştırmaya yönelik ADF yöntemidir. ADF'deki işlem hatları yalnızca toplu iş modunda çalışır, ancak CDC kaynağı sürekli olarak çalışabilir.

Eşleme veri akışında doğal değişiklik verilerinin yakalanması

ADF eşleme veri akışı, kaynak veritabanlarından eklenen, güncelleştirilen ve silinen satırlar da dahil olmak üzere değiştirilen verileri otomatik olarak algılayabilir ve ayıklayabilir. Veritabanlarında yerel değişiklik veri yakalama teknolojisini kullandığından değişiklikleri tanımlamak için zaman damgası veya kimlik sütunu gerekmez. Bir kaynak dönüşümü ve havuz dönüştürme başvurularını eşleme veri akışındaki bir veritabanı veri kümesine zincirleyerek, kaynak veritabanında yapılan değişikliklerin hedef veritabanına otomatik olarak uygulanacağını görebilirsiniz, böylece verileri iki tablo arasında kolayca eşitleyebilirsiniz. Delta verilerini işlemek için herhangi bir iş mantığına uygun olarak araya dönüştürmeler de ekleyebilirsiniz. Havuz veri hedefinizi tanımlarken, ADF satır oluşturucuları otomatik olarak algılayabildiği için Satır Değiştirme dönüştürmesine gerek kalmadan havuzunuzda ekleme, güncelleştirme, upsert ve silme işlemlerini ayarlayabilirsiniz.

Desteklenen bağlayıcılar

Haritalama veri akışında otomatik artımlı ayıklama

Yeni güncelleştirilen satırlar veya güncelleştirilmiş dosyalar, kaynak depolardan ADF eşleme veri akışı tarafından otomatik olarak algılanabilir ve ayıklanabilir. Veritabanlarından delta verileri almak istediğinizde, değişiklikleri tanımlamak için artımlı sütun gerekir. Yeni dosyaları veya güncelleştirilmiş dosyaları yalnızca bir depolama deposundan yüklemek istediğinizde, ADF eşleme veri akışı yalnızca dosyaların son değiştirme zamanı boyunca çalışır.

Desteklenen bağlayıcılar

Boru hattında müşteri tarafından yönetilen delta veri çıkarımı

Her zaman, ADF tarafından desteklenen tüm veri depoları için, dış kontrol tablosunda depolanan filigran değerini almak üzere "araştırma etkinliği", zaman damgası veya kimlik sütununa göre delta verilerini sorgulamak için "eşleme veri akışı etkinliği", yeni filigran değerini sonraki çalıştırma için dış kontrol tablonuza yazmak üzere "SP etkinliği" kullanarak kendi delta veri ayıklama işlem hattınızı oluşturabilirsiniz. Yeni dosyaları yalnızca bir depolama deposundan yüklemek istediğinizde, dosyaları hedefe başarıyla taşındıktan sonra her seferinde silebilir veya yeni dosyaları tanımlamak için bölümlenmiş klasörü veya dosya adlarını ya da son değiştirme zamanını kullanabilirsiniz.

En İyi Uygulamalar

Veritabanlarından veri yakalamayı değiştirme

  • Yerel değişiklik verilerini yakalama, değişiklik verilerini almanız için her zaman en basit yol olarak önerilir. Ayrıca, ADF değişiklik verilerini daha fazla işlenmek üzere ayıkladığında kaynak veritabanınıza çok daha az yük getirir.
  • Veritabanı depolarınız yerel değişiklik veri yakalama desteğine sahip ADF bağlayıcısı listesinin parçası değilse, değişiklikleri yakalamak için yalnızca artımlı sütun girmeniz gereken otomatik artımlı ayıklama seçeneğini denetlemenizi öneririz. ADF, delta yükleme için dinamik sorgu oluşturma ve her etkinlik çalıştırması için denetim noktasını yönetme dahil olmak üzere tüm kalan işleri halleder.
  • İşlem hattında müşteri tarafından yönetilen delta veri ayıklama, ADF tarafından desteklenen tüm veritabanlarını kapsar ve size her şeyi kendiniz denetleme esnekliği sağlar.

Dosya tabanlı depolamalardan dosya yakalamayı değiştirme

  • Azure Blob Depolama, Azure Data Lake Storage 2. Nesil veya Azure Data Lake Storage 1. Nesil'dan veri yüklemek istediğinizde, eşleme veri akışı size yalnızca basit bir seçimle yeni veya güncelleştirilmiş dosyaları alma fırsatı sağlar. Eşleme veri akışındaki bu dosya tabanlı depolamalardan delta yükü elde etmenin en basit ve önerilen yoludur.
  • Daha fazla en iyi deneyim elde edebilirsiniz.

Kontrol Noktası

ADF eşleme veri akışında yerel değişiklik verisi yakalamayı veya otomatik artımlı ayıklama seçeneklerini etkinleştirdiğinizde, ADF her etkinliğin otomatik olarak çalıştırıldığından yalnızca işlem hattının son çalıştırıldığından bu yana değişen kaynak verileri okuduğundan emin olmak için denetim noktasını yönetmenize yardımcı olur. Varsayılan olarak, denetim noktası işlem hattınızla ve etkinlik adınızla ilişkilendirilir. İşlem hattı adınızı veya etkinlik adınızı değiştirirseniz, denetim noktası sıfırlanır, bu da bir sonraki çalıştırmada baştan başlamanıza veya mevcut değişiklikleri almanıza neden olur. İşlem hattı adını veya etkinlik adını değiştirmek istiyorsanız ancak yine de son çalıştırmadan otomatik olarak değiştirilen verileri almak için denetim noktasını tutmak istiyorsanız, bu amacı gerçekleştirmek için veri akışı etkinliğinde kendi Denetim Noktası anahtarınızı kullanın. Kendi denetim noktası anahtarınızın adlandırma kuralı bağlı hizmetler, veri kümeleri, işlem hatları ve veri akışlarıyla aynıdır.

İşlem hattında hata ayıkladığınızda, bu özellik aynı şekilde çalışır. Hata ayıklama çalıştırması sırasında tarayıcınızı yenilediğinizde denetim noktası sıfırlanır. Hata ayıklama çalıştırmasından elde edilen işlem hattı sonucundan memnun olduktan sonra işlem hattını yayımlamaya ve tetikleme işlemine geçebilirsiniz. Yayımlanan işlem hattınızı ilk kez tetiklediğiniz anda, başlangıçtan itibaren yeniden otomatik olarak başlatılır veya gelecekteki değişiklikleri uygular.

İzleme bölümünde her zaman bir işlem hattını yeniden çalıştırma şansınız olur. Bunu yaparken, değiştirilen veriler her zaman seçili işlem hattı çalıştırmanızın önceki denetim noktasından yakalanır.

Eğitimler

Aşağıda, Azure Data Factory ve Azure Synapse Analytics'te değişiklik verilerini yakalamayı başlatma öğreticileri yer alır.

Şablonlar

Aşağıda, Azure Data Factory ve Azure Synapse Analytics'te değişiklik verilerini yakalamayı kullanmaya yönelik şablonlar yer alır.

İlgili içerik