Aracılığıyla paylaş

Değişiklik verisi yakalama kaynağı kullanarak Azure SQL Veritabanı delta havuzuna şema evrimi ile değiştirilmiş verileri yakalama

  • Makale

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

İpucu

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Bu makalede, değişiklik veri yakalama (CDC) kaynağı oluşturmak için Azure Data Factory kullanıcı arabirimini kullanacaksınız. Kaynak, değiştirilen verileri Azure SQL Veritabanı bir kaynaktan alır ve Azure Data Lake Storage 2. Nesil'da depolanan Delta Lake'e gerçek zamanlı olarak ekler. Bu etkinlik, kaynak ve havuz arasında bir CDC kaynağı kullanarak şema evrimi desteğini gösterir.

Bu makalede şunları öğreneceksiniz:

  • CDC kaynağı oluşturun.
  • Kaynak tabloda dinamik şema değişiklikleri yapın.
  • Hedef Delta havuzundaki şema değişikliklerini doğrulayın.

Bu makalede yapılandırma düzenini değiştirebilir ve genişletebilirsiniz.

Önkoşullar

Bu makaledeki yordamlara başlamadan önce şu kaynaklara sahip olduğunuzdan emin olun:

  • Azure aboneliği. Azure aboneliğiniz yoksa ücretsiz bir Azure hesabı oluşturun.
  • SQL veritabanı. kaynak veri deposu olarak Azure SQL Veritabanı kullanırsınız. SQL veritabanınız yoksa Azure portalında bir veritabanı oluşturun.
  • Depolama hesabı. Azure Data Lake Storage 2. Nesil'de depolanan Delta Lake'i hedef veri deposu olarak kullanırsınız. Depolama hesabınız yoksa, oluşturma adımları için bkz . Depolama hesabı oluşturma.

CDC yapıtı oluşturma

  1. Veri fabrikanızda Yazar bölmesine gidin. İşlem Hatlarının altında Veri Yakalamayı Değiştir (önizleme) adlı yeni bir üst düzey yapıt görüntülenir.

    Fabrika Kaynakları bölmesinde değişiklik verileri yakalamaya yönelik yeni bir üst düzey yapıtın ekran görüntüsü.

  2. Üç nokta görünene kadar Veri Yakalamayı Değiştir (önizleme) öğesinin üzerine gelin. Ardından Veri Yakalama (önizleme) Eylemlerini Değiştir'i seçin.

    Yeni üst düzey yapıt üzerinde görünen veri yakalama eylemlerini değiştirme düğmesinin ekran görüntüsü.

  3. Yeni CDC (önizleme) öğesini seçin. Bu adım, kılavuzlu işlemi başlatmak için bir açılır menü açar.

    Değişiklik verileri yakalama eylemleri listesinin ekran görüntüsü.

  4. CDC kaynağınızı adlandırmanız istenir. Varsayılan olarak, ad 1 artan bir sayıyla "adfcdc" şeklindedir. Bu varsayılan adı seçtiğiniz bir adla değiştirebilirsiniz.

    Kaynağın adını güncelleştirmek için metin kutusunun ekran görüntüsü.

  5. Veri kaynağınızı seçmek için açılan listeyi kullanın. Bu makale için Azure SQL Veritabanı'i seçin.

    Açılan listede kaynak seçeneklerinin yer aldığı kılavuzlu işlem açılır öğesinin ekran görüntüsü.

  6. Bağlı bir hizmet seçmeniz istenir. Yeni bir bağlı hizmet oluşturun veya var olan bir hizmeti seçin.

    Bağlı hizmet seçmek veya oluşturmak için kutunun ekran görüntüsü.

  7. Bağlı bir hizmeti seçtikten sonra kaynak tabloları seçmeniz istenir. Kaynak tabloları seçmek için onay kutularını kullanın ve ardından açılan listeyi kullanarak Artımlı sütun değerini seçin.

    Kaynak tablo ve artımlı sütun seçimini gösteren ekran görüntüsü.

    Bölmede yalnızca artımlı sütun veri türlerini destekleyen tablolar listelenir.

    Not

    Azure SQL Veritabanı kaynağında şema evrimi ile CDC'yi etkinleştirmek için yerel SQL CDC'nin etkinleştirildiği tablolar yerine filigran sütunlarına göre tabloları seçin.

  8. Kaynak tabloları seçtikten sonra, veri hedefinizi ayarlamak için Devam'ı seçin.

    Veri hedefi seçmeye ilişkin kılavuzlu işlemdeki Devam düğmesinin ekran görüntüsü.

  9. Açılan listeyi kullanarak bir Hedef türü değeri seçin. Bu makale için Delta'yı seçin.

    Tüm veri hedefi türlerini içeren açılan menünün ekran görüntüsü.

  10. Bağlı bir hizmet seçmeniz istenir. Yeni bir bağlı hizmet oluşturun veya var olan bir hizmeti seçin.

    Veri hedefinize bağlı bir hizmet seçmek veya oluşturmak için kutunun ekran görüntüsü.

  11. Hedef veri klasörünüzü seçin. Aşağıdakilerden birini kullanabilirsiniz:

    • Hedef temel yol altındaki Gözat düğmesi, kaynak için seçilen tüm yeni tablolar için gözatma yolunu otomatik olarak doldurmanıza yardımcı olur.
    • Klasör yolunu tek tek seçmek için Dışarıda Gözat düğmesi.

    Klasör yoluna göz atmak için klasör simgesinin ekran görüntüsü.

  12. Bir klasör yolu seçtikten sonra Devam düğmesini seçin.

    Sonraki adıma geçmek için kılavuzlu işlemdeki Devam düğmesinin ekran görüntüsü.

  13. Değişiklik verilerini yakalamak için yeni bir sekme görüntülenir. Bu sekme, yeni kaynağınızı yapılandırabileceğiniz CDC studio'dur.

    Değişiklik verileri yakalama stüdyosunun ekran görüntüsü.

    Sizin için otomatik olarak yeni bir eşleme oluşturulur. Açılan listeleri kullanarak eşlemeniz için Kaynak Tablo ve Hedef Tablo seçimlerini güncelleştirebilirsiniz.

    Değişiklik verileri yakalama stüdyosundaki kaynak-hedef eşlemesinin ekran görüntüsü.

  14. Tablolarınızı seçtikten sonra, sütunları varsayılan olarak Otomatik eşleme iki durumlu düğmesi açık olarak eşlenir. Otomatik eşleme , havuzdaki sütunları ada göre otomatik olarak eşler, kaynak şema geliştikçe yeni sütun değişikliklerini alır ve bu bilgileri desteklenen havuz türlerine akışla aktarır.

    Otomatik eşlemenin açık olduğu iki durumlu düğmenin ekran görüntüsü.

    Not

    Şema evrimi yalnızca Otomatik eşleme iki durumlu düğmesi açık olduğunda çalışır. Sütun eşlemelerini düzenlemeyi veya dönüştürmeleri eklemeyi öğrenmek için bkz . Değişiklik verileri yakalama kaynağıyla değiştirilen verileri yakalama.

  15. Anahtarlar bağlantısını seçin ve ardından silme işlemlerini izlemek için kullanılacak Anahtarlar sütununu seçin.

    Anahtarlar sütun seçimini etkinleştirme bağlantısının ekran görüntüsü.

    Seçili kaynak için Anahtarlar sütununu seçme işleminin ekran görüntüsü.

  16. Eşlemeleriniz tamamlandıktan sonra, Gecikme Süresini Ayarla düğmesini kullanarak CDC gecikme sürenizi ayarlayın.

    Tuvalin üst kısmındaki GecikmeYi Ayarla düğmesinin ekran görüntüsü.

  17. Değişiklikleri yapmak için CDC'nizin gecikme süresini ve ardından Uygula'yı seçin.

    Varsayılan olarak gecikme süresi 15 dakika olarak ayarlanır. Bu makaledeki örnek, gecikme süresi için Gerçek zamanlı seçeneğini kullanır. Gerçek zamanlı gecikme süresi, kaynak verilerinizdeki değişiklikleri 1 dakikadan kısa aralıklarla sürekli olarak alır.

    Diğer gecikme süreleri için (örneğin, 15 dakika seçerseniz), değişiklik verileri yakalama işlemi kaynak verilerinizi işler ve son işlenen zamandan bu yana değiştirilen verileri alır.

    Gecikme süresini ayarlama seçeneklerinin ekran görüntüsü.

  18. CDC'nizi yapılandırmayı tamamladıktan sonra değişikliklerinizi yayımlamak için Tümünü yayımla'yı seçin.

    Tuvalin üst kısmındaki yayımla düğmesinin ekran görüntüsü.

    Not

    Değişikliklerinizi yayımlamazsanız CDC kaynağınızı başlatamazsınız. Sonraki adımdaki Başlat düğmesi kullanılamaz.

  19. Değişiklik verileri yakalamanızı çalıştırmaya başlamak için Başlat'ı seçin.

    Tuvalin üst kısmındaki Başlangıç düğmesinin ekran görüntüsü.

Değişiklik verileri yakalama işleminiz çalışmaya devam ettikçe şunları yapabilirsiniz:

  • Diğer tanılama bilgileriyle birlikte kaç değişikliğin (ekleme, güncelleştirme veya silme) okunup yazıldığını görmek için izleme sayfasını kullanın.

    Seçili değişiklik verilerini yakalama işleminin izleme sayfasının ekran görüntüsü.

    Ayrıntılı bir görünümle seçili değişiklik verilerini yakalama işleminin izleme sayfasının ekran görüntüsü.

  • Değişiklik verilerinin Delta Lake'e ulaştığını ve Delta biçiminde Azure Data Lake Storage 2. Nesil depolandığını doğrulayın.

    Hedef Delta klasörünün ekran görüntüsü.

  • Gelen değişiklik verilerinin şemasını doğrulayın.

    Delta dosyasının ekran görüntüsü.

Kaynak tablolarda dinamik şema düzeyinde değişiklikler yapma

  1. Aşağıdaki örnekte gösterildiği gibi bir T-SQL deyimi kullanarak kaynak tabloya yeni bir ALTER TABLE PersonalEmail sütunu ekleyin.

    Azure Data Studio'da ALTER komutunun ekran görüntüsü.

  2. Yeni PersonalEmail sütununun mevcut tabloda göründüğünü doğrulayın.

    Kişisel e-posta için sütun eklenmiş yeni tablo tasarımının ekran görüntüsü.

Delta havuzundaki şema değişikliklerini doğrulama

Yeni PersonalEmail sütununun Delta havuzunda göründüğünü onaylayın. Artık şema değişiklikleriyle değişiklik verilerinin hedefe ulaştığını biliyorsunuz.

Şema değişikliği olan delta dosyasının ekran görüntüsü.

İlgili içerik