Aracılığıyla paylaş


Değişiklik veri yakalama kaynağı kullanarak değiştirilen verileri Azure Data Lake Storage 2. Nesil Azure SQL Veritabanı yakalama

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

İpucu

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Bu makalede, değişiklik veri yakalama (CDC) kaynağı oluşturmak için Azure Data Factory kullanıcı arabirimini kullanacaksınız. Kaynak, değiştirilen verileri bir Azure Data Lake Storage 2. Nesil kaynağından alır ve gerçek zamanlı olarak Azure SQL Veritabanı ekler.

Bu makalede şunları öğreneceksiniz:

  • CDC kaynağı oluşturun.
  • CDC etkinliğini izleyin.

Bu makalede yapılandırma düzenini değiştirebilir ve genişletebilirsiniz.

Önkoşullar

Bu makaledeki yordamlara başlamadan önce şu kaynaklara sahip olduğunuzdan emin olun:

  • Azure aboneliği. Azure aboneliğiniz yoksa ücretsiz bir Azure hesabı oluşturun.
  • SQL veritabanı. kaynak veri deposu olarak Azure SQL Veritabanı kullanırsınız. SQL veritabanınız yoksa Azure portalında bir veritabanı oluşturun.
  • Depolama hesabı. Azure Data Lake Storage 2. Nesil'de depolanan Delta Lake'i hedef veri deposu olarak kullanırsınız. Depolama hesabınız yoksa, oluşturma adımları için bkz . Depolama hesabı oluşturma.

CDC yapıtı oluşturma

  1. Veri fabrikanızda Yazar bölmesine gidin. İşlem Hatlarının altında Veri Yakalamayı Değiştir (önizleme) adlı yeni bir üst düzey yapıt görüntülenir.

    Fabrika Kaynakları bölmesinde değişiklik verileri yakalamaya yönelik yeni bir üst düzey yapıtın ekran görüntüsü.

  2. Üç nokta görünene kadar Veri Yakalamayı Değiştir (önizleme) öğesinin üzerine gelin. Ardından Veri Yakalama (önizleme) Eylemlerini Değiştir'i seçin.

    Yeni üst düzey yapıt üzerinde görünen veri yakalama eylemlerini değiştirme düğmesinin ekran görüntüsü.

  3. Yeni CDC (önizleme) öğesini seçin. Bu adım, kılavuzlu işlemi başlatmak için bir açılır menü açar.

    Değişiklik verileri yakalama eylemleri listesinin ekran görüntüsü.

  4. CDC kaynağınızı adlandırmanız istenir. Varsayılan olarak, ad 1 artan bir sayıyla "adfcdc" şeklindedir. Bu varsayılan adı seçtiğiniz bir adla değiştirebilirsiniz.

    Kaynağın adını güncelleştirmek için metin kutusunun ekran görüntüsü.

  5. Veri kaynağınızı seçmek için açılan listeyi kullanın. Bu makale için Sınırlanmış Metin'i seçin.

    Açılan listede kaynak seçeneklerinin yer aldığı kılavuzlu işlem açılır öğesinin ekran görüntüsü.

  6. Bağlı bir hizmet seçmeniz istenir. Yeni bir bağlı hizmet oluşturun veya var olan bir hizmeti seçin.

    Bağlı hizmet seçmek veya oluşturmak için kutunun ekran görüntüsü.

  7. Sütun ve satır sınırlayıcıları da dahil olmak üzere isteğe bağlı olarak gelişmiş kaynak yapılandırmaları ayarlamak için Kaynak ayarları alanını kullanın.

    Sınırlayıcıları ayarlamak için gelişmiş kaynak ayarlarının ekran görüntüsü.

    Bu kaynak ayarlarını el ile düzenlemezseniz, bunlar varsayılan ayarlara ayarlanır.

  8. Kaynak veri klasörünüzü seçmek için Gözat düğmesini kullanın.

    Klasör yoluna göz atmak için klasör simgesinin ekran görüntüsü.

  9. Bir klasör yolu seçtikten sonra, veri hedefinizi ayarlamak için Devam'ı seçin.

    Veri hedeflerini seçmek için kılavuzlu işlemdeki Devam düğmesinin ekran görüntüsü.

    Artı (+) düğmesini kullanarak birden çok kaynak klasör eklemeyi seçebilirsiniz. Diğer kaynaklar da zaten seçtiğiniz bağlı hizmeti kullanmalıdır.

  10. Açılan listeyi kullanarak bir Hedef türü değeri seçin. Bu makale için Azure SQL Veritabanı'i seçin.

    Tüm veri hedefi türlerini içeren açılan menünün ekran görüntüsü.

  11. Bağlı bir hizmet seçmeniz istenir. Yeni bir bağlı hizmet oluşturun veya var olan bir hizmeti seçin.

    Veri hedefinize bağlı bir hizmet seçmek veya oluşturmak için kutunun ekran görüntüsü.

  12. Hedef tablolar için yeni bir hedef tablo oluşturabilir veya var olan bir tabloyu seçebilirsiniz:

    • Hedef tablo oluşturmak için Yeni varlıklar sekmesini ve ardından Yeni tabloları düzenle'yi seçin.

      Hedefiniz için yeni tablolar oluşturmak için sekmenin ekran görüntüsü.

    • Var olan bir tabloyu seçmek için Var olan varlıklar sekmesini seçin ve ardından onay kutusunu kullanarak bir tablo seçin. Tablo verilerinizi görüntülemek için Önizleme düğmesini kullanın.

      Hedefiniz için tablo seçme sekmesinin ekran görüntüsü.

    Hedefte var olan tablolar eşleşen adlara sahipse, varsayılan olarak Var olan varlıklar'ın altında seçilirler. Aksi takdirde, Yeni varlıklar altında eşleşen adlara sahip yeni tablolar oluşturulur. Ayrıca, Yeni tabloları düzenle düğmesini kullanarak yeni tabloları düzenleyebilirsiniz.

  13. SQL veritabanınızdan birden çok hedef tablo seçmek için onay kutularını kullanabilirsiniz. Hedef tabloları seçmeyi bitirdikten sonra Devam'ı seçin.

    Sonraki adıma geçmek için kılavuzlu işlemdeki Devam düğmesinin ekran görüntüsü.

  14. Değişiklik verilerini yakalamak için yeni bir sekme görüntülenir. Bu sekme, yeni kaynağınızı yapılandırabileceğiniz CDC studio'dur.

    Değişiklik verileri yakalama stüdyosunun ekran görüntüsü.

    Sizin için otomatik olarak yeni bir eşleme oluşturulur. Açılan listeleri kullanarak eşlemeniz için Kaynak Tablo ve Hedef Tablo seçimlerini güncelleştirebilirsiniz.

    Değişiklik verileri yakalama stüdyosundaki kaynak-hedef eşlemesinin ekran görüntüsü.

  15. Tablolarınızı seçtikten sonra, sütunları varsayılan olarak Otomatik eşleme iki durumlu düğmesi açık olarak eşlenir. Otomatik eşleme , havuzdaki sütunları ada göre otomatik olarak eşler, kaynak şema geliştikçe yeni sütun değişikliklerini alır ve bu bilgileri desteklenen havuz türlerine akışla aktarır.

    Otomatik eşlemeyi kullanmak ve sütun eşlemelerini değiştirmek istemiyorsanız, doğrudan 18. adıma gidin.

    Otomatik eşlemenin açık olduğu iki durumlu düğmenin ekran görüntüsü.

    Sütun eşlemelerini etkinleştirmek istiyorsanız eşlemeleri seçin ve Otomatik eşleme iki durumlu düğmesini kapatın. Ardından, eşlemeleri görüntülemek için Sütun eşlemeleri düğmesini seçin.

    Eşleme seçiminin, otomatik eşlemenin iki durumlu düğmesinin ve sütun eşlemelerinin düğmesinin ekran görüntüsü.

    Otomatik eşleme iki durumlu düğmesini açarak istediğiniz zaman otomatik eşlemeye geri dönebilirsiniz.

  16. Sütun eşlemelerinizi görüntüleyin. Eşleme yöntemi, Kaynak sütunu ve Hedef sütun için sütun eşlemelerinizi düzenlemek için açılan listeleri kullanın.

    Sütun eşlemelerini düzenleme sayfasının ekran görüntüsü.

    Bu sayfadan şunları yapabilirsiniz:

    • Yeni eşleme düğmesini kullanarak daha fazla sütun eşlemesi ekleyin. Eşleme yöntemi, Kaynak sütunu ve Hedef sütunu için seçim yapmak için açılan listeleri kullanın.
    • Desteklenen havuz türleri için silme işlemini izlemek istiyorsanız Anahtarlar sütununu seçin.
    • Verilerin hedefe nasıl göründüğünü görselleştirmek için Veri önizleme altındaki Yenile düğmesini seçin.

    Sütun eşlemeleri ekleme düğmesinin, eşleme yöntemlerinin açılan listesinin, Anahtarlar sütununun ve Yenile düğmesinin ekran görüntüsü.

  17. Eşlemeniz tamamlandığında ana CDC tuvaline dönmek için ok düğmesini seçin.

    Tablo eşleme sayfasına geri dönmek için düğmenin ekran görüntüsü.

  18. Bir CDC yapıtında daha fazla kaynak-hedef eşlemesi ekleyebilirsiniz. Daha fazla veri kaynağı ve hedef eklemek için Düzenle düğmesini kullanın. Ardından Yeni eşleme'yi seçin ve açılan listeleri kullanarak yeni bir kaynak ve hedef ayarlayın. Bu eşlemelerin her biri için otomatik eşlemeyi bağımsız olarak açabilir veya kapatabilirsiniz.

    Yeni kaynak ekleme düğmesinin ve yeni bir kaynak-hedef eşlemesi ayarlama düğmesinin ekran görüntüsü.

  19. Eşlemeleriniz tamamlandıktan sonra, Gecikme Süresini Ayarla düğmesini kullanarak CDC gecikme sürenizi ayarlayın.

    Tuvalin üst kısmındaki GecikmeYi Ayarla düğmesinin ekran görüntüsü.

  20. Değişiklikleri yapmak için CDC'nizin gecikme süresini ve ardından Uygula'yı seçin.

    Varsayılan olarak gecikme süresi 15 dakika olarak ayarlanır. Bu makaledeki örnek, gecikme süresi için Gerçek zamanlı seçeneğini kullanır. Gerçek zamanlı gecikme süresi, kaynak verilerinizdeki değişiklikleri 1 dakikadan kısa aralıklarla sürekli olarak alır.

    Diğer gecikme süreleri için (örneğin, 15 dakika seçerseniz), değişiklik verileri yakalama işlemi kaynak verilerinizi işler ve son işlenen zamandan bu yana değiştirilen verileri alır.

    Gecikme süresini ayarlama seçeneklerinin ekran görüntüsü.

    Not

    Destek akış veri tümleştirmesine (Azure Event Hubs ve Kafka veri kaynakları) genişletilirse gecikme süresi varsayılan olarak Gerçek zamanlı olarak ayarlanır.

  21. CDC'nizi yapılandırmayı tamamladıktan sonra değişikliklerinizi yayımlamak için Tümünü yayımla'yı seçin.

    Tuvalin üst kısmındaki yayımla düğmesinin ekran görüntüsü.

    Not

    Değişikliklerinizi yayımlamazsanız CDC kaynağınızı başlatamazsınız. Sonraki adımdaki Başlat düğmesi kullanılamaz.

  22. Değişiklik verileri yakalamanızı çalıştırmaya başlamak için Başlat'ı seçin.

    Tuvalin üst kısmındaki Başlangıç düğmesinin ekran görüntüsü.

Değişiklik verilerini yakalamanızı izleme

  1. şu yöntemlerden birini kullanarak İzleyici bölmesini açın:

    • Azure portalında İzleyici'yi seçin.

      Azure portalındaki İzleyici düğmesinin ekran görüntüsü.

    • CDC tasarımcısından izleme simgesini seçin.

      CDC tuvalinin üst kısmındaki izleme simgesinin ekran görüntüsü.

  2. CDC kaynaklarınızı görüntülemek için Veri Yakalamayı Değiştir (önizleme) seçeneğini belirleyin.

    Veri Yakalamayı Değiştir düğmesinin ekran görüntüsü.

    Veri Yakalamayı Değiştir bölmesi, değişiklik verilerini yakalamanız için Kaynak, Hedef, Durum ve son işlenen bilgileri gösterir.

    Değişiklik veri yakalama izleme sayfasına genel bakış ekran görüntüsü.

  3. Daha fazla ayrıntı görmek için CDC'nizin adını seçin. Diğer tanılama bilgileriyle birlikte kaç değişikliğin (ekleme, güncelleştirme veya silme) okunup yazıldığını görebilirsiniz.

    Seçili değişiklik veri yakalama işleminin ayrıntılı izlemesinin ekran görüntüsü.

    Değişiklik verileri yakalamanızda birden çok eşleme ayarlarsanız, her eşleme farklı bir renk olarak görünür. Her eşlemenin belirli ayrıntılarını görmek için çubuğu seçin veya bölmenin altındaki tanılama bilgilerini kullanın.

    Birden çok kaynak-hedef eşlemesi içeren bir değişiklik verisi yakalamaya yönelik ayrıntılı izleme bilgilerinin ekran görüntüsü.

    Değişiklik veri yakalama yapıtındaki her eşlemenin ayrıntılı dökümünün ekran görüntüsü.