Değişiklik veri yakalama kaynağı kullanarak değiştirilen verileri Azure Data Lake Storage 2. Nesil Azure SQL Veritabanı yakalama

Makale
01/05/2024

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

İpucu

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Bu makalede, değişiklik veri yakalama (CDC) kaynağı oluşturmak için Azure Data Factory kullanıcı arabirimini kullanacaksınız. Kaynak, değiştirilen verileri bir Azure Data Lake Storage 2. Nesil kaynağından alır ve gerçek zamanlı olarak Azure SQL Veritabanı ekler.

Bu makalede şunları öğreneceksiniz:

CDC kaynağı oluşturun.
CDC etkinliğini izleyin.

Bu makalede yapılandırma düzenini değiştirebilir ve genişletebilirsiniz.

Önkoşullar

Bu makaledeki yordamlara başlamadan önce şu kaynaklara sahip olduğunuzdan emin olun:

Azure aboneliği. Azure aboneliğiniz yoksa ücretsiz bir Azure hesabı oluşturun.
SQL veritabanı. kaynak veri deposu olarak Azure SQL Veritabanı kullanırsınız. SQL veritabanınız yoksa Azure portalında bir veritabanı oluşturun.
Depolama hesabı. Azure Data Lake Storage 2. Nesil'de depolanan Delta Lake'i hedef veri deposu olarak kullanırsınız. Depolama hesabınız yoksa, oluşturma adımları için bkz . Depolama hesabı oluşturma.

CDC yapıtı oluşturma

Veri fabrikanızda Yazar bölmesine gidin. İşlem Hatlarının altında Veri Yakalamayı Değiştir (önizleme) adlı yeni bir üst düzey yapıt görüntülenir.
Üç nokta görünene kadar Veri Yakalamayı Değiştir (önizleme) öğesinin üzerine gelin. Ardından Veri Yakalama (önizleme) Eylemlerini Değiştir'i seçin.
Yeni CDC (önizleme) öğesini seçin. Bu adım, kılavuzlu işlemi başlatmak için bir açılır menü açar.
CDC kaynağınızı adlandırmanız istenir. Varsayılan olarak, ad 1 artan bir sayıyla "adfcdc" şeklindedir. Bu varsayılan adı seçtiğiniz bir adla değiştirebilirsiniz.
Veri kaynağınızı seçmek için açılan listeyi kullanın. Bu makale için Sınırlanmış Metin'i seçin.
Bağlı bir hizmet seçmeniz istenir. Yeni bir bağlı hizmet oluşturun veya var olan bir hizmeti seçin.
Sütun ve satır sınırlayıcıları da dahil olmak üzere isteğe bağlı olarak gelişmiş kaynak yapılandırmaları ayarlamak için Kaynak ayarları alanını kullanın.

Bu kaynak ayarlarını el ile düzenlemezseniz, bunlar varsayılan ayarlara ayarlanır.
Kaynak veri klasörünüzü seçmek için Gözat düğmesini kullanın.
Bir klasör yolu seçtikten sonra, veri hedefinizi ayarlamak için Devam'ı seçin.

Artı (+) düğmesini kullanarak birden çok kaynak klasör eklemeyi seçebilirsiniz. Diğer kaynaklar da zaten seçtiğiniz bağlı hizmeti kullanmalıdır.
Açılan listeyi kullanarak bir Hedef türü değeri seçin. Bu makale için Azure SQL Veritabanı'i seçin.
Bağlı bir hizmet seçmeniz istenir. Yeni bir bağlı hizmet oluşturun veya var olan bir hizmeti seçin.
Hedef tablolar için yeni bir hedef tablo oluşturabilir veya var olan bir tabloyu seçebilirsiniz:
- Hedef tablo oluşturmak için Yeni varlıklar sekmesini ve ardından Yeni tabloları düzenle'yi seçin.
- Var olan bir tabloyu seçmek için Var olan varlıklar sekmesini seçin ve ardından onay kutusunu kullanarak bir tablo seçin. Tablo verilerinizi görüntülemek için Önizleme düğmesini kullanın.
Hedefte var olan tablolar eşleşen adlara sahipse, varsayılan olarak Var olan varlıklar'ın altında seçilirler. Aksi takdirde, Yeni varlıklar altında eşleşen adlara sahip yeni tablolar oluşturulur. Ayrıca, Yeni tabloları düzenle düğmesini kullanarak yeni tabloları düzenleyebilirsiniz.
SQL veritabanınızdan birden çok hedef tablo seçmek için onay kutularını kullanabilirsiniz. Hedef tabloları seçmeyi bitirdikten sonra Devam'ı seçin.
Değişiklik verilerini yakalamak için yeni bir sekme görüntülenir. Bu sekme, yeni kaynağınızı yapılandırabileceğiniz CDC studio'dur.

Sizin için otomatik olarak yeni bir eşleme oluşturulur. Açılan listeleri kullanarak eşlemeniz için Kaynak Tablo ve Hedef Tablo seçimlerini güncelleştirebilirsiniz.
Tablolarınızı seçtikten sonra, sütunları varsayılan olarak Otomatik eşleme iki durumlu düğmesi açık olarak eşlenir. Otomatik eşleme , havuzdaki sütunları ada göre otomatik olarak eşler, kaynak şema geliştikçe yeni sütun değişikliklerini alır ve bu bilgileri desteklenen havuz türlerine akışla aktarır.

Otomatik eşlemeyi kullanmak ve sütun eşlemelerini değiştirmek istemiyorsanız, doğrudan 18. adıma gidin.

Sütun eşlemelerini etkinleştirmek istiyorsanız eşlemeleri seçin ve Otomatik eşleme iki durumlu düğmesini kapatın. Ardından, eşlemeleri görüntülemek için Sütun eşlemeleri düğmesini seçin.

Otomatik eşleme iki durumlu düğmesini açarak istediğiniz zaman otomatik eşlemeye geri dönebilirsiniz.
Sütun eşlemelerinizi görüntüleyin. Eşleme yöntemi, Kaynak sütunu ve Hedef sütun için sütun eşlemelerinizi düzenlemek için açılan listeleri kullanın.

Bu sayfadan şunları yapabilirsiniz:
- Yeni eşleme düğmesini kullanarak daha fazla sütun eşlemesi ekleyin. Eşleme yöntemi, Kaynak sütunu ve Hedef sütunu için seçim yapmak için açılan listeleri kullanın.
- Desteklenen havuz türleri için silme işlemini izlemek istiyorsanız Anahtarlar sütununu seçin.
- Verilerin hedefe nasıl göründüğünü görselleştirmek için Veri önizleme altındaki Yenile düğmesini seçin.
Eşlemeniz tamamlandığında ana CDC tuvaline dönmek için ok düğmesini seçin.
Bir CDC yapıtında daha fazla kaynak-hedef eşlemesi ekleyebilirsiniz. Daha fazla veri kaynağı ve hedef eklemek için Düzenle düğmesini kullanın. Ardından Yeni eşleme'yi seçin ve açılan listeleri kullanarak yeni bir kaynak ve hedef ayarlayın. Bu eşlemelerin her biri için otomatik eşlemeyi bağımsız olarak açabilir veya kapatabilirsiniz.
Eşlemeleriniz tamamlandıktan sonra, Gecikme Süresini Ayarla düğmesini kullanarak CDC gecikme sürenizi ayarlayın.
Değişiklikleri yapmak için CDC'nizin gecikme süresini ve ardından Uygula'yı seçin.

Varsayılan olarak gecikme süresi 15 dakika olarak ayarlanır. Bu makaledeki örnek, gecikme süresi için Gerçek zamanlı seçeneğini kullanır. Gerçek zamanlı gecikme süresi, kaynak verilerinizdeki değişiklikleri 1 dakikadan kısa aralıklarla sürekli olarak alır.

Diğer gecikme süreleri için (örneğin, 15 dakika seçerseniz), değişiklik verileri yakalama işlemi kaynak verilerinizi işler ve son işlenen zamandan bu yana değiştirilen verileri alır.

Not

Destek akış veri tümleştirmesine (Azure Event Hubs ve Kafka veri kaynakları) genişletilirse gecikme süresi varsayılan olarak Gerçek zamanlı olarak ayarlanır.
CDC'nizi yapılandırmayı tamamladıktan sonra değişikliklerinizi yayımlamak için Tümünü yayımla'yı seçin.

Not

Değişikliklerinizi yayımlamazsanız CDC kaynağınızı başlatamazsınız. Sonraki adımdaki Başlat düğmesi kullanılamaz.
Değişiklik verileri yakalamanızı çalıştırmaya başlamak için Başlat'ı seçin.

Değişiklik verilerini yakalamanızı izleme

şu yöntemlerden birini kullanarak İzleyici bölmesini açın:
- Azure portalında İzleyici'yi seçin.
- CDC tasarımcısından izleme simgesini seçin.
CDC kaynaklarınızı görüntülemek için Veri Yakalamayı Değiştir (önizleme) seçeneğini belirleyin.

Veri Yakalamayı Değiştir bölmesi, değişiklik verilerini yakalamanız için Kaynak, Hedef, Durum ve son işlenen bilgileri gösterir.
Daha fazla ayrıntı görmek için CDC'nizin adını seçin. Diğer tanılama bilgileriyle birlikte kaç değişikliğin (ekleme, güncelleştirme veya silme) okunup yazıldığını görebilirsiniz.

Değişiklik verileri yakalamanızda birden çok eşleme ayarlarsanız, her eşleme farklı bir renk olarak görünür. Her eşlemenin belirli ayrıntılarını görmek için çubuğu seçin veya bölmenin altındaki tanılama bilgilerini kullanın.