Veri Eşleştirme

Şunlar için geçerlidir: SQL Server

Önemli

Sql Server 2025'te (17.x) Veri Kalitesi Hizmetleri (DQS) kaldırılmıştır . SQL Server 2022 (16.x) ve önceki sürümlerde DQS'yi desteklemeye devam ediyoruz.

Veri Kalitesi Hizmetleri (DQS) veri eşleştirme işlemi, veri çoğaltmayı azaltmanızı ve veri kaynağındaki veri doğruluğunu geliştirmenizi sağlar. Eşleştirme, tek bir veri kaynağının tüm kayıtlarındaki yineleme derecesini analiz eder ve karşılaştırılan her kayıt kümesi arasında bir eşleşmenin ağırlıklı olasılıklarını döndürür. Daha sonra hangi kayıtların eşleşeceğine karar verebilir ve kaynak verilerde uygun eylemi gerçekleştirebilirsiniz.

DQS eşleştirme işleminin aşağıdaki avantajları vardır:

• Eşleştirme, eşit olması gereken veri değerleri arasındaki farkları ortadan kaldırmanızı, doğru değeri belirlemenizi ve veri farklılıklarının neden olabileceği hataları azaltmanızı sağlar. Örneğin adlar ve adresler genellikle bir veri kaynağının, özellikle de müşteri verilerinin tanımlayıcı verileridir, ancak veriler zamanla kirlenebilir ve bozulabilir. Bu hataları tanımlamak ve düzeltmek için eşleştirme gerçekleştirmek, veri kullanımını ve bakımını çok daha kolay hale getirebilir.

• Eşleştirme, eşdeğer olan ancak farklı bir biçimde veya stilde girilen değerlerin tekdüzen olarak işlenmesini sağlamanıza olanak tanır.

• Eşleştirme, tam ve yaklaşık eşleşmeleri tanımlayarak yinelenen verileri tanımlarken kaldırmanıza olanak tanır. Yaklaşık eşleşmenin aslında eşleşme olduğu noktayı belirlersiniz. Hangi alanların eşleşme için değerlendirildiğini ve hangilerinin değerlendirilmediğini tanımlarsınız.

• DQS, bilgisayar destekli bir işlem kullanarak bir eşleştirme ilkesi oluşturmanıza, eşleşen sonuçlara göre etkileşimli olarak değiştirmenize ve yeniden kullanılabilir bir bilgi bankasına eklemenize olanak tanır.

• Kaynaktan hazırlama tablosuna kopyalanan verileri yeniden dizine alabilir veya eşleşen ilkenin durumuna ve kaynak verilere bağlı olarak yeniden dizine almayabilirsiniz. Yeniden dizinleme yapılmaması performansı geliştirebilir.

Genel veri kalitesini geliştirmek için eşleştirme işlemini diğer veri temizleme işlemleriyle birlikte gerçekleştirebilirsiniz. Ana Veri Hizmetleri'nin yerleşik DQS işlevselliğini kullanarak yinelenen verileri kaldırma da gerçekleştirebilirsiniz. Daha fazla bilgi için bkz. Ana Veri Hizmetlerine Genel Bakış (MDS).

Aşağıdaki çizimde DQS'de veri eşleştirmenin nasıl yapıldığı gösterilmektedir:

Veri Eşleştirme Nasıl Yapılır?

DQS'deki diğer veri kalitesi süreçlerinde olduğu gibi, aşağıdaki adımlarda bir bilgi bankası oluşturarak ve bir veri kalitesi projesinde eşleşen bir etkinlik yürüterek eşleştirme gerçekleştirirsiniz:

1. Bilgi bankasında eşleşen bir ilke oluşturma

2. Veri kalitesi projesinin parçası olan bir eşleştirme etkinliğinde yinelenenleri kaldırma işlemi gerçekleştirin.

Eşleştirme Politikası Oluşturma

DQS'nin eşleşen olasılığı nasıl atayacağını tanımlamak üzere bilgi bankasında bir eşleştirme ilkesi oluşturarak bilgi bankasını eşleştirme gerçekleştirmek için hazırlarsınız. Eşleşen ilke, DQS bir kaydın başka bir kayıtla ne kadar iyi eşleşeceğini değerlendirdiğinde hangi etki alanlarının kullanılacağını tanımlayan ve her etki alanı değerinin eşleşen değerlendirmede taşıdığı ağırlığı belirten bir veya daha fazla eşleştirme kuralından oluşur. Kuralda etki alanı değerlerinin tam olarak eşleşmesi gerektiğini veya yalnızca benzer olabileceğini ve ne kadar benzerlik olduğunu belirtirsiniz. Ayrıca bir etki alanı eşleşmesi önkoşul olup olmadığını belirtirsiniz.

Bilgi Bankası Yönetimi sihirbazındaki eşleşen ilke etkinliği, kayıt aralığında aynı anda iki kaydı karşılaştırmak için her eşleşen kuralı uygulayarak örnek verileri analiz eder. Eşleşen puanları belirtilen minimumdan büyük olan kayıtlar, eşleşen sonuçlardaki kümelerde gruplandırılır. Bu eşleşen sonuçlar bilgi bankasına eklenmez; eşleşen kuralları ayarlamak için bunları kullanırsınız. Eşleşen ilke oluşturmak, eşleşen sonuçlara veya profil oluşturma istatistiklerine göre eşleşen kuralları değiştirdiğiniz yinelemeli bir işlem olabilir.

Bir etki alanı için, veri kaynağından etki alanına veri yüklediğinizde veri dizelerinin normalleştirileceğini belirtebilirsiniz. Bu işlem, genellikle iki dize arasındaki farkı kaldıran özel karakterleri null veya boşlukla değiştirmektir. Bu, eşleştirme doğruluğunu artırabilir ve genellikle eşleştirme sonucunun normalleştirme yapılmadığında minimum eşleştirme eşiğini aşmasını sağlayabilir.

Uyarı

İki kaydın karşılık gelen alanlarındaki null değerler eşleşme olarak kabul edilir.

Eşleşen ilke, örnek verilere eşlenen etki alanlarında çalıştırılır. Eşleşme politikasını çalıştırdığınızda, verilerin veri kaynağından hazırlama tablosuna kopyalanıp kopyalanmayacağını ve yeniden indekslenip indekslenmeyeceğini belirtebilirsiniz. Bunu hem bilgi bankasını oluştururken hem de eşleşen projeyi çalıştırırken yapabilirsiniz. Yeniden dizinleme yapılmaması performansın artmasına neden olabilir. Aşağıdakiler doğruysa yeniden dizin oluşturma gerekli değildir: eşleşen ilke değişmedi ve veri kaynağını güncelleştirmediniz, ilkeyi yeniden eşlemediniz, yeni bir veri kaynağı seçtiniz veya bir veya daha fazla yeni etki alanını eşlediniz.

Eşleşen her kural, oluşturulduğunda bilgi bankasına kaydedilir. Ancak, bilgi bankası yalnızca yayımlandığında veri kalitesi projesinde kullanılabilir. Ayrıca, bilgi bankası yayımlanana kadar, içindeki eşleşen kurallar, onu oluşturan kişi dışında bir kullanıcı tarafından değiştirilemez.

Eşleşen Proje Çalıştırma

DQS, kaynak verilerdeki her satırı diğer satırlarla karşılaştırarak, bilgi bankasında tanımlanan eşleştirme ilkesini kullanarak ve satırların eşleşme olasılığı oluşturarak yinelenen verileri kaldırma işlemi gerçekleştirir. Bu işlem, eşleştirme türüne sahip bir veri kalitesi projesinde gerçekleştirilir. Eşleştirme, veri kalitesi projesindeki başlıca adımlardan biridir. En iyi yöntem veri temizlemeden sonra gerçekleştirilir, böylece eşleştirilecek veriler hatadan arındırılır. Eşleştirme işlemini çalıştırmadan önce, temizleme projesinin sonuçlarını bir veri tablosuna veya .csv dosyasına aktarabilir ve ardından temizleme sonuçlarını eşleşen projedeki etki alanlarıyla eşlediğiniz eşleşen bir proje oluşturabilirsiniz.

Veri eşleştirme projesi, bilgisayar destekli bir işlemden ve etkileşimli bir işlemden oluşur. Eşleşen proje, eşleşen ilkedeki eşleştirme kurallarını değerlendirilecek veri kaynağına uygular. Bu işlem, eşleşme skorunda iki satırın eşleşme olasılığını değerlendirir. Yalnızca eşleşme olasılığı eşleşen ilkedeki veri temsilcisi tarafından ayarlanan değerden büyük olan kayıtlar eşleşme olarak kabul edilir.

DQS eşleştirme analizini gerçekleştirdiğinde, eşleşen kayıtların kümelerini oluşturur. DQS, her kümedeki kayıtlardan birini rastgele özet veya baştaki kayıt olarak tanımlar. Veri temsilcisi eşleşen sonuçları doğrular ve küme için uygun olmayan tüm kayıtları reddeder. Veri temsilcisi daha sonra DQS'nin eşleşen işlemden sağ çıkacak kaydı belirlemek ve eşleşen kayıtları değiştirmek için kullanacağı bir hayatta kalma kuralı seçer. Hayatta kalma kuralı "Özet kayıt" (varsayılan), "en eksiksiz ve en uzun kayıt", "en eksiksiz kayıt" veya "en uzun kayıt" olabilir. DQS, her kümedeki kurtulan (baştaki) kaydı, hangi kaydın hayatta kalanlar kuralındaki ölçüt veya ölçütlerle en yakın şekilde eşleşeceğini temel alarak belirler. Belirli bir kümedeki birden çok kayıt sağ kalanlar kuralıyla uyumluysa, DQS bu kayıtlardan birini rastgele seçer. DQS, "çakışmayan kümeleri göster" seçeneğini belirleyerek tek bir küme olarak ortak kayıtları olan kümeleri görüntüleme seçeneği sunar. Sonuçları bu ayara göre görüntülemek için eşleşen işlemi yürütmeniz gerekir.

Eşleşen işlemin sonuçlarını SQL Server tablosuna veya .csv dosyasına aktarabilirsiniz. Eşleşen sonuçları iki biçimde dışarı aktarabilirsiniz: birincisi, eşleşen kayıtlar ve eşleşmeyen kayıtlar şeklinde; ikincisi ise, bir küme için yalnızca sağ kalan kaydı ve eşleşmeyen sonuçları içeren sağ kalım kayıtları şeklinde. Sağ kalma kayıtlarında, aynı kayıt birden çok kümenin kurtulanı olarak tanımlandığında, bu kayıt yalnızca bir kez dışa aktarılır.

Bu Kısımda

DQS'de eşleştirmeyle ilgili aşağıdaki görevleri gerçekleştirebilirsiniz:

Görev Açıklaması	Konu
Eşleşme ilkesinde eşleştirme kuralları oluşturun ve test edin.	Eşleştirme İlkesi Oluşturma
Veri kalitesi projesinde eşleştirmeyi çalıştırma	Eşleşen Proje Çalıştırma