Aracılığıyla paylaş

Veri kalitesi ve kalite izleme

  • Makale

Azure Operatör Analizler platformu üzerinde çalışan her Veri Ürünü, veri kalitesi izleme için yerleşik desteğe sahiptir. Karar alma için doğru, güvenilir ve güvenilir bilgiler sağladığından veri kalitesi çok önemlidir. Yüksek maliyetli hataları önler, müşteriler ve düzenleyicilerle güvenilirlik sağlar ve kişiselleştirilmiş deneyimler sağlar.

Azure Operatör Analizler platformu, veriler Veri Ürünü giriş depolama alanına (aşağıdaki görüntüdeki Veri Ürün Girişi bloğu) ve veriler işlenip müşterilerin kullanımına sunulduktan sonra (aşağıdaki görüntüdeki Veri Ürünü İşlem bloğu) veri kalitesini izler.

Azure Operatör Analizler için alım aracıları ve Veri Ürünleri diyagramı

Kalite boyutları

Veri kalitesi boyutları, verilerin kalitesini tanımlayan çeşitli yönler veya özelliklerdir. Azure operatör Analizler aşağıdaki boyutları destekler:

  • Doğruluk : Verilerin doğru adlar, adresler ve güncel veriler gibi gerçekliği ne kadar iyi yansıtdığını ifade eder. Yüksek veri doğruluğu, güvenilir analizler üretmenizi sağlar ve doğru raporlama ve güvenilir karar alma sürecine yol açar.
  • Tamlık - Belirli bir kullanım için gereken tüm verilerin mevcut olup olmadığını ve kullanılabilir olup olmadığını belirtir. Tamlık yalnızca veri öğesi düzeyinde değil, kayıt düzeyinde de geçerlidir. Eksiksizlik, eksik verilerin verilerden elde edilecek içgörülerin güvenilirliğini etkileyip etkilemediğini anlamanıza yardımcı olur.
  • Benzersizlik - Bir veri kümesinde yinelenenlerin olmamasını ifade eder.
  • Tutarlılık - Aynı veri öğesinin farklı kaynaklar arasında veya zaman içinde çakışmayıp çakışmadığını belirtir. Tutarlılık, verilerin tekdüzen olmasını ve farklı kaynaklar arasında karşılaştırılabilmesini sağlar.
  • Güncellik : Verilerin güncel olup olmadığını ve gerektiğinde kullanılabilir olup olmadığını ifade eder. Zamanında kullanım, verilerin karar alma için ilgili ve yararlı olmasını sağlar.
  • Geçerlilik - Verilerin tanımlı bir kural veya kısıtlama kümesine uygun olup olmadığını belirtir.

Ölçümler

Tüm veri kalitesi boyutları, Azure Operatör Analizler platformu tarafından üretilen kalite ölçümleri kapsamındadır. Kalite ölçümlerinin iki türü vardır:

  • Temel - Tüm Veri Ürünleri genelinde standart denetim kümesi.
  • Özel - Tüm Veri Ürünlerinin kendi ürünlerine özgü denetimleri uygulamasına olanak sağlayan özel denetim kümesi.

Platform tarafından üretilen temel kalite ölçümleri aşağıdaki tabloda yer alır.

Ölçüm Boyut Veri Kaynağı
Alınan satır sayısı Güncellik Yutulur
Gerekli sütunlar için null içeren satır sayısı Bütünlüğü Yutulur
Şemaya göre doğrulanamadı satır sayısı Geçerlilik Yutulur
Filtrelenen satır sayısı Bütünlüğü Yutulur
İşlenen satır sayısı Güncellik İşlenmiş
Gerekli verileri içermeyen tamamlanmamış satır sayısı Bütünlüğü İşlenmiş
Yinelenen satır sayısı Benzersizlik İşlenmiş
Kayıt oluşturma ile sorgulama için kullanılabilir arasındaki genel gecikme yüzdebirlik değerleri Güncellik İşlenmiş
Kayıt oluşturma ile giriş depolama alanına alma arasındaki gecikme yüzdesi Güncellik İşlenmiş
Alınan ve işlenen veriler arasındaki gecikme yüzdesi Güncellik İşlenmiş
İşlenen ve sorgulama için kullanılabilen veriler arasındaki gecikme yüzdebirlik değerleri Güncellik İşlenmiş
Gerçekleştirilmiş görünümler için yaşlar Güncellik İşlenmiş

Özel veri kalitesi ölçümleri, Veri Ürünü temelinde uygulanır. Bu ölçümler doğruluk ve tutarlılık boyutlarını kapsar. Veri Ürünü belgeleri, kullanılabilir özel kalite ölçümleri için açıklama içerir.

İzleme

Tüm Azure Operatör İçgörüleri Veri Ürünleri, kalite ölçümlerini gösteren bir panoyla dağıtılır. Panoyu kullanarak verilerinin kalitesini izleyebilirsiniz.

Tüm veri kalitesi ölçümleri Veri Ürünü ADX tablolarına kaydedilir. Veri kalitesi ölçümlerini keşfetmek için standart Veri Ürünü KQL uç noktasını kullanabilir ve gerekirse panoyu genişletebilirsiniz.