Kualitas data dan pemantauan kualitas
Setiap Produk Data yang bekerja pada platform Azure Operator Insights memiliki dukungan bawaan untuk pemantauan kualitas data. Kualitas data sangat penting karena memastikan informasi yang akurat, andal, dan dapat dipercaya untuk pengambilan keputusan. Ini mencegah kesalahan yang mahal, membangun kredibilitas dengan pelanggan dan regulator, dan memungkinkan pengalaman yang dipersonalisasi.
Platform Azure Operator Insights memantau kualitas data saat data diserap ke dalam penyimpanan input Produk Data (blok Input Produk Data dalam gambar berikut) dan setelah data diproses dan disediakan untuk pelanggan (blok Komputasi Produk Data dalam gambar berikut).
Dimensi kualitas
Dimensi kualitas data adalah berbagai aspek atau karakteristik yang menentukan kualitas data. Azure Operator Insights mendukung dimensi berikut:
- Akurasi - Mengacu pada seberapa baik data mencerminkan realitas, misalnya, nama, alamat, dan data terbaru yang benar. Akurasi data yang tinggi memungkinkan Anda menghasilkan analitik yang dapat dipercaya dan mengarah pada pelaporan yang benar dan pengambilan keputusan yang percaya diri.
- Kelengkapan - Mengacu pada apakah semua data yang diperlukan untuk penggunaan tertentu ada dan tersedia untuk digunakan. Kelengkapan tidak hanya berlaku di tingkat item data tetapi juga pada tingkat rekaman. Kelengkapan membantu memahami apakah data yang hilang akan memengaruhi keandalan wawasan dari data.
- Keunikan - Mengacu pada tidak adanya duplikat dalam himpunan data.
- Konsistensi - Mengacu pada apakah elemen data yang sama tidak bertentangan di berbagai sumber atau dari waktu ke waktu. Konsistensi memastikan bahwa data seragam dan dapat dibandingkan di berbagai sumber.
- Kewajaran waktu - Mengacu pada apakah data sudah diperbarui dan tersedia saat diperlukan. Kewajaran waktu memastikan bahwa data relevan dan berguna untuk pengambilan keputusan.
- Validitas - Mengacu pada apakah data sesuai dengan sekumpulan aturan atau batasan yang ditentukan.
Metrik
Semua dimensi kualitas data dicakup oleh metrik berkualitas yang diproduksi oleh platform Azure Operator Insights. Ada dua jenis metrik kualitas:
- Dasar - Kumpulan pemeriksaan standar di semua Produk Data.
- Kustom - Serangkaian pemeriksaan kustom, memungkinkan semua Produk Data untuk menerapkan pemeriksaan yang khusus untuk produk mereka.
Metrik kualitas dasar yang dihasilkan oleh platform tersedia dalam tabel berikut.
| Metrik | Dimensi | Sumber data |
|---|---|---|
| Jumlah baris yang diserap | Ketepatan waktu | Tertelan |
| Jumlah baris yang berisi null untuk kolom yang diperlukan | Kelengkapan | Tertelan |
| Jumlah baris yang gagal divalidasi terhadap skema | Validitas | Tertelan |
| Jumlah baris yang difilter | Kelengkapan | Tertelan |
| Jumlah baris yang diproses | Ketepatan waktu | Diproses |
| Jumlah baris yang tidak lengkap, yang tidak berisi data yang diperlukan | Kelengkapan | Diproses |
| Jumlah baris duplikat | Keunikan | Diproses |
| Persentil untuk jeda keseluruhan antara pembuatan rekaman dan tersedia untuk kueri | Ketepatan waktu | Diproses |
| Persentil untuk jeda antara pembuatan rekaman dan diserap ke dalam penyimpanan input | Ketepatan waktu | Diproses |
| Persentil untuk jeda antara data yang diserap dan diproses | Ketepatan waktu | Diproses |
| Persentil untuk jeda antara data yang diproses dan tersedia untuk kueri | Ketepatan waktu | Diproses |
| Usia untuk tampilan materialisasi | Ketepatan waktu | Diproses |
Metrik kualitas data kustom diimplementasikan berdasarkan per Produk Data. Metrik ini mencakup dimensi akurasi dan konsistensi. Dokumentasi Produk Data berisi deskripsi untuk metrik kualitas kustom yang tersedia.
Pemantauan
Semua Produk Data Wawasan Operator Azure disebarkan dengan dasbor yang menunjukkan metrik berkualitas. Anda dapat menggunakan dasbor untuk memantau kualitas data mereka.
Semua metrik kualitas data disimpan ke tabel Data Product ADX. Untuk eksplorasi metrik kualitas data, Anda dapat menggunakan titik akhir KQL Produk Data standar lalu memperluas dasbor jika perlu.