Veri ambarı mimarisini açıklama
Büyük ölçekli veri analizi mimarisi, bunu uygulamak için kullanılan belirli teknolojilere göre farklılık gösterebilir; ancak genel olarak aşağıdaki öğelere yer verilmiştir:
- Veri alımı ve işlenmesi : Bir veya daha fazla işlem veri deposundan, dosyadan, gerçek zamanlı akıştan veya diğer kaynaklardan gelen veriler bir veri gölüne veya ilişkisel veri ambarı'na yüklenir. Yük işlemi genellikle verilerin temizlendiği, filtrelendiği ve analiz için yeniden yapılandırıldığı ayıklama , dönüştürme ve yükleme (ETL) veya ayıklama, yükleme ve dönüştürme (ELT) işlemini içerir. ETL işlemlerinde veriler analiz deposuna yüklenmeden önce dönüştürülürken ELT işleminde veriler depoya kopyalanır ve sonra dönüştürülür. Her iki durumda da, sonuçta elde edilen veri yapısı analiz sorguları için iyileştirilmiştir. Veri işleme genellikle çok düğümlü kümeleri kullanarak yüksek hacimli verileri paralel olarak işleyebilen dağıtılmış sistemler tarafından gerçekleştirilir. Veri alımı hem statik verilerin toplu olarak işlenmesini hem de akış verilerinin gerçek zamanlı işlenmesini içerir.
- Analitik veri deposu : Büyük ölçekli analizler için veri depoları ilişkisel veri ambarlarını, dosya sistemi tabanlı veri göllerini ve veri ambarlarının ve veri göllerinin özelliklerini birleştiren karma mimarileri (bazen data lakehouses veya lake veritabanları olarak adlandırılır) içerir. Bunları daha sonra daha ayrıntılı olarak ele alacağız.
- Analitik veri modeli : Veri analistleri ve veri bilimcileri verilerle doğrudan analiz veri deposunda çalışabilirken, raporların, panoların ve etkileşimli görselleştirmelerin oluşturulmasını kolaylaştırmak için verileri önceden toplayan bir veya daha fazla veri modeli oluşturmak yaygındır. Genellikle bu veri modelleri, sayısal veri değerlerinin bir veya daha fazla boyutta (örneğin, ürüne ve bölgeye göre toplam satışı belirlemek için) toplandığı küpler olarak tanımlanır. Model, "detaya gitme/detaya gitme" analizini desteklemek için veri değerleri ve boyutlu varlıklar arasındaki ilişkileri kapsüller.
- Veri görselleştirme : Veri analistleri analiz modellerindeki verileri ve doğrudan analiz depolarından raporlar, panolar ve diğer görselleştirmeler oluşturmak için tüketir. Ayrıca, bir kuruluştaki teknoloji uzmanı olmayan kullanıcılar self servis veri analizi ve raporlaması gerçekleştirebilir. Verilerdeki görselleştirmeler, bir işletmenin veya başka bir kuruluşun eğilimlerini, karşılaştırmalarını ve önemli performans göstergelerini (KPI) gösterir ve belgelerde veya PowerPoint sunularında, web tabanlı panolarda ve kullanıcıların verileri görsel olarak keşfedebileceği etkileşimli ortamlarda basılı raporlar, grafikler ve grafikler biçiminde olabilir.