Azure veri ekosistemini anlama
Modern analiz, birçok kaynaktan verileri depolayıp dönüştürebilen araçlar gerektirir. Bu ünitede Azure veri depolama çözümleri, veri alımı ve veri işleme hakkında bilgi edineceksiniz.
Relecloud'un CEO'sunda bir analiz çözümü sunmadan önce, veri ekibinin verilerin nereden geleceğini, hangi formlardaki verilerin bulunacağını ve beklenen gelen verilerin ölçeğini ve sıklığını net bir şekilde anlanması gerekir. Yapılandırılmış gereksinimleri toplamadan önce, önemli veri kavramlarını gözden geçirmek için ekiple birlikte oturursunuz.
Azure veri depolama çözümleri
Azure Depolama hesapları Azure'daki temel depolama türüdür. Azure Depolama, buluttaki veri nesneleri ve dosya sistemi hizmetleri için ölçeklenebilir bir nesne deposu sunar.
Analiz çözümünde, farklı kaynaklardan alınan veriler birleştirilir ve kullanıma hazırlanır. Veriler bir data lake deposunda veya veritabanında dosya olarak depolanabilir. Veri analistinin analiz araçları kullanılarak sorgulanabilen bir biçimde işlenen verilere hizmet veren bir analitik veri deposu hakkında bilgi sahibi olması gerekirken, Azure'daki temel depolama türlerini anlamak veri mühendisi için önemlidir.
Yukarıdaki resimde kırmızıyla özetlenen alanlar, veri analistlerinin verileri anlamlandırabilmek için kullandığı analiz çözümünün parçalarını vurgular.
Dekont
Azure'da veri depolama ve analiz veri depoları için teknoloji seçenekleri hakkında daha fazla bilgi edinin.
Veri alımını ve bilgi işlem
Veri alımı , analiz veri deposunda hemen kullanmak veya depolamak için verileri alma ve içeri aktarma işlemidir.
Veri işleme , bir işlem aracılığıyla ham verilerin anlamlı bilgilere dönüştürülmesidir. Verilerin sisteminize nasıl alınabileceğine bağlı olarak, her veri öğesini geldikçe işleyebilirsiniz veya ham verileri arabelleğe alıp gruplar halinde işleyebilirsiniz. Verilerin geldikleri zaman işlenmesi akış olarak adlandırılır. Verilerin arabelleğe alınması ve gruplar halinde işlenmesi toplu işlem olarak adlandırılır.
Toplu işlemede, yeni gelen veri öğeleri bir gruba toplanır. Grubun tamamı sonraki bir zamanda toplu olarak işlenir. Tam olarak her grubun işlendiği zaman birçok şekilde belirlenebilir. Örneğin, zamanlanmış bir zaman aralığına göre (örneğin, her saat) verileri işleyebilir veya belirli bir miktarda veri geldiğinde tetiklenebilir. Hesap işlemleri aylık olarak işlendiğinden ve faturalandırıldığından Relecloud'un aylık faturalama işlemi toplu işlemeye iyi bir örnektir.
Dekont
Toplu işleme, eski veri sistemlerinden gelen büyük veri kümeleri veya veriler için en uygun olan en yaygın veri işleme türüdür. Toplu işleme hızlı analiz ve karar alma için uygun değildir.
Akış işlemede, her yeni veri parçası geldiğinde işlenir. Örneğin veri alımı doğal olarak bir akış işlemidir.
Akışta veriler gerçek zamanlı olarak işlenir. Toplu işlemden farklı olarak, sonraki toplu işlem aralığına kadar beklenmez ve veriler bir kerede toplu olarak değil tek tek parçalar halinde işlenir. Akış verilerini işleme yöntemi sürekli olarak yeni, dinamik verilerin oluşturulduğu senaryoların çoğunda yararlı olur.
Bir sahtekarlık departmanı gerçek zamanlı sahtekarlık ve anomali algılamayı işlemek için akış işlemeyi kullanır.
Dekont
Akış işleme, gerçek zamanlı analiz gerektiren projeler için idealdir ve karmaşık analiz gerektiren projeler için daha az uygundur.
Veri işleme genellikle analiz veri deposunun yukarı akışında gerçekleşse de, analistlerin uygun analiz çözümünü oluşturmak için verilerin nasıl ve hangi sıklıkta alındığını anlaması kritik önem taşır.