Aracılığıyla paylaş

Veri ambarı ve analiz

Azure Data Lake Storage
Azure Cosmos DB
Azure Data Factory
Azure SQL Veritabanı
Azure Tablo Depolaması

Bu örnek senaryoda, birden çok kaynaktan gelen büyük miktarda veriyi Azure'daki birleşik bir analiz platformuyla tümleştiren bir veri işlem hattı gösterilmektedir. Bu özel senaryo bir satış ve pazarlama çözümünü temel alır, ancak tasarım desenleri e-ticaret, perakende ve sağlık hizmetleri gibi büyük veri kümelerinin gelişmiş analizini gerektiren birçok sektör için geçerlidir.

Mimari

Azure'da veri ambarı ve analiz senaryosu mimarisi

Bu mimarinin Visio dosyasını indirin.

Veri akışı

Veriler çözümde aşağıdaki gibi akar:

  1. Her veri kaynağı için tüm güncelleştirmeler düzenli aralıklarla Azure Data Lake Storage'daki bir hazırlama alanına aktarılır.
  2. Azure Data Factory, Azure Data Lake Storage'daki verileri artımlı olarak Azure Synapse Analytics'teki hazırlama tablolarına yükler. Bu işlem sırasında veriler temizlenip dönüştürülür. PolyBase, büyük veri kümeleri için işlemi paralelleştirebilir.
  3. Ambara yeni bir veri partisi yüklendikten sonra, önceden oluşturulmuş bir Azure Analysis Services tablo modeli yenilenir. Bu anlam modeli, iş verilerinin ve ilişkilerinin analizini basitleştirir.
  4. İş analistleri, Analysis Services anlam modeli aracılığıyla depolanmış verileri analiz etmek için Microsoft Power BI kullanır.

Bileşenler

Şirketin birçok farklı platformda veri kaynakları vardır:

  • Şirket içi ortamdaki SQL Server
  • Şirket içi Oracle
  • Azure SQL Veritabanı
  • Azure tablo depolama
  • Azure Cosmos DB veritabanı

Veriler, çeşitli Azure bileşenleri kullanılarak bu farklı veri kaynaklarından yüklenir:

  • Data Lake Storage , yapılandırılmış ve yapılandırılmamış veriler için ölçeklenebilir bir veri depolama hizmetidir. Bu mimaride, Azure Synapse Analytics verileri yüklemeden önce kaynak verileri hazırlar. Ham veriler için ilk giriş bölgesi görevi görür.
  • Azure Data Factory , bulut tabanlı bir veri tümleştirme hizmetidir. Bu mimaride, hazırlanan verilerin Azure Synapse Analytics'te ortak bir yapıya dönüştürülmesi düzenlenmektedir. Azure Data Factory, aktarım hızını en üst düzeye çıkarmak için Verileri Azure Synapse Analytics'e yüklerken PolyBase kullanır .
  • Azure Synapse Analytics , büyük verileri ve veri ambarını birleştiren dağıtılmış bir analiz sistemidir. Bu mimaride. büyük paralel işleme (MPP) kullanarak büyük veri kümelerini depolar ve analiz eder. Çekirdek analiz altyapısı görevi görür. Azure Synapse Analytics, Data Lake Storage'dan hızla veri yüklemek için PolyBase'i kullanabilir.
  • Analysis Services , anlamsal veri modelleri oluşturmaya yönelik tam olarak yönetilen bir platformdur. Bu mimaride, veri analizini basitleştiren ve sorgu performansını geliştiren bir tablosal anlam modeli sağlar. Her veri yüklemesinden sonra güncel içgörüler sağlamak için Azure Synapse Analytics’te yenilenecek şekilde yapılandırılabilir.
  • Power BI , verileri analiz etmeye ve içgörüleri paylaşmaya yönelik bir iş analizi araçları paketidir. Bu mimaride Power BI, iş analistlerinin verileri keşfetmesine ve görselleştirmesine olanak tanır. Anlamsal sorgulama için Analysis Services'e veya ham veri erişimi için doğrudan Azure Synapse Analytics'e bağlanır.
  • Microsoft Entra Id , bulut tabanlı bir kimlik ve erişim yönetimi hizmetidir. Bu mimaride, Power BI aracılığıyla Analysis Services sunucusuna bağlanan kullanıcıların kimliğini doğrular. Azure Data Factory, Azure kaynakları için bir hizmet sorumlusu veya yönetilen kimlik aracılığıyla Azure Synapse Analytics'de kimlik doğrulaması yapmak için Microsoft Entra Id'yi de kullanabilir.

Alternatifler

  • Örnek işlem hattı birkaç farklı türde veri kaynağı içerir. Bu mimari çok çeşitli ilişkisel ve ilişkisel olmayan veri kaynaklarını işleyebilir.

  • Data Factory, veri işlem hattınızın iş akışlarını düzenler. Verileri yalnızca bir kez veya isteğe bağlı olarak yüklemek istiyorsanız, verileri Azure Data Lake Storage'a kopyalamak için SQL Server toplu kopyalama (bcp) ve AzCopy gibi araçları kullanabilirsiniz. Ardından PolyBase kullanarak verileri doğrudan Azure Synapse'e yükleyebilirsiniz.

  • Büyük ölçekli veri kümeleriniz varsa analiz verileri için sınırsız depolama sağlayan Data Lake Storage'ı kullanmayı göz önünde bulundurun.

  • Azure Synapse, OLTP iş yükleri veya 250 GB'tan küçük veri kümeleri için uygun değildir. Bu durumlarda Azure SQL Veritabanı veya SQL Server kullanmanız gerekir.

  • Diğer alternatiflerin karşılaştırmaları için bkz:

Senaryo ayrıntıları

Bu örnekte teşvik programları oluşturan bir satış ve pazarlama şirketi gösterilmektedir. Bu programlar müşterileri, tedarikçileri, satış temsilcileri ve çalışanları ödüllendirmektedir. Veriler bu programlar için temeldir ve şirket, Azure'ı kullanarak veri analizi aracılığıyla elde edilen içgörüleri geliştirmek istiyor.

Şirketin verileri analiz etmek için modern bir yaklaşıma ihtiyacı vardır, böylece kararlar doğru zamanda doğru veriler kullanılarak alınıyor. Şirketin hedefleri şunlardır:

  • Farklı türlerdeki veri kaynaklarını bulut ölçeğinde bir platformda birleştirme.
  • Verilerin tutarlı ve kolayca karşılaştırılması için kaynak verileri ortak bir taksonomiye ve yapıya dönüştürme.
  • Şirket içi altyapıyı dağıtmanın ve bakımının yüksek maliyetleri olmadan binlerce teşvik programını destekleyebilecek yüksek derecede paralel bir yaklaşım kullanarak veri yükleme.
  • Verileri toplamak ve dönüştürmek için gereken süreyi büyük ölçüde azaltarak verileri analiz etmeye odaklanabilirsiniz.

Olası kullanım örnekleri

Bu yaklaşım şunları yapmak için de kullanılabilir:

  • Verileriniz için tek bir gerçek kaynağı olacak bir veri ambarı oluşturun.
  • İlişkisel veri kaynaklarını diğer yapılandırılmamış veri kümeleriyle tümleştirin.
  • Daha basit veri analizi için anlamsal modelleme ve güçlü görselleştirme araçlarını kullanın.

Dikkat edilmesi gereken noktalar

Bu önemli noktalar, iş yükünün kalitesini artırmak için kullanabileceğiniz bir dizi yol gösteren ilke olan Azure Well-Architected Framework'ün yapı taşlarını uygular. Daha fazla bilgi için bkz. Well-Architected Framework.

Bu mimarideki teknolojiler, şirketin ölçeklenebilirlik ve kullanılabilirlik gereksinimlerini karşılayıp maliyetleri denetlemelerine yardımcı olduğu için seçildi.

Maliyet İyileştirme

Maliyet İyileştirme, gereksiz giderleri azaltmanın ve operasyonel verimlilikleri iyileştirmenin yollarına odaklanır. Daha fazla bilgi için bkz . Maliyet İyileştirme için tasarım gözden geçirme denetim listesi.

Azure fiyatlandırma hesaplayıcısı aracılığıyla veri ambarı senaryosu için fiyatlandırma örneğini gözden geçirin. Gereksinimlerinizin maliyetlerinizi nasıl etkilediğini görmek için değerleri ayarlayın.

  • Azure Synapse , işlem ve depolama düzeylerinizi bağımsız olarak ölçeklendirmenize olanak tanır. İşlem kaynakları saatte bir ücretlendirilir ve bu kaynakları isteğe bağlı olarak ölçeklendirebilir veya duraklatabilirsiniz. Depolama kaynakları terabayt başına faturalandırılır, bu nedenle daha fazla veri aldıkça maliyetleriniz artar.
  • Data Factory maliyetleri, bir iş yükünde gerçekleştirilen okuma/yazma işlemlerinin, izleme işlemlerinin ve düzenleme etkinliklerinin sayısını temel alır. Her ek veri akışı ve her biri tarafından işlenen veri miktarı ile veri fabrikası maliyetleriniz artar.
  • Analysis Services Geliştirici, Temel ve Standart katmanlarında kullanılabilir. Örnekler, sorgu işleme birimlerine (QPU) ve kullanılabilir belleğe göre fiyatlendirilir. Maliyetlerinizi daha düşük tutmak için çalıştırdığınız sorgu sayısını, ne kadar veri işlediklerini ve ne sıklıkta çalıştırdıklarını en aza indirin.
  • Power BI'ın farklı gereksinimler için farklı ürün seçenekleri vardır. Power BI Embedded , Uygulamalarınıza Power BI işlevselliği eklemek için Azure tabanlı bir seçenek sağlar. Yukarıdaki fiyatlandırma örneğine bir Power BI Embedded örneği dahildir.

Katkıda Bulunanlar

Bu makale Microsoft tarafından yönetilir. Başlangıçta aşağıdaki katkıda bulunan tarafından yazılmıştır.

Asıl yazar:

Genel olmayan LinkedIn profillerini görmek için LinkedIn'de oturum açın.

Sonraki adımlar