Bu örnek senaryoda, birden çok kaynaktan gelen büyük miktarda veriyi Azure'daki birleşik bir analiz platformuyla tümleştiren bir veri işlem hattı gösterilmektedir. Bu özel senaryo bir satış ve pazarlama çözümünü temel alır, ancak tasarım desenleri e-ticaret, perakende ve sağlık hizmetleri gibi büyük veri kümelerinin gelişmiş analizini gerektiren birçok sektör için geçerlidir.
Mimari
Bu mimarinin bir Visio dosyasını indirin.
Veri akışı
Veriler çözümde aşağıdaki gibi akar:
- Her veri kaynağı için tüm güncelleştirmeler düzenli aralıklarla Azure Data Lake Depolama'daki bir hazırlama alanına aktarılır.
- Azure Data Factory, Azure Data Lake Depolama verilerini artımlı olarak Azure Synapse Analytics'teki hazırlama tablolarına yükler. Bu işlem sırasında veriler temizlenip dönüştürülür. PolyBase, büyük veri kümeleri için işlemi paralelleştirebilir.
- Ambara yeni bir veri toplu işlemi yüklendikten sonra, önceden oluşturulmuş bir Azure Analysis Services tablolu modeli yenilenir. Bu anlam modeli, iş verilerinin ve ilişkilerinin analizini basitleştirir.
- İş analistleri, Analysis Services anlam modeli aracılığıyla depolanmış verileri analiz etmek için Microsoft Power BI kullanır.
Bileşenler
Şirketin birçok farklı platformda veri kaynakları vardır:
- Şirket içi ortamdaki SQL Server
- Şirket içi Oracle
- Azure SQL Veritabanı
- Azure tablo depolama
- Azure Cosmos DB
Veriler, çeşitli Azure bileşenleri kullanılarak bu farklı veri kaynaklarından yüklenir:
- Azure Data Lake Depolama, kaynak verileri Azure Synapse'e yüklenmeden önce hazırlamak için kullanılır.
- Data Factory , hazırlanan verilerin Azure Synapse'te ortak bir yapıya dönüştürülmesi için düzenlemede bulunur. Data Factory , aktarım hızını en üst düzeye çıkarmak için Verileri Azure Synapse'e yüklerken PolyBase kullanır.
- Azure Synapse , büyük veri kümelerini depolamak ve analiz etmek için kullanılan dağıtılmış bir sistemdir. Yüksek performanslı paralel işleme (MPP) kullanımı, yüksek performanslı analiz çalıştırmaya uygun hale getirir. Azure Synapse, Azure Data Lake Depolama'dan hızla veri yüklemek için PolyBase'i kullanabilir.
- Analysis Services verileriniz için bir anlam modeli sağlar. Ayrıca verilerinizi analiz ederken sistem performansını artırabilir.
- Power BI , verileri analiz etmeye ve içgörüleri paylaşmaya yönelik bir iş analizi araçları paketidir. Power BI, Analysis Services'te depolanan bir anlam modelini sorgulayabilir veya Azure Synapse'i doğrudan sorgulayabilir.
- Microsoft Entra Id , Power BI aracılığıyla Analysis Services sunucusuna bağlanan kullanıcıların kimliğini doğrular. Data Factory, Azure kaynakları için hizmet sorumlusu veya Yönetilen kimlik aracılığıyla Azure Synapse'de kimlik doğrulaması yapmak için Microsoft Entra Id'yi de kullanabilir.
Alternatifler
Örnek işlem hattı birkaç farklı türde veri kaynağı içerir. Bu mimari çok çeşitli ilişkisel ve ilişkisel olmayan veri kaynaklarını işleyebilir.
Data Factory, veri işlem hattınızın iş akışlarını düzenler. Verileri yalnızca bir kez veya isteğe bağlı olarak yüklemek istiyorsanız, verileri Azure Data Lake Depolama'a kopyalamak için SQL Server toplu kopyalama (bcp) ve AzCopy gibi araçları kullanabilirsiniz. Ardından PolyBase kullanarak verileri doğrudan Azure Synapse'e yükleyebilirsiniz.
Çok büyük veri kümeleriniz varsa analiz verileri için sınırsız depolama sağlayan Data Lake Depolama kullanmayı göz önünde bulundurun.
Azure Synapse, OLTP iş yükleri veya 250 GB'tan küçük veri kümeleri için uygun değildir. Bu durumlarda Azure SQL Veritabanı veya SQL Server kullanmanız gerekir.
Diğer alternatiflerin karşılaştırmaları için bkz:
Senaryo ayrıntıları
Bu örnekte teşvik programları oluşturan bir satış ve pazarlama şirketi gösterilmektedir. Bu programlar müşterileri, tedarikçileri, satış temsilcileri ve çalışanları ödüllendirmektedir. Veriler bu programlar için temeldir ve şirket, Azure'ı kullanarak veri analizi aracılığıyla elde edilen içgörüleri geliştirmek istiyor.
Şirketin verileri analiz etmek için modern bir yaklaşıma ihtiyacı vardır, böylece kararlar doğru zamanda doğru veriler kullanılarak alınıyor. Şirketin hedefleri şunlardır:
- Farklı türlerdeki veri kaynaklarını bulut ölçeğinde bir platformda birleştirme.
- Verilerin tutarlı ve kolayca karşılaştırılması için kaynak verileri ortak bir taksonomiye ve yapıya dönüştürme.
- Şirket içi altyapıyı dağıtmanın ve bakımının yüksek maliyetleri olmadan binlerce teşvik programlarını destekleyebilecek yüksek oranda paralelleştirilmiş bir yaklaşım kullanarak veri yükleme.
- Verileri toplamak ve dönüştürmek için gereken süreyi büyük ölçüde azaltarak verileri analiz etmeye odaklanabilirsiniz.
Olası kullanım örnekleri
Bu yaklaşım şunları yapmak için de kullanılabilir:
- Verileriniz için tek bir gerçek kaynağı olacak bir veri ambarı oluşturun.
- İlişkisel veri kaynaklarını diğer yapılandırılmamış veri kümeleriyle tümleştirin.
- Daha basit veri analizi için anlamsal modelleme ve güçlü görselleştirme araçlarını kullanın.
Dikkat edilmesi gereken noktalar
Bu önemli noktalar, bir iş yükünün kalitesini artırmak için kullanılabilecek bir dizi yol gösteren ilke olan Azure İyi Tasarlanmış Çerçeve'nin yapı taşlarını uygular. Daha fazla bilgi için bkz . Microsoft Azure İyi Tasarlanmış Çerçeve.
Bu mimarideki teknolojiler, şirketin ölçeklenebilirlik ve kullanılabilirlik gereksinimlerini karşılayıp maliyetleri denetlemelerine yardımcı olduğu için seçildi.
- Azure Synapse'in yüksek düzeyde paralel işleme mimarisi ölçeklenebilirlik ve yüksek performans sağlar.
- Azure Synapse, yüksek kullanılabilirlik elde etmek için SLA'ları ve önerilen uygulamaları garanti eder.
- Analiz etkinliği düşük olduğunda, şirket Azure Synapse'i isteğe bağlı olarak ölçeklendirebilir ve maliyetleri düşürmek için işlemi azaltabilir ve hatta duraklatabilir.
- Yüksek sorgu iş yükleri sırasında yanıt sürelerini azaltmak için Azure Analysis Services ölçeği genişletilebilir. ayrıca, işlemleri işleyerek istemci sorgularının yavaşlamayacak şekilde işlemeyi sorgu havuzundan ayırabilirsiniz.
- Azure Analysis Services ayrıca yüksek kullanılabilirlik elde etmek için SLA'ları ve önerilen uygulamaları garanti eder.
- Azure Synapse güvenlik modeli, Microsoft Entra Id veya SQL Server kimlik doğrulaması aracılığıyla bağlantı güvenliği, kimlik doğrulaması ve yetkilendirme ve şifreleme sağlar. Azure Analysis Services , kimlik yönetimi ve kullanıcı kimlik doğrulaması için Microsoft Entra Id kullanır.
Maliyet iyileştirme
Maliyet iyileştirmesi, gereksiz giderleri azaltmanın ve operasyonel verimlilikleri iyileştirmenin yollarını aramaktır. Daha fazla bilgi için bkz . Maliyet iyileştirme sütununa genel bakış.
Azure fiyatlandırma hesaplayıcısı aracılığıyla veri ambarı senaryosu için fiyatlandırma örneğini gözden geçirin. Gereksinimlerinizin maliyetlerinizi nasıl etkilediğini görmek için değerleri ayarlayın.
- Azure Synapse , işlem ve depolama düzeylerinizi bağımsız olarak ölçeklendirmenize olanak tanır. İşlem kaynakları saatte bir ücretlendirilir ve bu kaynakları isteğe bağlı olarak ölçeklendirebilir veya duraklatabilirsiniz. Depolama kaynaklar terabayt başına faturalandırılır, bu nedenle daha fazla veri aldıkça maliyetleriniz artar.
- Data Factory maliyetleri, bir iş yükünde gerçekleştirilen okuma/yazma işlemlerinin, izleme işlemlerinin ve düzenleme etkinliklerinin sayısını temel alır. Her ek veri akışı ve her biri tarafından işlenen veri miktarı ile Data Factory maliyetleriniz artar.
- Analysis Services geliştirici, temel ve standart katmanlarda kullanılabilir. Örnekler, sorgu işleme birimlerine (QPU) ve kullanılabilir belleğe göre fiyatlendirilir. Maliyetlerinizi daha düşük tutmak için çalıştırdığınız sorgu sayısını, ne kadar veri işlediklerini ve ne sıklıkta çalıştırdıklarını en aza indirin.
- Power BI'ın farklı gereksinimler için farklı ürün seçenekleri vardır. Power BI Embedded , Uygulamalarınıza Power BI işlevselliği eklemek için Azure tabanlı bir seçenek sağlar. Yukarıdaki fiyatlandırma örneğine bir Power BI Embedded örneği dahildir.
Katkıda Bulunanlar
Bu makale Microsoft tarafından yönetilir. Başlangıçta aşağıdaki katkıda bulunan tarafından yazılmıştır.
Asıl yazar:
- Alex Buck | Kıdemli İçerik Geliştirici
Genel olmayan LinkedIn profillerini görmek için LinkedIn'de oturum açın.
Sonraki adımlar
Azure'da bu mimarinin bir örneğini dağıtma yönergelerini içeren otomatik kurumsal BI için Azure başvuru mimarisini gözden geçirin.
Bu senaryoda kullanılan hizmetler hakkında daha fazla bilgi edinin: