Çözüm fikirleri
Bu makalede bir çözüm fikri açıklanmaktadır. Bulut mimarınız bu mimarinin tipik bir uygulaması için ana bileşenleri görselleştirmeye yardımcı olmak için bu kılavuzu kullanabilir. İş yükünüzün özel gereksinimlerine uygun iyi tasarlanmış bir çözüm tasarlamak için bu makaleyi başlangıç noktası olarak kullanın.
Bu makalede, Azure'da kurumsal veri ambarı için aşağıdakiler için bir çözüm sunulur:
- Ölçek veya biçim ne olursa olsun tüm verilerinizi bir araya getirir.
- Tüm kullanıcılarınıza analiz panoları, operasyonel raporlar ve gelişmiş analizler aracılığıyla verilerinizden içgörüler elde etmek için bir yol sağlar.
Apache® ve Apache Spark, Apache Software Foundation'ın Birleşik Devletler ve/veya diğer ülkelerdeki kayıtlı ticari markaları veya ticari markalarıdır. Bu işaretlerin kullanılması Apache Software Foundation tarafından onaylanmamaktadır.
Mimari
Bu mimarinin bir Visio dosyasını indirin.
Veri akışı
- Azure Synapse Analytics işlem hatları günlükler, dosyalar ve medya gibi yapılandırılmış, yapılandırılmamış ve yarı yapılandırılmış verileri bir araya getirir. İşlem hatları verileri Azure Data Lake Storage'da depolar.
- Azure Synapse Analytics'teki Apache Spark havuzları Data Lake Storage verilerini temizler ve dönüştürür.
- Azure Synapse Analytics, işlenen verileri mevcut yapılandırılmış verilerle birleştirerek tek bir birleşik veri hub'ı oluşturur.
- Ayrılmış BIR SQL havuzu, verileri içgörüler türeten operasyonel raporlar ve analiz panoları için kullanılabilir hale getirir. Azure Analysis Services, raporları ve panoları binlerce son kullanıcıya sunar.
Bileşenler
- Azure Synapse Analytics , veri ambarları ve büyük veri sistemleri için bir analiz hizmetidir. Bu araç, yüksek düzeyde paralel bir işleme mimarisi kullanır ve Azure hizmetleriyle derin tümleştirmeye sahiptir.
- Azure Synapse Analytics işlem hatları ayıklama, yükleme, dönüştürme (ELT) ve ayıklama, dönüştürme, yükleme (ETL) iş akışları gibi iş akışlarını oluşturmanıza, zamanlamanıza ve düzenlemenize olanak tanır.
- Azure Blob Depolama görüntüler, videolar, ses, belgeler ve daha fazlası gibi yapılandırılmamış her tür veri için yüksek düzeyde ölçeklenebilir, uygun maliyetli nesne depolama alanı sağlar.
- Data Lake Storage , büyük miktarda veriyi yerel, ham biçiminde tutan bir depolama deposudur. Data Lake Storage, Blob Depolama'nın üzerine kurulmuştur. Sonuç olarak Data Lake Storage, Blob Depolama'nın ölçeklenebilirlik, katmanlı depolama, yüksek kullanılabilirlik ve olağanüstü durum kurtarma özelliklerini sunar.
- Azure Synapse Analytics Spark havuzları , büyük veri analizi uygulamalarının performansını artırmak için bellek içi işlemeyi destekleyen paralel bir işleme çerçevesi sağlar.
- Analysis Services , kullanıcıların geçici veri analizi gerçekleştirmesi için kolay bir yol sağlayan kurumsal düzeyde bir analiz altyapısıdır. İş çözümlerini büyük ölçekte yönetmek, test etmek ve sunmak için Analysis Services'i kullanabilirsiniz.
- Power BI , kuruluşunuz genelinde içgörüler sunan bir iş analizi araçları paketidir. Power BI'ı kullanarak yüzlerce veri kaynağına bağlanabilir, veri hazırlamayı basitleştirebilir ve geçici analiz sağlayabilirsiniz. Ayrıca, kuruluşunuz için web'de ve mobil cihazlarda kullanmak üzere güzel raporlar oluşturabilir ve yayımlayabilirsiniz.
Senaryo ayrıntıları
Kurumsal veri ambarı kaynak, biçim veya ölçek ne olursa olsun tüm verilerinizi bir araya getirir. Veri ambarı ayrıca analiz panoları, operasyonel raporlar ve gelişmiş analizler aracılığıyla içgörüler elde edebilmeniz için verileriniz üzerinde yüksek performanslı analizler çalıştırmanız için bir yol sağlar.
Bu çözüm, şu şekilde bir veri ambarı oluşturur:
- Verileriniz için tek bir gerçek kaynağıdır.
- İlişkisel veri kaynaklarını diğer yapılandırılmamış veri kümeleriyle tümleştirir.
- Daha basit veri analizi için anlamsal modelleme ve güçlü görselleştirme araçlarını kullanır.
Bu çözüm, verileri birleşik bir platformla tümleştirmek için Azure Synapse Analytics işlem hatlarını kullanır. Bu işlem hatları ELT ve ETL özellikleri sunar. Özellikle, veri temelli iş akışlarındaki verileri taşımak için işlem hatlarını kullanabilirsiniz. İşlem hatları çeşitli veri biçimleri ve yapıları ile çalışır.
İşlem hatları, verileri Blob Depolama üzerinde oluşturulan Data Lake Storage'da depolar. Bu depolama hizmeti büyük miktarlarda yapılandırılmamış verileri işleyebilir.
Azure Synapse Analytics Spark havuzları çözümün önemli bir parçasını oluşturur. Bu havuzlar, Azure'da depolanan verileri temizler ve dönüştürür. Paralel işleme çerçeveleri, hız ve verimlilik için bellek içi işlemeyi destekler. Havuzlar gerektiğinde düğüm ekleyip kaldırabilmeleri için otomatik ölçeklendirmeyi de destekler.
Ayrılmış BIR SQL havuzu, işlenen verilerin yüksek performanslı analiz için kullanılabilir olmasını sağlar. Bu havuz, verileri sütunlu depolama ile ilişkisel tablolarda depolar ve veri depolama maliyetini önemli ölçüde azaltan bir biçimdir. Ayrıca yüksek ölçekte analiz çalıştırabilmeniz için sorgu performansını artırır.
Olası kullanım örnekleri
Bu çözümü, büyük hacimli verileri içeren aşağıdakiler gibi senaryolarda kullanabilirsiniz:
- IoT cihaz tümleştirmesi
- Müşteri veri platformları
- Doğal dil işleme
- Makine öğrenmesi algoritmaları
Fiyatlandırma
Bu çözümün maliyetinin tahminini görüntülemek için fiyatlandırma hesaplayıcısındaki bir fiyatlandırma örneğine bakın.
Sonraki adımlar
- Azure Synapse Analytics belgeleri
- Azure Synapse Analytics işlem hatları belgeleri
- Azure'da nesne depolamaya giriş
- Azure Synapse Analytics Spark havuzları
- Analysis Services belgeleri
- Power BI belgeleri