Azure Synapse Analytics ile veri tümleştirme ve analiz çözümü tasarlama
Azure Synapse Analytics , büyük veri analizi, kurumsal veri depolama ve veri tümleştirme özelliklerini birleştirir. Hizmet, sunucusuz veriler veya büyük ölçekteki veriler üzerinde sorgu çalıştırmanıza olanak tanır. Azure Synapse veri alımını, keşfetmeyi, dönüştürmeyi ve yönetimi destekler ve tüm IŞ zekası ve makine öğrenmesi gereksinimleriniz için analizi destekler.
Azure Synapse Analytics hakkında bilinmesi gerekenler
Azure Synapse Analytics, yüksek düzeyde paralel işleme (MPP) mimarisi uygular ve aşağıdaki özelliklere sahiptir.
Azure Synapse Analytics mimarisi bir denetim düğümü ve işlem düğümleri havuzu içerir.
Denetim düğümü, mimarinin beynidir. Tüm uygulamalarla etkileşim kuran ön uçtur. İşlem düğümleri, hesaplama gücü sağlar. İşlenecek veriler düğümlere eşit şekilde dağıtılır.
Sorguları Transact-SQL deyimleriyle gönderirsiniz ve Azure Synapse Analytics bunları çalıştırır.
Azure Synapse, ilişkisel ve ilişkisel olmayan kaynaklardan veri almanıza ve sorgulamanıza olanak tanıyan PolyBase adlı bir teknoloji kullanır. 'de okunan verileri Azure Synapse hizmetinde SQL tabloları olarak kaydedebilirsiniz.
Azure Synapse Analytics bileşenleri
Azure Synapse Analytics beş öğeden oluşur:
- Azure Synapse SQL havuzu: Synapse SQL, düğüm tabanlı bir mimariyle çalışmak için hem sunucusuz hem de ayrılmış kaynak modelleri sunar. Tahmin edilebilir performans ve maliyet için ayrılmış SQL havuzları oluşturabilirsiniz. Düzensiz veya planlanmamış iş yükleri için her zaman kullanılabilir, sunucusuz SQL uç noktasını kullanabilirsiniz.
- Azure Synapse Spark havuzu: Bu havuz, verileri işlemek için Apache Spark çalıştıran bir sunucu kümesidir. Desteklenen dört dilden birini kullanarak veri işleme mantığınızı yazarsınız: Python, Scala, SQL ve C# (Apache Spark için .NET aracılığıyla). Azure Synapse için Apache Spark, Apache Spark'ı (veri hazırlama, veri mühendisliği, ETL ve makine öğrenmesi için kullanılan açık kaynak büyük veri altyapısı) tümleştirir.
- Azure Synapse Pipelines: Azure Synapse Pipelines, Azure Data Factory'nin özelliklerini uygular. İşlem hatları, büyük ölçekte veri taşıma ve dönüştürme işlemleri için veri odaklı iş akışları oluşturmanıza olanak tanıyan bulut tabanlı ETL ve veri tümleştirme hizmetidir. Verileri aktarılırken dönüştüren etkinlikler ekleyebilir veya birden çok kaynaktan verileri bir araya getirebilirsiniz.
- Azure Synapse Link: Bu bileşen, Azure Cosmos DB'ye bağlanmanızı sağlar. Azure Cosmos DB veritabanında depolanan operasyonel veriler üzerinde neredeyse gerçek zamanlı analiz gerçekleştirmek için kullanabilirsiniz.
- Azure Synapse Studio: Bu öğe, Azure Synapse Analytics'in tüm özellikleriyle çalışmak için merkezi olarak kullanılabilen web tabanlı bir IDE'dir. SQL ve Spark havuzları oluşturmak, işlem hatlarını tanımlayıp çalıştırmak ve dış veri kaynaklarına bağlantıları yapılandırmak için Azure Synapse Studio'yu kullanabilirsiniz.
Analitik seçenekler
Azure Synapse Analytics çeşitli analiz senaryolarını destekler. Tabloyu gözden geçirirken senaryoların Tailwind Traders kuruluşu için nasıl uygulandığını düşünün.
| Analiz | Senaryo | Açıklama |
|---|---|---|
| Açıklayıcı | Ne oluyor? | Azure Synapse, şimdi sorulan soruları analiz etmek için kalıcı bir veri ambarı oluşturmanıza olanak tanıyan ayrılmış SQL havuzu özelliğini uygular. Veri ambarını etkileşimli olarak oluşturmak üzere bir veri gölünde depolanan dosyalardan veri hazırlamak için sunucusuz SQL havuzunu kullanabilirsiniz. |
| Tanısal | Neden oluyor? | Azure Synapse'de sunucusuz SQL havuzu özelliğini kullanarak bir veri gölündeki verileri etkileşimli olarak keşfedebilirsiniz. Sunucusuz SQL havuzları, bir kullanıcının soruların nedenini anlamasına yardımcı olabilecek diğer verileri hızla aramasına olanak sağlayabilir. |
| Öngörücü | Ne olma olasılığı var? | Azure Synapse Analytics, tahmine dayalı analiz için tümleşik Apache Spark altyapısını ve Azure Synapse Spark havuzlarını kullanır. Gelecekteki soruları yanıtlamanıza yardımcı olmak için bu eylemi Azure Machine Learning Services ve Azure Databricks gibi diğer hizmetlerle birleştirir. |
| Kuralcı | Yapılması gerekenler ne? | Hangi eylem sorularınızın çözümlerini belirlemenize yardımcı olması için açıklayıcı analizi gerçek zamanlı veya neredeyse gerçek zamanlı olarak kullanabilirsiniz. Azure Synapse Analytics, Apache Spark ve Azure Synapse Link aracılığıyla ve Azure Stream Analytics gibi akış teknolojilerini tümleştirerek bu özelliği sağlar. |
İş senaryosu
Şirketin müşterilere borsa bilgileriyle hizmet ettiği bir senaryoyu inceleyelim. Tailwind Traders altyapısını desteklemek için toplu işlem ve akış işlemenin bir birleşimini sağlamanız gerekir. Saniyeye kadar veriler, bilinçli bölünmüş saniye satın alma veya satış kararları almak için anında karar verilmesi gereken gerçek zamanlı izlemelere yardımcı olmak için kullanılabilir. Geçmiş veriler, performans eğilimlerinin görünümü için de aynı derecede önemlidir. Ham veri akışlarına ve bu verilerden türetilen hazırlanmış iş bilgilerine nasıl bir veri ambarı ve veri tümleştirme çözümü sağlamanız önerilir? Azure Synapse Analytics ile dış kaynaklardan veri alabilir ve ardından bu verileri dönüştürüp analiz işlemeye uygun bir biçime toplayabilirsiniz.
Azure Data Factory veya Azure Synapse Analytics'i seçerken dikkat edilmesi gerekenler
Aşağıdaki tabloda Azure Data Factory ile Azure Synapse Analytics'i kullanmaya yönelik depolama çözümü ölçütleri karşılaştırlanmaktadır. Ölçütleri gözden geçirin ve Tailwind Traders için en uygun çözümü göz önünde bulundurun.
| Karşılaştır | Azure Data Factory | Azure Synapse Analytics |
|---|---|---|
| Veri paylaşımı | Veriler farklı veri fabrikaları arasında paylaşılabilir | Desteklenmez |
| Çözüm şablonları | Çözüm şablonları Azure Data Factory şablon galerisiyle sağlanır | Çözüm şablonları Synapse Çalışma Alanı Bilgi merkezinde sağlanır |
| Tümleştirme çalışma zamanı bölgeler arası akışlar | Bölgeler arası veri akışları desteklenir | Desteklenmez |
| Verileri izleme | Veri izleme, Azure İzleyici ile tümleştirilmiştir | Tanılama günlükleri Azure İzleyici'de kullanılabilir |
| Veri akışı için Spark İşlerini izleme | Desteklenmez | Spark İşleri Synapse Spark havuzları kullanılarak veri akışı için izlenebilir |
Azure Synapse Analytics, diğer birçok senaryo için ideal bir çözümdür. Aşağıdaki seçenekleri göz önünde bulundurun:
- Çeşitli veri kaynaklarını göz önünde bulundurun. Kod içermeyen ETL ve veri akışı etkinlikleri için Azure Synapse Analytics kullanan çeşitli veri kaynaklarınız olduğunda.
- Machine Learning'i göz önünde bulundurun. Apache Spark kullanarak Machine Learning çözümleri uygulamanız gerektiğinde, Azure Machine Learning için yerleşik destek için Azure Synapse Analytics'i kullanabilirsiniz.
- Data Lake tümleştirmeyi göz önünde bulundurun. Bir veri gölünde depolanan mevcut verileriniz varsa ve Azure Data Lake ve diğer giriş kaynaklarıyla tümleştirmeye ihtiyacınız varsa, Azure Synapse Analytics iki bileşen arasında sorunsuz tümleştirme sağlar.
- Gerçek zamanlı analizi göz önünde bulundurun. Gerçek zamanlı analize ihtiyacınız olduğunda Azure Synapse Link gibi özellikleri kullanarak verileri gerçek zamanlı olarak analiz edebilir ve içgörüler sunabilirsiniz.