Düzenle

Azure Veri Gezgini ile büyük veri analizi

Azure Data Explorer
Azure Event Hubs
Azure IoT Hub
Azure Storage
Azure Synapse Analytics

Çözüm fikirleri

Bu makale bir çözüm fikridir. İçeriği olası kullanım örnekleri, alternatif hizmetler, uygulama konuları veya fiyatlandırma kılavuzu gibi daha fazla bilgiyle genişletmemizi isterseniz GitHub geri bildirimi sağlayarak bize bildirin.

Bu çözüm fikri, çeşitli kaynaklardan gelen büyük hacimli yüksek hızlı veriler üzerinde büyük veri analizini gösterir.

Apache® ve Apache Kafka®, Apache Software Foundation'ın Birleşik Devletler ve/veya diğer ülkelerdeki kayıtlı ticari markaları veya ticari markalarıdır. Bu işaretlerin kullanılması Apache Software Foundation tarafından onaylanmamaktadır.

Mimari

Azure Veri Gezgini ile büyük veri analizini gösteren diyagram.

Bu mimarinin bir Visio dosyasını indirin.

Veri akışı

  1. Her tür günlük, iş olayı ve kullanıcı etkinliği gibi ham yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış (serbest metin) veriler çeşitli kaynaklardan Azure Veri Gezgini'a aktarılabilir.
  2. Azure Data Factory, Azure Event Hubs, Azure IoT Hub, Kafka vb. için bağlayıcılarını kullanarak azure Veri Gezgini düşük gecikme süresi ve yüksek aktarım hızıyla veri alın. Alternatif olarak, Azure Event Grid kullanan ve azure Veri Gezgini alma işlem hattını tetikleyen Azure Depolama (Blob veya ADLS 2. Nesil) aracılığıyla veri alın. Verileri sıkıştırılmış, bölümlenmiş parquet biçiminde sürekli Olarak Azure Depolama'ya aktarabilir ve Sürekli veri dışarı aktarmaya genel bakış bölümünde ayrıntılı olarak açıklandığı gibi bu verileri sorunsuz bir şekilde sorgulayabilirsiniz.
  3. Önceden toplanmış verileri Azure Veri Gezgini'den Azure Depolama'ya aktarın ve veri modelleri ve raporları oluşturmak için verileri Synapse Analytics'e alın.
  4. Verileri işlemek, toplamak ve analiz etmek için Azure Veri Gezgini yerel özelliklerini kullanın. Hızla içgörü elde etmek için Azure Veri Gezgini panoları, Power BI, Grafana veya diğer araçları kullanarak gerçek zamanlıya yakın analiz panoları oluşturun. Modern bir veri ambarı oluşturmak için Azure Synapse Analytics'i kullanın ve bunu Azure Veri Gezgini verileriyle birleştirerek seçilmiş ve toplanmış veri modelleriyle ilgili BI raporları oluşturun.
  5. Azure Veri Gezgini zaman serisi analizi, desen tanıma, anomali algılama ve tahmin etme vemakine öğrenmesi için yerel gelişmiş analiz özellikleri sağlar. Azure Veri Gezgini ayrıca Databricks ve Azure Machine Learning gibi ML hizmetleriyle de iyi tümleştirilmiştir. Bu tümleştirme, diğer araçları ve hizmetleri kullanarak modeller oluşturmanıza ve verileri puanlama amacıyla ML modellerini Azure Veri Gezgini'a aktarmanıza olanak tanır.

Bileşenler

  • Azure Event Hubs: Basit, güvenilir ve ölçeklenebilir tam olarak yönetilen, gerçek zamanlı veri alımı hizmeti.
  • Azure IoT Hub: IoT cihazları ile Azure arasında çift yönlü iletişimi etkinleştirmek için yönetilen hizmet.
  • HDInsight üzerinde Kafka: Apache Kafka ile açık kaynak analiz için kolay, uygun maliyetli, kurumsal düzeyde hizmet.
  • Azure Veri Gezgini: Uygulamalardan, web sitelerinden, IoT cihazlarından ve daha fazlasından büyük hacimlerde veri akışı üzerinde gerçek zamanlı analiz için hızlı, tam olarak yönetilen ve yüksek oranda ölçeklenebilir veri analizi hizmeti.
  • Azure Veri Gezgini Panoları: Web kullanıcı arabiriminde keşfedilen Kusto sorgularını iyileştirilmiş panolara yerel olarak dışarı aktarın.
  • Azure Synapse Analytics: Kurumsal veri ambarı ile Büyük Veri analizini bir araya getiren analiz hizmeti.

Senaryo ayrıntıları

Olası kullanım örnekleri

Bu çözüm, Azure Veri Gezgini ve Azure Synapse Analytics'in neredeyse gerçek zamanlı analizler ve modern veri ambarı kullanım örnekleri için birbirini nasıl tamamlayanı gösterir.

Bu çözüm zaten Microsoft müşterileri tarafından kullanılıyor. Örneğin, Singapur merkezli biniş yapan Grab şirketi, taksi ve yiyecek teslimat hizmetlerinden ve satıcı iş ortağı uygulamalarından toplanan büyük miktarda veri üzerinde gerçek zamanlı analiz uyguladı. Grab ekibi bu videoda (20:30'dan sonra) MS Ignite'da çözümünü sundu. Bu düzeni kullanarak, Grab günde trilyondan fazla olay işledi.

Bu çözüm perakende sektörü için iyileştirilmiştir.

Katkıda Bulunanlar

Bu makale Microsoft tarafından korunur. Başlangıçta aşağıdaki katkıda bulunanlar tarafından yazılmıştır.

Asıl yazar:

Genel olmayan LinkedIn profillerini görmek için LinkedIn'de oturum açın.

Sonraki adımlar