Veri analizi için Azure Stream Analytics çözümü tasarlama
Veri akışlarını kullanma, analiz etme ve eyleme dönüştürülebilir içgörüler türetme işlemine akış işleme adı verilir. Azure Stream Analytics tam olarak yönetilen (PaaS teklifi), gerçek zamanlı analiz ve karmaşık olay işleme altyapısıdır. IoT cihaz verileri, algılayıcılar, tıklama akışları ve sosyal medya akışları gibi kaynaklardan gelen birden çok veri akışında gerçek zamanlı analiz gerçekleştirme olanağı sunar.
Azure Stream Analytics hakkında bilinmesi gerekenler
Azure Stream Analytics aşağıdaki kavramlar üzerinde çalışır:
Veri akışları: Veri akışları uygulamalar, IoT cihazları veya algılayıcılar tarafından oluşturulan sürekli verilerdir. Veri akışları analiz edilir ve eyleme dönüştürülebilir içgörüler ayıklanır. Bazı örnekler, endüstriyel ve üretim ekipmanlarından gelen veri akışlarını izleme ve şebeke sağlayıcıları tarafından su boru hattı verilerini izlemedir. Veri akışları zaman içindeki değişikliği anlamamıza yardımcı olur.
Olay işleme: Olay işleme, akış içinde gerçekleşen olaylardan eyleme dönüştürülebilir içgörüler ayıklamak için sürekli bir veri akışının tüketimini ve analizini ifade eder. Örneğin, gişeden geçen bir arabanın olayın ne zaman gerçekleştiğini gösteren zaman damgası gibi zamana bağlı bilgileri içermesi gerekir.
Önemli
Azure Stream Analytics olayları üç veri biçiminde işlemeyi destekler: CSV, JSON ve Avro.
Aşağıdaki çizimde Stream Analytics işlem hattı ve verilerin nasıl alınıp, çözümlendiği ve sunu veya eylem için nasıl gönderildiği gösterilmektedir.
Önemli özellikler
Stream Analytics, Azure Event Hubs (Apache Kafka'dan Azure Event Hubs dahil), Azure IoT Hub veya Azure Blob Depolama verileri alır. SQL sorgu dilini temel alan sorgu, akış verilerini belirli bir süre boyunca kolayca filtrelemek, sıralamak, toplamak ve birleştirmek için kullanılabilir.
Azure Stream Analytics işi giriş, sorgu ve çıktıdan oluşur. İş çıkışıyla aşağıdaki görevleri gerçekleştirebilirsiniz:
- Verileri Azure Blob Depolama, Azure SQL Veritabanı, Azure Data Lake Store ve Azure Cosmos DB gibi depolama sistemlerine yönlendirin.
- Gerçek zamanlı görselleştirme için verileri Power BI gönderin.
- Geçmiş verilere dayalı bir makine öğrenmesi modeli eğitmek veya toplu analiz gerçekleştirmek için verileri Azure Synapse Analytics gibi bir Data Warehouse hizmetinde depolayın.
- Verileri Azure İşlevleri, Azure Service Bus Konular veya Azure Kuyrukları gibi hizmetlere göndererek özel aşağı akış iş akışlarını tetikleme.
İş senaryosu
Tailwind Traders, şirketin büyümesine yardımcı olmak için uygulamaları ve hizmetleri için dijital dönüşümü kullanıyor. Yolda mal taşıyan teslimat kamyonlarındaki GPS'ten gelen sensör verilerine erişim, depolama ve analiz desteği sağlamaları gerekir. Yöneticilerin gerçek zamanlı kararlar almasını sağlamak için kamyonlardan GPS akış verileri üzerinde gerçek zamanlı analiz sağlayan bir çözüm arıyorsunuz. Daha fazla analizde, ekibin bu verilerin mevcut bir Power BI görselleştirme panosunda bulunmasını istediğinizi öğrenirsiniz. Azure Stream Analytics bu senaryonun gereksinimlerini karşılamaya yardımcı olabilir.
Azure Stream Analytics, diğer yaygın kurumsal veri gereksinimleri için ideal bir çözümdür. Aşağıdaki senaryoları göz önünde bulundurun:
| Gereksinim | Açıklama |
|---|---|
| IoT cihazlarından gerçek zamanlı telemetri akışlarını analiz edin. | Sıcaklık, nem, fan çalışma zamanlarını aktaran otomasyon sistemleri oluşturarak Azure Stream Analytics gerçek zamanlı sensör verilerini toplayın. Optimum bina sıcaklığını korumak ve maliyetleri azaltmak için ayarlamalar yapabilirsiniz. |
| Web günlükleri ve tıklama akışı analizi oluşturun. | Tüketici ürünleri perakendecisi, kullanıcılara e-ticaret analizine dayalı gerçek zamanlı ürün önerileri sunabilir. |
| Jeo-uzamsal analizler oluşturun. | Algılayıcılar, sosyal medya, uydu görüntüleri ve mobil cihazlar gibi jeo-uzamsal veri kaynakları için analiz hazırlayın. Hava yollarına yönlendirme konusunda yardımcı olmak için vahşi yangınlar ve kasırgalar gibi aşırı hava olaylarını tahmin edebilirsiniz. Coğrafi konumlarına göre olumsuz hava koşulları için müşterilere mobil uyarılar gönderebilirsiniz. |
| Yüksek değerli varlıkların uzaktan izleme ve tahmine dayalı bakımını yürütme. | Azure Stream Analytics operasyonel verileri toplayarak Endüstriyel ekipman gibi yüksek değerli varlıkları izleyin. Tahmine dayalı bakım sayesinde ekipmanınızın kullanım ömrünü en üst düzeye çıkarabilirsiniz. |
| Satış noktası verileri üzerinde gerçek zamanlı analiz gerçekleştirin. | Sahte kredi kartı işlemlerini algılayın ve satış noktasında şüpheli etkinlikleri belirleyin. Kredi kartı sahibinin iletişim bilgilerine göre olağan dışı büyük işlemleri veya olağan dışı konum etkinliklerini belirleyebilirsiniz. Uyarı tetikleyicileri, Azure Stream Analytics toplanan veriler üzerinde ayarlanabilir. |
Tailwind Traders senaryosunda, Power BI aracılığıyla kamyonların gerçek zamanlı konumlarını görselleştirmek için Azure Stream Analytics uygulayabiliriz. Analitik iş yükleriyle ilgili yönetim kararları için veriler, gelecekteki analizler için Azure Cosmos DB veya Azure Data Lake gibi bir veri ambarında depolanabilir.
Azure Stream Analytics kullanırken dikkat edilmesi gerekenler
Azure Stream Analytics Tailwind Traders için veri tümleştirme planınızda değerli bir bileşen olabilir. Hizmetin aşağıdaki avantajlarını gözden geçirin.
Sağlama gereksinimlerini göz önünde bulundurun. Azure Stream Analytics tam olarak yönetilen bir hizmettir. PaaS (Hizmet Olarak Platform) teklifi olarak sunulur, bu nedenle herhangi bir donanım veya altyapı sağlama yükü yoktur. Azure Stream Analytics işinizi tamamen yönetir, böylece altyapıya değil iş mantığınıza odaklanabilirsiniz.
Maliyetleri göz önünde bulundurun. Stream Analytics düşük maliyetlidir. Faturalama, ayrılan CPU ve bellek kaynaklarının miktarını temsil eden tüketilen Akış Birimleri (SU) tarafından gerçekleştirilir. İş ihtiyaçlarına göre ölçek artırma ve azaltma, maliyetlerin düşürülmesine de olanak tanır. Bakım ücreti alınmaz.
Uygulamayı göz önünde bulundurun. Büyük ölçekli analizler için bulutta Azure Stream Analytics çalıştırabilirsiniz. Çok düşük gecikme süreli analizler için Stream Analytics'i IoT Edge veya Azure Stack üzerinde çalıştırın.
Performansı göz önünde bulundurun. Stream Analytics, güvenilir performans garantileri sunar. Karmaşık sorguların birden çok akış düğümünde paralelleştirilmesine ve yürütülmesine olanak tanıyan bölümleme ile daha yüksek performansı destekler. Stream Analytics her saniye milyonlarca olayı işleyebilir. Ultra düşük gecikme süreleriyle sonuç verebilir.
Güvenliği göz önünde bulundurun. Stream Analytics tüm gelen ve giden iletişimleri şifreler ve TLS 1.2'i destekler. Yerleşik denetim noktaları da şifrelenir. Tüm işlemler bellek içinde yapıldığından Stream Analytics gelen verileri depolamaz.
Kod içermeyen düzenleyiciyi göz önünde bulundurun. Farklı beceri seviyelerine sahip ekipler için SQL sorgu dilini tamamlayan görsel ve sürükle-bırak yaklaşımını tercih edenler.