Düzenle

AKS ile veri akışı

Azure App Service
Azure API Management
Azure Container Registry
Azure Cache for Redis
Azure Cosmos DB

Çözüm fikirleri

Bu makale bir çözüm fikridir. İçeriği olası kullanım örnekleri, alternatif hizmetler, uygulama konuları veya fiyatlandırma yönergeleri gibi daha fazla bilgiyle genişletmemizi isterseniz GitHub geri bildirimi sağlayarak bize bildirin.

Bu makalede, cihazlardan büyük hacimli akış verilerini hızlı bir şekilde işlemek ve analiz etmek için Azure Kubernetes Service (AKS) kullanımına yönelik bir çözüm sunulur.

Apache®, Apache Kafka ve Apache Spark, Apache Software Foundation'ın Birleşik Devletler ve/veya diğer ülkelerdeki kayıtlı ticari markaları veya ticari markalarıdır. Bu işaretlerin kullanılması Apache Software Foundation tarafından onaylanmamaktadır.

Mimari

Cihazlardan akış verilerinin nasıl alındığını, işlendiğini ve çözümlendiğini gösteren mimari diyagramı.

Bu mimarinin bir Visio dosyasını indirin.

Veri akışı

  1. Algılayıcılar verileri oluşturur ve Azure API Management'a akışla gönderir.
  2. AKS kümesi, bir hizmet ağı arkasında kapsayıcı olarak dağıtılan mikro hizmetleri çalıştırır. Kapsayıcılar bir DevOps işlemi kullanılarak oluşturulur ve Azure Container Registry'de depolanır.
  3. Alma hizmeti verileri Azure Cosmos DB'de depolar.
  4. Zaman uyumsuz olarak, bir analiz hizmeti verileri alır ve Apache Kafka ve Azure HDInsight'a akışla gönderir.
  5. Veri bilimciler, verileri analiz etmek için makine öğrenmesi modellerini ve Splunk platformunu kullanır.
  6. İşleme hizmeti verileri işler ve sonucu PostgreSQL için Azure Veritabanı olarak depolar. Hizmet ayrıca verileri Redis için Azure Cache önbelleğe alır.
  7. Azure Uygulaması Hizmeti'nde çalışan bir web uygulaması sonuçların görselleştirmelerini oluşturur.

Bileşenler

Çözüm aşağıdaki temel teknolojileri kullanır:

Senaryo ayrıntıları

Bu çözüm, milyonlarca veri noktası içeren ve veri kaynaklarının Nesnelerin İnterneti (IoT) cihazları, algılayıcıları ve araçları içerdiği bir senaryo için uygundur. Böyle bir durumda, büyük miktarda veriyi işlemek bir zorluktır. Kuruluşlar karmaşık senaryolar hakkında içgörü elde etmek istediği için verileri hızlı bir şekilde analiz etmek de zorlu bir görevdir.

AKS'de kapsayıcılı mikro hizmetler çözümün önemli bir parçasını oluşturur. Bu bağımsız hizmetler gerçek zamanlı veri akışını alır ve işler. Ayrıca gerektiğinde ölçeklendirilirler. Kapsayıcıların taşınabilirliği, hizmetlerin farklı ortamlarda çalışmasını ve birden çok kaynaktan verileri işlemesini mümkün kılar. Mikro hizmetleri geliştirmek ve dağıtmak için DevOps ve sürekli tümleştirme/sürekli teslim (CI/CD) kullanılır. Bu yaklaşımlar geliştirme döngüsünü kısaltır.

Alınan verileri depolamak için çözüm Azure Cosmos DB'yi kullanır. Bu veritabanı, aktarım hızını ve depolamayı esnek bir şekilde ölçeklendirir ve bu da büyük hacimli veriler için iyi bir seçim olmasını sağlar.

Çözümde Kafka da kullanılır. Bu düşük gecikme süreli akış platformu, gerçek zamanlı veri akışlarını son derece yüksek hızlarda işler.

Bir diğer önemli çözüm bileşeni de yönetilen, açık kaynaklı bir bulut analizi hizmeti olan HDInsight'tır. HDInsight, Azure'da Apache Spark kullanırken büyük veri çerçevelerinin büyük hacim ve hızda çalıştırılmasını kolaylaştırır. Splunk, veri çözümleme işlemine yardımcı olur. Bu platform, gerçek zamanlı verilerden görselleştirmeler oluşturur ve iş zekası sağlar.

Olası kullanım örnekleri

Bu çözüm aşağıdaki alanlardan yararlanır:

  • Özellikle otomotiv sektöründe araç güvenliği
  • Perakende ve diğer sektörlerde müşteri hizmetleri
  • Sağlık hizmetleri bulut çözümleri
  • Finans sektöründe finansal teknoloji çözümleri

Sonraki adımlar

Ürün belgeleri:

Microsoft eğitim modülleri: