AKS ile veri akışı
Çözüm fikirleri
Bu makalede bir çözüm fikri açıklanmaktadır. Bulut mimarınız bu mimarinin tipik bir uygulaması için ana bileşenleri görselleştirmeye yardımcı olmak için bu kılavuzu kullanabilir. İş yükünüzün özel gereksinimlerine uygun iyi tasarlanmış bir çözüm tasarlamak için bu makaleyi başlangıç noktası olarak kullanın.
Bu makalede, cihazlardan büyük hacimli akış verilerini hızlı bir şekilde işlemek ve analiz etmek için Azure Kubernetes Service (AKS) kullanımına yönelik bir çözüm sunulur.
*Apache®, Apache Kafka ve Apache Spark, Apache Software Foundation'ın Birleşik Devletler ve/veya diğer ülkelerdeki kayıtlı ticari markaları veya ticari markalarıdır. Bu işaretlerin kullanılması Apache Software Foundation tarafından onaylanmamaktadır. Splunk, Cisco'nun tescilli ticari markasıdır. *
Mimari
Bu mimarinin bir Visio dosyasını indirin.
Veri akışı
- Algılayıcılar verileri oluşturur ve Azure API Management'a akışla gönderir.
- AKS kümesi, bir hizmet ağı arkasında kapsayıcı olarak dağıtılan mikro hizmetleri çalıştırır. Kapsayıcılar bir DevOps işlemi kullanılarak oluşturulur. Kapsayıcı görüntüleri Azure Container Registry'de depolanır.
- AKS'deki alma hizmeti verileri Azure Cosmos DB'de depolar.
- AKS'deki bir analiz hizmeti zaman uyumsuz olarak verileri alır ve Azure HDInsight üzerinde Apache Kafka'ya akışla gönderir.
- Veri bilimcileri, verileri analiz etmek için Azure HDInsights ve Splunk platformunda makine öğrenmesi modellerini kullanır.
- AKS'deki işleme hizmeti verileri işler ve sonuçları PostgreSQL için Azure Veritabanı depolar. Hizmet ayrıca verileri Redis için Azure Cache önbelleğe alır.
- Azure Uygulaması Hizmeti'nde çalışan bir web uygulaması sonuçların görselleştirmelerini oluşturur.
Bileşenler
Çözüm aşağıdaki temel teknolojileri kullanır:
- API Management
- App Service
- Redis için Azure Önbelleği
- Konteyner Kaydı
- Azure Cosmos DB
- PostgreSQL için Azure Veritabanı
- HDInsight
- AKS
- Azure Pipelines
Senaryo ayrıntıları
Bu çözüm, milyonlarca veri noktası içeren ve veri kaynaklarının Nesnelerin İnterneti (IoT) cihazları, algılayıcıları ve araçları içerdiği bir senaryo için uygundur. Böyle bir durumda, büyük miktarda veriyi işlemek bir zorluktır. Kuruluşlar karmaşık senaryolar hakkında içgörü elde etmek istediği için verileri hızlı bir şekilde analiz etmek de zorlu bir görevdir.
AKS'de kapsayıcılı mikro hizmetler çözümün önemli bir parçasını oluşturur. Bu bağımsız hizmetler gerçek zamanlı veri akışını alır ve işler. Ayrıca gerektiğinde ölçeklendirilirler. Kapsayıcıların taşınabilirliği, hizmetlerin farklı ortamlarda çalışmasını ve birden çok kaynaktan verileri işlemesini mümkün kılar. Mikro hizmetleri geliştirmek ve dağıtmak için DevOps ve sürekli tümleştirme/sürekli teslim (CI/CD) kullanılır. Bu yaklaşımlar geliştirme döngüsünü kısaltır.
Alınan verileri depolamak için çözüm Azure Cosmos DB'yi kullanır. Bu veritabanı, aktarım hızını ve depolamayı esnek bir şekilde ölçeklendirir ve bu da büyük hacimli veriler için iyi bir seçim olmasını sağlar.
Çözümde Apache Kafka da kullanılır. Bu düşük gecikme süreli akış platformu, gerçek zamanlı veri akışlarını son derece yüksek hızlarda işler.
Bir diğer önemli çözüm bileşeni de, en popüler açık kaynak çerçevelerini kullanarak büyük miktarlardaki verileri verimli bir şekilde işlemenizi sağlayan yönetilen bir bulut hizmeti olan Azure HDInsight'tır. Azure HDInsight, Azure'da Apache Spark kullanırken büyük veri çerçevelerinin büyük hacim ve hızda çalıştırılmasını kolaylaştırır. Splunk, veri çözümleme işlemine yardımcı olur. Splunk, gerçek zamanlı verilerden görselleştirmeler oluşturur ve iş zekası sağlar.
Olası kullanım örnekleri
Bu çözüm aşağıdaki alanlardan yararlanır:
- Özellikle otomotiv sektöründe araç güvenliği
- Perakende ve diğer sektörlerde müşteri hizmetleri
- Sağlık hizmetleri bulut çözümleri
- Finans sektöründe finansal teknoloji çözümleri
Sonraki adımlar
Ürün belgeleri:
- Redis için Azure Cache hakkında
- Azure API Management nedir?
- App Service’e genel bakış
- Azure Kubernetes Hizmeti
- Azure Container Registry'ye giriş
- Azure Cosmos DB'ye hoş geldiniz
- PostgreSQL için Azure Veritabanı nedir?
- Azure HDInsight nedir?
- Azure Pipelines nedir?
Microsoft eğitim modülleri:
- Azure Container Registry ile kapsayıcı görüntüleri oluşturma ve depolama
- Azure Uygulaması Hizmet planlarını yapılandırma
- Azure Cosmos DB ile çalışma
- PostgreSQL için Azure Veritabanı oluşturma ve bağlanma
- Redis için Azure Cache için geliştirme
- API Management'i keşfetme
- Azure HDInsight'a giriş