Olay işlemeyi anlama

  • 5 dakika

Azure Stream Analytics, karmaşık olay işleme ve akış verilerini analiz etme hizmetidir. Stream Analytics, şu işlemleri yapmak için kullanılır:

  • Azure olay hub'ı, Azure IoT Hub veya Azure Depolama blob kapsayıcısı gibi bir girişten veri alın.
  • Veri değerlerini seçmek, yansıtmak ve toplamak için bir sorgu kullanarak verileri işleyin.
  • Sonuçları Azure Data Lake Storage 2. Nesil, Azure SQL Veritabanı, Azure Cosmos DB, Azure İşlevleri, Azure Event Hubs, Microsoft Power BI veya diğerleri gibi bir çıkışa yazın.

Girişler, sorgular ve çıkışlar içeren bir Stream Analytics işini gösteren diyagram

Bir Stream Analytics sorgusu başlatıldıktan sonra sürekli olarak çalıştırılır ve girişe ulaştıkça yeni veriler işlenir ve sonuçlar çıkışta depolanır.

Stream Analytics tam olarak bir kez olay işlemeyi ve en az bir kez olay teslimi garanti eder, bu nedenle olaylar hiçbir zaman kaybolmaz. Bir olayın tesliminin başarısız olması durumunda yerleşik kurtarma özelliklerine sahiptir. Ayrıca Stream Analytics, işinizin durumunu korumak için yerleşik denetim noktaları sağlar ve yinelenebilir sonuçlar üretir. Azure Stream Analytics bir hizmet olarak platform (PaaS) çözümü olduğundan, tam olarak yönetilir ve son derece güvenilirdir. Yerleşik tümleştirme, çeşitli kaynaklar ve hedeflerle birlikte çalışabilir ve esnek bir programlanabilirlik modeli sunar. Stream Analytics altyapısı bellek içi işleme olanak sağladığından yüksek performans sunar.

Azure Stream Analytics işleri ve kümeleri

Azure Stream Analytics'i kullanmanın en kolay yolu, Azure aboneliğinde bir Stream Analytics işi oluşturmak, girişlerini ve çıkışlarını yapılandırmak ve işin verileri işlemek için kullanacağı sorguyu tanımlamaktır. Sorgu, yapılandırılmış sorgu dili (SQL) söz dizimi kullanılarak ifade edilir ve bir girişten alınan akış verileriyle birleştirilebilen arama değerleri sağlamak için birden çok veri kaynağından statik başvuru verilerini birleştirebilir.

Akış süreci gereksinimleriniz karmaşık veya yoğun kaynak kullanıyorsa, bir Stream Analytics işiyle aynı temel işleme altyapısını kullanan ancak ayrılmış bir kiracıda (dolayısıyla işlemeniz diğer müşterilerden etkilenmez) ve belirli senaryonuz için doğru aktarım hızı ve maliyet dengesini tanımlamanızı sağlayan yapılandırılabilir ölçeklenebilirlikle bir Stream Analysis kümesi oluşturabilirsiniz.

Girişler

Azure Stream Analytics, aşağıdaki giriş türlerinden veri alabilir:

  • Azure Event Hubs
  • Azure IoT Hub
  • Azure Blob dosya depolama
  • Azure Data Lake Storage V2
  • Apache Kafka

Girişler genellikle yeni olay kayıtları eklendikçe işlenen akış verilerinin kaynağına başvurmak için kullanılır. Ayrıca, gerçek zamanlı olay akışı verilerini artırmak için statik verileri almak için kullanılan başvuru girişleri tanımlayabilirsiniz. Örneğin, her hava durumu istasyonu için benzersiz bir kimlik içeren gerçek zamanlı hava durumu gözlem verilerinin akışını alabilir ve bu verileri hava durumu istasyonu kimliğiyle daha anlamlı bir isimle eşleşen statik bir referans verisiyle zenginleştirebilirsiniz.

Çıktılar

Çıkışlar, akış işleme sonuçlarının gönderildiği hedeflerdir. Azure Stream Analytics, aşağıdakiler için kullanılabilecek çok çeşitli çıkış havuzlarını destekler:

  • Daha fazla analiz için sonuçları kalıcı hale getirin; örneğin, Azure Data Lake Storage Gen2, Azure SQL Veritabanı veya Azure Cosmos DB'ye yazarak.
  • Günlük ve telemetri verilerini büyük ölçekte analiz etme; örneğin, sonuçları Azure Veri Gezgini'ne göndererek.
  • Veri akışının gerçek zamanlı görselleştirmesini görüntüleme; örneğin, Microsoft Power BI'da bir veri kümesine veri ekleyerek.
  • Sonraki aşama işlemler için filtrelenmiş veya özetlenmiş olaylar oluşturun; örneğin, sonuçları Azure Event Hubs'a yazarak.

Sorular

Akış işleme mantığı bir sorguda kapsüllenmiş. Sorgular, bir veya daha fazla girişten veri alanlarını SEÇen, verileri filtreleyen veya toplayan ve sonuçları bir çıktıya yazan SQL deyimleri kullanılarak tanımlanır. Örneğin, aşağıdaki sorgu weather-events girişinden gelen olayları yalnızca sıcaklık değeri 0'dan küçük olan olaylardan verileri içerecek şekilde filtreler ve sonuçları cold-temps çıkışına yazar:

SELECT observation_time, weather_station, temperature
INTO cold-temps
FROM weather-events TIMESTAMP BY observation_time
WHERE temperature < 0

Olayın Azure Stream Analytics sorgunuz tarafından işlendiği zamanı tanımlamak için EventProcessedUtcTime adlı bir alan otomatik olarak oluşturulur. Olayın zaman damgasını belirlemek için bu alanı kullanabilir veya bu örnekte gösterildiği gibi TIMESTAMP BY yan tümcesini kullanarak başka bir DateTime alanını açıkça belirtebilirsiniz. Akış verilerinin okunduğu girişe bağlı olarak, bir veya daha fazla olası zaman damgası alanı otomatik olarak oluşturulabilir; örneğin, Event Hubs girişi kullanılırken, olayın olay hub'ı kuyruğuna alındığı zamanı kaydetmek için EventQueuedUtcTime adlı bir alan oluşturulur.

Zaman damgası olarak kullanılan alan, verileri zamansal pencereler üzerinden toplarken önemlidir ve bundan sonra ele alınıyor.

Kod içermeyen düzenleyici

AKıŞ işleme işinizi SQL yazmadan oluşturmayı tercih ediyorsanız Azure Stream Analytics kod içermeyen bir düzenleyici içerir. Azure Stream Analytics portalından veya Azure Event Hubs portalından erişebilirsiniz. Kod içermeyen düzenleyici, herhangi bir kod yazmadan giriş kaynaklarını bağladığınız, dönüştürmeler (pencereleme ve toplamalar dahil) eklediğiniz ve çıkışları yapılandırdığınız sürükle ve bırak tuvali sağlar.

Kod içermeyen düzenleyiciyi kullanarak hızlı bir şekilde prototip oluşturabilir ve daha gelişmiş senaryolar için isteğe bağlı olarak oluşturulan SQL sorgusunu görüntüleyebilir veya özelleştirebilirsiniz.