Aracılığıyla paylaş

Kod düzenleyicisi olmayan Stream Analytics'i kullanarak Azure Data Lake Storage 2. Nesil filtreleme ve alma

  • Makale

Bu makalede, kolayca bir Stream Analytics işi oluşturmak için kod düzenleyicisi yok özelliğini nasıl kullanabileceğiniz açıklanmaktadır. Event Hubs'ınızdan sürekli olarak okur, gelen verileri filtreler ve ardından sonuçları sürekli olarak Azure Data Lake Storage 2. Nesil yazar.

Önkoşullar

  • Azure Event Hubs kaynaklarınızın herkese açık olması ve güvenlik duvarı arkasında olmaması veya Azure Sanal Ağ
  • Event Hubs'ınızdaki veriler JSON, CSV veya Avro biçiminde seri hale getirilmelidir.

Gerçek zamanlı verileri filtrelemek ve almak için Stream Analytics işi geliştirme

  1. Azure portalında Azure Event Hubs örneğini bulun ve seçin.

  2. Özellikler>İşlem Verileri'ni seçin ve ardından Filtrele ve ADLS 2. Nesil'e al kartında Başlat'ı seçin.
    Başlat'ı seçtiğiniz ADLS 2. Nesil'e filtrele ve al kartını gösteren ekran görüntüsü.

  3. Stream Analytics işi için bir ad girin ve Oluştur'u seçin.
    İş adının girileceği yeri gösteren ekran görüntüsü.

  4. Event Hubs penceresinde verilerinizin Seri hale getirme türünü ve işin Event Hubs'a bağlanmak için kullanacağı Kimlik doğrulama yöntemini belirtin. Ardından Bağlan'ı seçin.
    Serileştirme ve Kimlik Doğrulama yöntemini seçtiğiniz Event Hubs alanını gösteren ekran görüntüsü.

  5. Bağlantı başarıyla kurulduysa ve Event Hubs örneğine akan veri akışlarınız varsa, hemen iki şey görürsünüz:

    1. Giriş verilerinde bulunan alanlar. Alan ekle'yi seçebilir veya her alanın yanındaki üç nokta simgesini seçerek türünü kaldırabilir, yeniden adlandırabilir veya değiştirebilirsiniz.
      Alan ekleyebileceğiniz veya alan türünü kaldırabileceğiniz, yeniden adlandırabileceğiniz veya değiştirebileceğiniz yerleri gösteren ekran görüntüsü.
    2. Diyagram görünümünün altındaki Veri önizleme tablosundaki gelen verilerin canlı örneği. Düzenli aralıklarla otomatik olarak yenilenir. Örnek giriş verilerinin statik görünümünü görmek için Akış önizlemesini duraklat'ı seçebilirsiniz.
      Veri önizleme sekmesindeki örnek verileri gösteren ekran görüntüsü.

  6. Filtre kutucuğunu seçin. Filtre alanında, gelen verileri bir koşulla filtrelemek için bir alan seçin.
    Koşullu filtre ekleyebileceğiniz Filtre alanını gösteren ekran görüntüsü.

  7. Azure Data Lake Storage 2. Nesil kutucuğunu seçin. Filtrelenmiş verilerinizi göndermek için Azure Data Lake 2. Nesil hesabını seçin:

    1. Açılan menüden aboneliği, depolama hesabı adını ve kapsayıcıyı seçin.
    2. Abonelik seçildikten sonra kimlik doğrulama yöntemi ve depolama hesabı anahtarı otomatik olarak doldurulmalıdır. Bağlan'ı seçin.
      Alanlar hakkında daha fazla bilgi edinmek ve yol deseni örneklerini görmek için bkz . Azure Stream Analytics'ten Blob depolama ve Azure Data Lake 2. Nesil çıktısı.
      Azure Data Lake 2. Nesil blob kapsayıcısı bağlantı yapılandırma ayarlarını gösteren ekran görüntüsü.

  8. İsteğe bağlı olarak, Azure Data Lake Storage 2. Nesil alınacak veri önizlemesini görmek için Statik önizleme al/Statik önizlemeyi yenile'yi seçin.
    Veri önizleme ve Statik önizlemeyi yenile seçeneğini gösteren ekran görüntüsü.

  9. Kaydet'i ve ardından Stream Analytics işini başlat'ı seçin.
    kaydet ve başlat seçeneklerini gösteren ekran görüntüsü.

  10. İşi başlatmak için, işin birlikte çalıştığı Akış Birimi (SU) sayısını belirtin. SU'lar, işe ayrılan işlem ve bellek miktarını temsil eder. Üç ile başlayıp gerektiği gibi ayarlama yapmanızı öneririz.

  11. Başlat'ı seçtikten sonra, iş iki dakika içinde çalışmaya başlar ve ölçümler aşağıdaki sekme bölümünde açılır.

    Stream Analytics'i Başlat iş penceresini gösteren ekran görüntüsü.

    İşi Stream Analytics işleri sekmesindeki İşlem Verileri bölümünün altında görebilirsiniz. İş durumunu Çalışıyor olarak görene kadar Yenile'yi seçin. Ölçümleri izlemek veya gerektiğinde durdurup yeniden başlatmak için Ölçümleri aç'ı seçin.

    Stream Analytics işleri sekmesini gösteren ekran görüntüsü.

    Örnek Ölçümler sayfası aşağıda verilmiştir :

    Ölçümler sayfasını gösteren ekran görüntüsü.

Data Lake Storage'da verileri doğrulama

  1. Belirttiğiniz kapsayıcıda oluşturulan dosyaları görmeniz gerekir.

    Azure Data Lake Storage'da filtrelenmiş verilerle oluşturulan dosyayı gösteren ekran görüntüsü.

  2. Yalnızca filtrelenmiş verileri gördüğünüzden emin olmak için dosyayı indirip açın. Aşağıdaki örnekte SwitchNum'un ABD olarak ayarlandığı verileri görürsünüz.

    {"RecordType":"MO","SystemIdentity":"d0","FileNum":"548","SwitchNum":"US","CallingNum":"345697969","CallingIMSI":"466921402416657","CalledNum":"012332886","CalledIMSI":"466923101048691","DateS":"20220524","TimeType":0,"CallPeriod":0,"ServiceType":"S","Transfer":0,"OutgoingTrunk":"419","MSRN":"1416960750071","callrecTime":"2022-05-25T02:07:10Z","EventProcessedUtcTime":"2022-05-25T02:07:50.5478116Z","PartitionId":0,"EventEnqueuedUtcTime":"2022-05-25T02:07:09.5140000Z", "TimeS":null,"CallingCellID":null,"CalledCellID":null,"IncomingTrunk":null,"CalledNum2":null,"FCIFlag":null}
{"RecordType":"MO","SystemIdentity":"d0","FileNum":"552","SwitchNum":"US","CallingNum":"012351287","CallingIMSI":"262021390056324","CalledNum":"012301973","CalledIMSI":"466922202613463","DateS":"20220524","TimeType":3,"CallPeriod":0,"ServiceType":"V","Transfer":0,"OutgoingTrunk":"442","MSRN":"886932428242","callrecTime":"2022-05-25T02:07:13Z","EventProcessedUtcTime":"2022-05-25T02:07:50.5478116Z","PartitionId":0,"EventEnqueuedUtcTime":"2022-05-25T02:07:12.7350000Z", "TimeS":null,"CallingCellID":null,"CalledCellID":null,"IncomingTrunk":null,"CalledNum2":null,"FCIFlag":null}
{"RecordType":"MO","SystemIdentity":"d0","FileNum":"559","SwitchNum":"US","CallingNum":"456757102","CallingIMSI":"466920401237309","CalledNum":"345617823","CalledIMSI":"466923000886460","DateS":"20220524","TimeType":1,"CallPeriod":696,"ServiceType":"V","Transfer":1,"OutgoingTrunk":"419","MSRN":"886932429155","callrecTime":"2022-05-25T02:07:22Z","EventProcessedUtcTime":"2022-05-25T02:07:50.5478116Z","PartitionId":0,"EventEnqueuedUtcTime":"2022-05-25T02:07:21.9190000Z", "TimeS":null,"CallingCellID":null,"CalledCellID":null,"IncomingTrunk":null,"CalledNum2":null,"FCIFlag":null}

Event Hubs Coğrafi çoğaltma özelliğini kullanırken dikkat edilmesi gerekenler

Azure Event Hubs kısa süre önce genel önizlemede Coğrafi Çoğaltma özelliğini başlattı. Bu özellik, Azure Event Hubs'ın Coğrafi Olağanüstü Durum Kurtarma özelliğinden farklıdır.

Yük devretme türü Zorlamalı olduğunda ve çoğaltma tutarlılığı Zaman Uyumsuz olduğunda, Stream Analytics işi bir Azure Event Hubs çıkışının tam olarak bir kez çıkışını garanti etmez.

Azure Stream Analytics, bir olay hub'ı çıktısı olan bir üretici olarak yük devretme süresi ve birincil ile ikincil arasında çoğaltma gecikmesinin yapılandırılan maksimum gecikmeye ulaşması durumunda Event Hubs tarafından azaltma sırasında iş üzerinde filigran gecikmesi gözlemlenebilir.

Azure Stream Analytics, Event Hubs giriş olarak tüketici olarak yük devretme süresi boyunca iş üzerinde filigran gecikmesi gözlemler ve yük devretme tamamlandıktan sonra verileri atlayabilir veya yinelenen verileri bulabilir.

Bu uyarılar nedeniyle, Event Hubs yük devretme tamamlandıktan hemen sonra Stream Analytics işini uygun başlangıç zamanıyla yeniden başlatmanızı öneririz. Ayrıca Event Hubs Coğrafi çoğaltma özelliği genel önizleme aşamasında olduğundan, bu noktada üretim Stream Analytics işleri için bu desenin kullanılmasını önermiyoruz. Event Hubs Coğrafi çoğaltma özelliği genel kullanıma sunulmadan önce geçerli Stream Analytics davranışı geliştirilecektir ve Stream Analytics üretim işlerinde kullanılabilir.

Sonraki adımlar

Azure Stream Analytics ve oluşturduğunuz işi izleme hakkında daha fazla bilgi edinin.