Aracılığıyla paylaş

Kod düzenleyicisi olmayan Stream Analytics'i kullanarak Azure Data Lake Storage 2. Nesil filtreleme ve alma

  • Makale

Bu makalede, stream analytics işini kolayca oluşturmak için kod düzenleyicisi olmadan nasıl kullanabileceğiniz açıklanmaktadır. Event Hubs'ınızdan sürekli olarak okur, gelen verileri filtreler ve ardından sonuçları sürekli olarak Azure Data Lake Storage 2. Nesil yazar.

Önkoşullar

  • Azure Event Hubs kaynaklarınız herkese açık olmalı ve bir güvenlik duvarının arkasında olmamalıdır veya Azure Sanal Ağ
  • Event Hubs'ınızdaki veriler JSON, CSV veya Avro biçiminde seri hale getirilmelidir.

Gerçek zamanlı verileri filtrelemek ve almak için stream analytics işi geliştirme

  1. Azure portal Azure Event Hubs örneğini bulun ve seçin.

  2. Özellikler>İşlem Verileri'ni seçin ve ardından Filtrele ve ADLS 2. Nesil'e al kartında Başlat'ı seçin.
    Başlat'ı seçtiğiniz ADLS 2. Nesil'e filtrele ve al kartını gösteren ekran görüntüsü.

  3. Stream Analytics işi için bir ad girin ve Oluştur'u seçin.
    İş adının girileceği yeri gösteren ekran görüntüsü.

  4. Event Hubs penceresinde verilerinizin Serileştirme türünü ve işin Event Hubs'a bağlanmak için kullanacağı Kimlik Doğrulama yöntemini belirtin. Ardından Bağlan'ı seçin.
    Serileştirme ve Kimlik Doğrulama yöntemini seçtiğiniz Event Hubs alanını gösteren ekran görüntüsü.

  5. Bağlantı başarıyla kurulduysa ve Event Hubs örneğine akan veri akışlarınız varsa, hemen iki şey görürsünüz:

    1. Giriş verilerinde bulunan alanlar. Alan ekle'yi seçebilir veya türünü kaldırmak, yeniden adlandırmak veya değiştirmek için her alanın yanındaki üç nokta simgesini seçebilirsiniz.
      Alan ekleyebileceğiniz veya alan türünü kaldırabileceğiniz, yeniden adlandırabileceğiniz veya değiştirebileceğiniz yerleri gösteren ekran görüntüsü.
    2. Diyagram görünümünün altındaki Veri önizleme tablosundaki gelen verilerin canlı örneği. Düzenli aralıklarla otomatik olarak yenilenir. Örnek giriş verilerinin statik görünümünü görmek için Akış önizlemesini duraklat'ı seçebilirsiniz.
      Veri önizleme sekmesindeki örnek verileri gösteren ekran görüntüsü.

  6. Filtre kutucuğunu seçin. Filtre alanında, gelen verileri bir koşulla filtrelemek için bir alan seçin.
    Koşullu filtre ekleyebileceğiniz Filtre alanını gösteren ekran görüntüsü.

  7. Azure Data Lake Storage 2. Nesil kutucuğunu seçin. Filtrelenmiş verilerinizi göndermek için Azure Data Lake 2. Nesil hesabını seçin:

    1. Açılan menüden aboneliği, depolama hesabı adını ve kapsayıcıyı seçin.
    2. Abonelik seçildikten sonra kimlik doğrulama yöntemi ve depolama hesabı anahtarı otomatik olarak doldurulmalıdır. Bağlan’ı seçin.
      Alanlar hakkında daha fazla bilgi edinmek ve yol deseni örneklerini görmek için bkz. Azure Stream Analytics'ten Blob depolama ve Azure Data Lake 2. Nesil çıkışı.
      Azure Data Lake 2. Nesil blob kapsayıcısı bağlantı yapılandırma ayarlarını gösteren ekran görüntüsü.

  8. İsteğe bağlı olarak, Azure Data Lake Storage 2. Nesil'dan alınan veri önizlemesini görmek için Statik önizlemeyi al/Statik önizlemeyi yenile'yi seçin.
    Veri önizlemesini ve Statik önizlemeyi yenile seçeneğini gösteren ekran görüntüsü.

  9. Kaydet'i ve ardından Stream Analytics işini başlat'ı seçin.
    Kaydet ve Başlat işinin seçeneklerini gösteren ekran görüntüsü.

  10. İşi başlatmak için, işin birlikte çalıştığı Akış Birimlerinin (SU) sayısını belirtin. SU'lar, işe ayrılan işlem ve bellek miktarını temsil eder. Üç ile başlayıp gerektiği gibi ayarlama yapmanızı öneririz.

  11. Başlat'ı seçtikten sonra, iş iki dakika içinde çalışmaya başlar ve ölçümler aşağıdaki sekme bölümünde açılır.

    Stream Analytics'i Başlat iş penceresini gösteren ekran görüntüsü.

    İşi Stream Analytics işleri sekmesindeki Verileri İşleme bölümünde görebilirsiniz. İş durumunu Çalışıyor olarak görene kadar Yenile'yi seçin. İzlemek için Ölçümleri aç'ı seçin veya gerektiğinde durdurup yeniden başlatın.

    Stream Analytics işleri sekmesini gösteren ekran görüntüsü.

    Örnek Ölçümler sayfası aşağıda verilmiştir :

    Ölçümler sayfasını gösteren ekran görüntüsü.

Data Lake Storage'de verileri doğrulama

  1. Belirttiğiniz kapsayıcıda oluşturulan dosyaları görmeniz gerekir.

    Azure Data Lake Storage filtrelenmiş verilerle oluşturulan dosyayı gösteren ekran görüntüsü.

  2. Yalnızca filtrelenmiş verileri gördüğünüzden emin olmak için dosyayı indirip açın. Aşağıdaki örnekte , SwitchNum'unABD olarak ayarlandığı verileri görürsünüz.

    {"RecordType":"MO","SystemIdentity":"d0","FileNum":"548","SwitchNum":"US","CallingNum":"345697969","CallingIMSI":"466921402416657","CalledNum":"012332886","CalledIMSI":"466923101048691","DateS":"20220524","TimeType":0,"CallPeriod":0,"ServiceType":"S","Transfer":0,"OutgoingTrunk":"419","MSRN":"1416960750071","callrecTime":"2022-05-25T02:07:10Z","EventProcessedUtcTime":"2022-05-25T02:07:50.5478116Z","PartitionId":0,"EventEnqueuedUtcTime":"2022-05-25T02:07:09.5140000Z", "TimeS":null,"CallingCellID":null,"CalledCellID":null,"IncomingTrunk":null,"CalledNum2":null,"FCIFlag":null}
{"RecordType":"MO","SystemIdentity":"d0","FileNum":"552","SwitchNum":"US","CallingNum":"012351287","CallingIMSI":"262021390056324","CalledNum":"012301973","CalledIMSI":"466922202613463","DateS":"20220524","TimeType":3,"CallPeriod":0,"ServiceType":"V","Transfer":0,"OutgoingTrunk":"442","MSRN":"886932428242","callrecTime":"2022-05-25T02:07:13Z","EventProcessedUtcTime":"2022-05-25T02:07:50.5478116Z","PartitionId":0,"EventEnqueuedUtcTime":"2022-05-25T02:07:12.7350000Z", "TimeS":null,"CallingCellID":null,"CalledCellID":null,"IncomingTrunk":null,"CalledNum2":null,"FCIFlag":null}
{"RecordType":"MO","SystemIdentity":"d0","FileNum":"559","SwitchNum":"US","CallingNum":"456757102","CallingIMSI":"466920401237309","CalledNum":"345617823","CalledIMSI":"466923000886460","DateS":"20220524","TimeType":1,"CallPeriod":696,"ServiceType":"V","Transfer":1,"OutgoingTrunk":"419","MSRN":"886932429155","callrecTime":"2022-05-25T02:07:22Z","EventProcessedUtcTime":"2022-05-25T02:07:50.5478116Z","PartitionId":0,"EventEnqueuedUtcTime":"2022-05-25T02:07:21.9190000Z", "TimeS":null,"CallingCellID":null,"CalledCellID":null,"IncomingTrunk":null,"CalledNum2":null,"FCIFlag":null}

Sonraki adımlar

Azure Stream Analytics ve oluşturduğunuz işi izleme hakkında daha fazla bilgi edinin.