Azure Event Hubs'de yakalanan Avro dosyalarını keşfetme

Bu makalede, Azure Event Hubs tarafından yakalanan Avro dosyalarının şeması ve dosyaları keşfetmek için birkaç araç sağlanır.

Şema

Event Hubs Capture tarafından üretilen Avro dosyaları aşağıdaki Avro şemasına sahiptir:

Azure Event Hubs tarafından yakalanan Avro dosyalarının şemasını gösteren görüntü.

Azure Storage Explorer

Yakalanan dosyaların Azure Storage Explorer gibi araçları kullanarak Azure Storage hesabında oluşturulduğunu doğrulayabilirsiniz. Üzerinde çalışmak için dosyaları yerel olarak indirebilirsiniz.

Avro dosyalarını keşfetmenin kolay bir yolu, Apache'nin Avro Araçları jar dosyasını kullanmaktır. Alınan veriler üzerinde karmaşık dağıtılmış işleme gerçekleştirmek için Apache Spark'ı da kullanabilirsiniz.

Apache Spark kullanma

Apache Spark "büyük ölçekli veri işleme için birleşik bir analiz altyapısıdır." SQL dahil olmak üzere farklı dilleri destekler ve Azure Blob depolamaya kolayca erişebilir. Apache Spark'ı Azure çalıştırmak için birkaç seçenek vardır ve her biri Azure Blob depolamaya kolay erişim sağlar:

Avro Araçları'nı kullanma

Avro Araçları jar paketi olarak mevcuttur. Jar dosyasını indirdikten sonra, aşağıdaki komutu çalıştırarak belirli bir Avro dosyasının şemasını görebilirsiniz:

java -jar avro-tools-1.9.1.jar getschema <name of capture file>

Bu komut bir sonuç döndürür

{

    "type":"record",
    "name":"EventData",
    "namespace":"Microsoft.ServiceBus.Messaging",
    "fields":[
                 {"name":"SequenceNumber","type":"long"},
                 {"name":"Offset","type":"string"},
                 {"name":"EnqueuedTimeUtc","type":"string"},
                 {"name":"SystemProperties","type":{"type":"map","values":["long","double","string","bytes"]}},
                 {"name":"Properties","type":{"type":"map","values":["long","double","string","bytes"]}},
                 {"name":"Body","type":["null","bytes"]}
             ]
}

Dosyayı JSON biçimine dönüştürmek ve başka işlemler gerçekleştirmek için Avro Araçları'nı da kullanabilirsiniz.

Daha gelişmiş işleme gerçekleştirmek için istediğiniz platform için Avro'yı indirin ve yükleyin. Bu yazı sırasında C, C++, C#, Java, NodeJS, Perl, PHP, Python ve Ruby için kullanılabilir uygulamalar vardır.

Apache Avro, Java ve Python için tam bir Başlangıç Kılavuzuna sahiptir. Event Hubs Capture ile çalışmaya başlama hakkında makaleyi de okuyabilirsiniz.

Sonraki adımlar

Event Hubs Capture, verileri Azure almanın en kolay yoludur. Azure Data Lake, Azure Data Factory ve Azure HDInsight kullanarak, istediğiniz tanıdık araçları ve platformları kullanarak ihtiyacınız olan her ölçekte toplu işlem ve diğer analizleri gerçekleştirebilirsiniz. Bu özellik hakkında daha fazla bilgi edinmek için aşağıdaki makalelere bakın.

  • Last updated on