Aracılığıyla paylaş

Azure Event Hubs'de yakalanan Avro dosyalarını keşfetme

  • Makale

Bu makalede, Azure Event Hubs tarafından yakalanan Avro dosyalarının şeması ve dosyaları keşfetmek için birkaç araç sağlanır.

Şema

Event Hubs Capture tarafından üretilen Avro dosyaları aşağıdaki Avro şemasına sahiptir:

Azure Event Hubs tarafından yakalanan Avro dosyalarının şemasını gösteren görüntü.

Azure Depolama Gezgini

Yakalanan dosyaların Azure Depolama hesabında Azure Depolama Gezgini gibi araçları kullanarak oluşturulduğunu doğrulayabilirsiniz. Üzerinde çalışmak için dosyaları yerel olarak indirebilirsiniz.

Avro dosyalarını keşfetmenin kolay bir yolu, Apache'nin Avro Araçları jar dosyasını kullanmaktır. Alınan veriler üzerinde karmaşık dağıtılmış işleme gerçekleştirmek için Apache Spark'ı da kullanabilirsiniz.

Apache Spark kullanma

Apache Spark , "büyük ölçekli veri işleme için birleşik bir analiz altyapısıdır." SQL dahil olmak üzere farklı dilleri destekler ve Azure Blob depolamaya kolayca erişebilir. Apache Spark'ı Azure'da çalıştırmak için birkaç seçenek vardır ve her biri Azure Blob depolamaya kolay erişim sağlar:

Avro Araçları'nı kullanma

Avro Araçları jar paketi olarak kullanılabilir. Jar dosyasını indirdikten sonra aşağıdaki komutu çalıştırarak belirli bir Avro dosyasının şemasını görebilirsiniz:

java -jar avro-tools-1.9.1.jar getschema <name of capture file>

Bu komut döndürür

{

    "type":"record",
    "name":"EventData",
    "namespace":"Microsoft.ServiceBus.Messaging",
    "fields":[
                 {"name":"SequenceNumber","type":"long"},
                 {"name":"Offset","type":"string"},
                 {"name":"EnqueuedTimeUtc","type":"string"},
                 {"name":"SystemProperties","type":{"type":"map","values":["long","double","string","bytes"]}},
                 {"name":"Properties","type":{"type":"map","values":["long","double","string","bytes"]}},
                 {"name":"Body","type":["null","bytes"]}
             ]
}

Dosyayı JSON biçimine dönüştürmek ve başka işlemler gerçekleştirmek için Avro Araçları'nı da kullanabilirsiniz.

Daha gelişmiş işlem gerçekleştirmek için istediğiniz platform için Avro'yı indirin ve yükleyin. Bu yazma sırasında C, C++, C#, Java, NodeJS, Perl, PHP, Python ve Ruby için kullanılabilir uygulamalar vardır.

Apache Avro, Java ve Python için eksiksiz Başlangıç kılavuzları sağlar. Event Hubs Yakalama ile çalışmaya başlama makalesini de okuyabilirsiniz.

Sonraki adımlar

Event Hubs Yakalama, Azure'a veri almanın en kolay yoludur. Azure Data Lake, Azure Data Factory ve Azure HDInsight'ı kullanarak, istediğiniz her ölçekte, seçtiğiniz tanıdık araçları ve platformları kullanarak toplu işlem ve diğer analizleri gerçekleştirebilirsiniz. Bu özellik hakkında daha fazla bilgi edinmek için aşağıdaki makalelere bakın.