Azure Event Hubs'de yakalanan Avro dosyalarını keşfetme
Bu makalede, Azure Event Hubs tarafından yakalanan Avro dosyalarının şeması ve dosyaları keşfetmek için birkaç araç sağlanır.
Şema
Event Hubs Capture tarafından üretilen Avro dosyaları aşağıdaki Avro şemasına sahiptir:
Azure Depolama Gezgini
Yakalanan dosyaların Azure Depolama hesabında Azure Depolama Gezgini gibi araçları kullanarak oluşturulduğunu doğrulayabilirsiniz. Üzerinde çalışmak için dosyaları yerel olarak indirebilirsiniz.
Avro dosyalarını keşfetmenin kolay bir yolu, Apache'nin Avro Araçları jar dosyasını kullanmaktır. Alınan veriler üzerinde karmaşık dağıtılmış işleme gerçekleştirmek için Apache Spark'ı da kullanabilirsiniz.
Apache Spark kullanma
Apache Spark , "büyük ölçekli veri işleme için birleşik bir analiz altyapısıdır." SQL dahil olmak üzere farklı dilleri destekler ve Azure Blob depolamaya kolayca erişebilir. Apache Spark'ı Azure'da çalıştırmak için birkaç seçenek vardır ve her biri Azure Blob depolamaya kolay erişim sağlar:
- HDInsight: Azure depolamadaki dosyaları adresle
- Azure Databricks: Azure Blob depolama. Aşağıdaki örneğe bakın: Event Hubs Yakalama ile Büyük Ölçekte Akış.
- Azure Kubernetes Service
Avro Araçları'nı kullanma
Avro Araçları jar paketi olarak kullanılabilir. Jar dosyasını indirdikten sonra aşağıdaki komutu çalıştırarak belirli bir Avro dosyasının şemasını görebilirsiniz:
java -jar avro-tools-1.9.1.jar getschema <name of capture file>
Bu komut döndürür
{
"type":"record",
"name":"EventData",
"namespace":"Microsoft.ServiceBus.Messaging",
"fields":[
{"name":"SequenceNumber","type":"long"},
{"name":"Offset","type":"string"},
{"name":"EnqueuedTimeUtc","type":"string"},
{"name":"SystemProperties","type":{"type":"map","values":["long","double","string","bytes"]}},
{"name":"Properties","type":{"type":"map","values":["long","double","string","bytes"]}},
{"name":"Body","type":["null","bytes"]}
]
}
Dosyayı JSON biçimine dönüştürmek ve başka işlemler gerçekleştirmek için Avro Araçları'nı da kullanabilirsiniz.
Daha gelişmiş işlem gerçekleştirmek için istediğiniz platform için Avro'yı indirin ve yükleyin. Bu yazma sırasında C, C++, C#, Java, NodeJS, Perl, PHP, Python ve Ruby için kullanılabilir uygulamalar vardır.
Apache Avro, Java ve Python için eksiksiz Başlangıç kılavuzları sağlar. Event Hubs Yakalama ile çalışmaya başlama makalesini de okuyabilirsiniz.
Sonraki adımlar
Event Hubs Yakalama, Azure'a veri almanın en kolay yoludur. Azure Data Lake, Azure Data Factory ve Azure HDInsight'ı kullanarak, istediğiniz her ölçekte, seçtiğiniz tanıdık araçları ve platformları kullanarak toplu işlem ve diğer analizleri gerçekleştirebilirsiniz. Bu özellik hakkında daha fazla bilgi edinmek için aşağıdaki makalelere bakın.
Geri Bildirim
https://aka.ms/ContentUserFeedback.
Çok yakında: 2024 boyunca, içerik için geri bildirim mekanizması olarak GitHub Sorunları’nı kullanımdan kaldıracak ve yeni bir geri bildirim sistemiyle değiştireceğiz. Daha fazla bilgi için bkz.Gönderin ve geri bildirimi görüntüleyin