Aracılığıyla paylaş

Event Hubs'tan Parquet biçiminde veri yakalama

  • Makale

Bu makalede, Parquet biçimindeki bir Azure Data Lake Storage 2. Nesil hesabındaki Event Hubs'ta akış verilerini otomatik olarak yakalamak için kod düzenleyicisinin nasıl kullanılacağı açıklanmaktadır.

Önkoşullar

  • Olay hub'ına sahip bir Azure Event Hubs ad alanı ve yakalanan verileri depolamak için kapsayıcı içeren bir Azure Data Lake Storage 2. Nesil hesabı. Bu kaynakların genel olarak erişilebilir olması ve bir güvenlik duvarının arkasında veya Azure sanal ağında güvenli hale getirilememeleri gerekir.

    Olay hub'larınız yoksa Hızlı Başlangıç: Olay hub'ı oluşturma yönergelerini izleyerek bir tane oluşturun.

    Data Lake Storage 2. Nesil hesabınız yoksa Depolama hesabı oluşturma başlığındaki yönergeleri izleyerek bir hesap oluşturun

  • Event Hubs'ınızdaki veriler JSON, CSV veya Avro biçiminde seri hale getirilmelidir. Test amacıyla soldaki menüden Veri oluştur (önizleme) öğesini seçin, Veri kümesi için hisse senetleri verileri'ni ve ardından Gönder'i seçin.

    Örnek hisse senetleri verileri oluşturmak için Veri oluştur sayfasını gösteren ekran görüntüsü.

Verileri yakalamak için iş yapılandırma

Azure Data Lake Storage 2. Nesil'da veri yakalamak üzere stream analytics işi yapılandırmak için aşağıdaki adımları kullanın.

  1. Azure portal olay hub'ınıza gidin.

  2. Soldaki menüde Özellikler'in altında verileri işle'yi seçin. Ardından, Verileri Parquet biçiminde ADLS 2. Nesil'e yakala kartında Başlat'ı seçin.

    Process Event Hubs veri başlangıç kartlarını gösteren ekran görüntüsü.

  3. Stream Analytics işiniz için bir ad girin ve Oluştur'u seçin.

    İş adını girdiğiniz Yeni Stream Analytics iş penceresini gösteren ekran görüntüsü.

  4. Event Hubs'ta verilerinizin Seri hale getirme türünü ve işin Event Hubs'a bağlanmak için kullandığı Kimlik Doğrulama yöntemini belirtin. Ardından Bağlan'ı seçin.

    Event Hubs bağlantı yapılandırmasını gösteren ekran görüntüsü.

  5. Bağlantı başarıyla kurulduğunda şunları görürsünüz:

    • Giriş verilerinde bulunan alanlar. Alan ekle'yi seçebilir veya isteğe bağlı olarak alanın adını kaldırmak, yeniden adlandırmak veya değiştirmek için alanın yanındaki üç nokta simgesini seçebilirsiniz.

    • Diyagram görünümünün altındaki Veri önizleme tablosundaki gelen verilerin canlı örneği. Düzenli aralıklarla yenilenir. Örnek girişin statik görünümünü görüntülemek için Akış önizlemesini duraklat'ı seçebilirsiniz.

      Veri Önizleme altında örnek verileri gösteren ekran görüntüsü.

  6. Yapılandırmayı düzenlemek için Azure Data Lake Storage 2. Nesil kutucuğunu seçin.

  7. Azure Data Lake Storage 2. Nesil yapılandırma sayfasında şu adımları izleyin:

    1. Açılan menüden aboneliği, depolama hesabı adını ve kapsayıcıyı seçin.

    2. Abonelik seçildikten sonra kimlik doğrulama yöntemi ve depolama hesabı anahtarı otomatik olarak doldurulmalıdır.

    3. Serileştirme biçimi için Parquet'i seçin.

      Data Lake Storage 2. Nesil yapılandırma sayfasını gösteren ekran görüntüsü.

    4. Akış blobları için dizin yolu deseninin dinamik bir değer olması beklenir. Tarihin blob için dosya yolunun bir parçası olması gerekir; olarak başvurulur {date}. Özel yol desenleri hakkında bilgi edinmek için bkz. Azure Stream Analytics özel blob çıkışı bölümleme.

      Blob'un bağlantı yapılandırmasını düzenlediğiniz Blob penceresini gösteren ilk ekran görüntüsü.

    5. Bağlan'ı seçin

  8. Bağlantı kurulduğunda, çıkış verilerinde bulunan alanları görürsünüz.

  9. Yapılandırmanızı kaydetmek için komut çubuğunda Kaydet'i seçin.

    Komut çubuğunda kaydet düğmesinin seçili olduğunu gösteren ekran görüntüsü.

  10. Veri yakalamak için akış akışını başlatmak için komut çubuğunda Başlat'ı seçin. Ardından Stream Analytics'i başlat iş penceresinde:

    1. Çıkış başlangıç saatini seçin.

    2. Fiyatlandırma planını seçin.

    3. İşin birlikte çalıştığı Akış Birimi (SU) sayısını seçin. SU, Stream Analytics işini yürütmek için ayrılan bilgi işlem kaynaklarını temsil eder. Daha fazla bilgi için bkz. Azure Stream Analytics'te Akış Birimleri.

      Çıkış başlangıç zamanını, akış birimlerini ve hata işlemeyi ayarladığınız Stream Analytics'i Başlat iş penceresini gösteren ekran görüntüsü.

  11. Olay hub'ınızın Verileri işleme sayfasının Stream Analytics iş sekmesinde Stream Analytic işini görmeniz gerekir.

    Verileri işleme sayfasındaki Stream Analytics işini gösteren ekran görüntüsü.

Çıkışı doğrulama

  1. Olay hub'ınızın Event Hubs örneği sayfasında Veri oluştur'a tıklayın, veri kümesi için hisse senetleri verileri'ni seçin ve ardından olay hub'ına örnek veriler göndermek için Gönder'i seçin.

  2. Parquet dosyalarının Azure Data Lake Storage kapsayıcısında oluşturulduğunu doğrulayın.

    ADLS kapsayıcısında oluşturulan Parquet dosyalarını gösteren ekran görüntüsü.

  3. Soldaki menüden Verileri işle'yi seçin. Stream Analytics işleri sekmesine geçin. İzlemek için Ölçümleri aç'ı seçin.

    Ölçümleri Aç bağlantısının seçili olduğunu gösteren ekran görüntüsü.

    Giriş ve çıkış olaylarını gösteren ölçümlerin örnek ekran görüntüsü aşağıda verilmiştir.

    Stream Analytics işinin ölçümlerini gösteren ekran görüntüsü.

Sonraki adımlar

Artık Event Hubs verilerini parquet biçiminde Azure Data Lake Storage 2. Nesil yakalayan bir iş oluşturmak için Kod içermeyen Stream Analytics düzenleyicisini nasıl kullanacağınızı biliyorsunuz. Daha sonra Azure Stream Analytics ve oluşturduğunuz işi izleme hakkında daha fazla bilgi edinebilirsiniz.