Aracılığıyla paylaş

Event Hubs'tan Delta Lake biçiminde veri yakalama

  • Makale

Bu makalede, Delta Lake biçimindeki bir Azure Data Lake Storage 2. Nesil hesabındaki Event Hubs'ta akış verilerini otomatik olarak yakalamak için kod düzenleyicisi yok özelliğinin nasıl kullanılacağı açıklanmaktadır.

Önkoşullar

  • Azure Event Hubs ve Azure Data Lake Storage 2. Nesil kaynaklarınız genel olarak erişilebilir olmalıdır ve azure Sanal Ağ güvenlik duvarının arkasında veya güvenliği sağlanamaz.
  • Event Hubs'ınızdaki veriler JSON, CSV veya Avro biçiminde seri hale getirilmelidir.

Verileri yakalamak için iş yapılandırma

Azure Data Lake Storage 2. Nesil'da veri yakalamak üzere bir Stream Analytics işi yapılandırmak için aşağıdaki adımları kullanın.

  1. Azure portalında olay hub'ınıza gidin.

  2. Özellikler>İşlem Verileri'ni seçin ve Verileri Delta Lake biçiminde ADLS 2. Nesil'e yakala kartında Başlat'ı seçin.
    Event Hubs veri başlangıç kartlarını işlemeyi gösteren ekran görüntüsü.

    Alternatif olarak, Özellik>Yakalama'yı seçin ve "Çıkış olayı serileştirme biçimi" altında Delta Lake seçeneğini belirleyin ve ardından Veri yakalama yapılandırmasını başlat'ı seçin. Yakalama verileri oluşturma işleminin giriş noktasını gösteren ekran görüntüsü.

  3. Stream Analytics işinizi tanımlamak için bir ad girin. Oluştur'u belirleyin.
    İş adını girdiğiniz Yeni Stream Analytics iş penceresini gösteren ekran görüntüsü.

  4. Event Hubs'da verilerinizin Serileştirme türünü ve işin Event Hubs'a bağlanmak için kullandığı Kimlik doğrulama yöntemini belirtin. Ardından Bağlan'ı seçin. Event Hubs bağlantı yapılandırmasını gösteren ekran görüntüsü.

  5. Bağlantı başarıyla kurulduğunda şunları görürsünüz:

    • Giriş verilerinde bulunan alanlar. Alan ekle'yi seçebilir veya isteğe bağlı olarak alanın adını kaldırmak, yeniden adlandırmak veya değiştirmek için alanın yanındaki üç nokta simgesini seçebilirsiniz.
    • Diyagram görünümünün altındaki Veri önizleme tablosundaki gelen verilerin canlı örneği. Düzenli aralıklarla yenilenir. Örnek girişin statik görünümünü görüntülemek için Akış önizlemesini duraklat'ı seçebilirsiniz.
      Veri Önizleme altında örnek verileri gösteren ekran görüntüsü.

  6. Yapılandırmayı düzenlemek için Azure Data Lake Storage 2. Nesil kutucuğunu seçin.

  7. Azure Data Lake Storage 2. Nesil yapılandırma sayfasında şu adımları izleyin:

    1. Açılan menüden aboneliği, depolama hesabı adını ve kapsayıcıyı seçin.

    2. Abonelik seçildikten sonra kimlik doğrulama yöntemi ve depolama hesabı anahtarı otomatik olarak doldurulmalıdır.

    3. Delta tablo yolu için, Azure Data Lake Storage 2. Nesil'de depolanan Delta Lake tablonuzun konumunu ve adını belirtmek için kullanılır. Delta tablosunun yolunu ve delta tablosu adını tanımlamak için bir veya daha fazla yol kesimi kullanmayı seçebilirsiniz. Daha fazla bilgi edinmek için bkz. Delta Lake tablosuna yazma.

    4. Bağlan'ı seçin.

      Blob'un bağlantı yapılandırmasını düzenlediğiniz Blob penceresini gösteren ilk ekran görüntüsü.

  8. Bağlantı kurulduğunda, çıkış verilerinde bulunan alanları görürsünüz.

  9. Yapılandırmanızı kaydetmek için komut çubuğunda Kaydet'i seçin.

  10. Veri yakalamak için akış akışını başlatmak için komut çubuğunda Başlat'ı seçin. Ardından Stream Analytics'i başlat iş penceresinde:

    1. Çıkış başlangıç saatini seçin.
    2. İşin birlikte çalıştığı Akış Birimi (SU) sayısını seçin. SU, Stream Analytics işini yürütmek için ayrılan bilgi işlem kaynaklarını temsil eder. Daha fazla bilgi için bkz . Azure Stream Analytics'te Akış Birimleri.
      Çıkış başlangıç zamanını, akış birimlerini ve hata işlemeyi ayarladığınız Stream Analytics'i Başlat iş penceresini gösteren ekran görüntüsü.

  11. Başlat'ı seçtikten sonra, iş iki dakika içinde çalışmaya başlar ve ölçümler aşağıdaki görüntüde gösterildiği gibi sekme bölümünde açılır. Ölçüm grafiğini gösteren ekran görüntüsü.

  12. Yeni iş Stream Analytics işleri sekmesinde görülebilir.Ölçümleri Aç bağlantısının seçili olduğunu gösteren ekran görüntüsü.

Çıkışı doğrulama

Delta lake biçimindeki parquet dosyalarının Azure Data Lake Depolama kapsayıcısında oluşturulduğunu doğrulayın.

Azure Data Lake Depolama (ADLS) kapsayıcısında oluşturulan Parquet dosyalarını gösteren ekran görüntüsü.

Sonraki adımlar

Artık Delta lake biçiminde Azure Data Lake Storage 2. Nesil için Event Hubs verilerini yakalayan bir iş oluşturmak için Kod düzenleyicisi olmayan Stream Analytics'i nasıl kullanacağınızı biliyorsunuz. Ardından Azure Stream Analytics ve oluşturduğunuz işi izleme hakkında daha fazla bilgi edinebilirsiniz.