Azure Event Hubs'dan veri alma

Bu makalede, Event Hubs'tan Microsoft Fabric'teki KQL veritabanınıza veri almayı öğreneceksiniz. Azure Event Hubs , saniyede milyonlarca olayı işleyebilen ve yönlendirebilen büyük bir veri akışı platformu ve olay alımı hizmetidir.

Event Hubs'tan Gerçek Zamanlı Zeka'ya veri akışı yapmak için iki ana adımdan geçersiniz. İlk adım, olay hub'ı örneğinizde paylaşılan erişim ilkesini tanımladığınız ve daha sonra bu ilke aracılığıyla bağlanmak için gereken ayrıntıları yakaladığınız Azure portalında gerçekleştirilir.

İkinci adım, bir KQL veritabanını olay hub'ına bağladığınız ve gelen veriler için şemayı yapılandırdığınız Dokuda Gerçek Zamanlı Zeka'da gerçekleşir. Bu adım iki bağlantı oluşturur. "Bulut bağlantısı" olarak adlandırılan ilk bağlantı, Microsoft Fabric'i olay hub'ı örneğine bağlar. İkinci bağlantı, "bulut bağlantısını" KQL veritabanınıza bağlar. Olay verilerini ve şemasını yapılandırmayı tamamladıktan sonra akış verileri KQL Sorgu Kümesi kullanılarak sorgulanabilir.

Önkoşullar

• Azure aboneliği. Ücretsiz bir Azure hesabı oluşturun
• Olay hub'ı
• Microsoft Fabric özellikli kapasiteye sahip bir çalışma alanı
• Düzenleme izinlerine sahip bir KQL veritabanı

Uyarı

Olay hub'ınız bir güvenlik duvarının arkasında olamaz.

Olay hub'ınızda paylaşılan erişim ilkesi ayarlama

Event Hubs verilerinize bağlantı oluşturabilmeniz için önce olay hub'ında bir paylaşılan erişim ilkesi (SAS) ayarlamanız ve daha sonra bağlantıyı kurarken kullanılacak bazı bilgileri toplamanız gerekir. Event Hubs kaynaklarına erişimi yetkilendirme hakkında daha fazla bilgi için bkz . Paylaşılan Erişim İmzaları.

1. Azure portalında, bağlanmak istediğiniz olay hub'ları örneğine göz atın.

2. Ayarlar'ın altında Paylaşılan erişim ilkeleri'ni seçin

3. Yeni bir SAS ilkesi eklemek için +Ekle'yi seçin veya İzinleri yönet'e sahip mevcut bir ilkeyi seçin.

   

4. İlke adı girin.

5. Yönet'i ve ardından Oluştur'u seçin.

Bulut bağlantısı için bilgi toplama

SAS ilkesi bölmesinde aşağıdaki dört alanı not alın. Bu alanları kopyalayıp daha sonraki bir adımda kullanmak üzere not defteri gibi bir yere yapıştırmak isteyebilirsiniz.

Alan başvurusu	Alan	Veri Akışı Açıklaması	Örnek
a	Event Hubs örneği	Olay hub'ı örneğinin adı.	iotdata
b	SAS İlkesi	Önceki adımda oluşturulan SAS ilkesi adı	DocsTest
c	Birincil anahtar	SAS ilkesiyle ilişkili anahtar	Bu örnekte PGGIISb009 ile başlar...
d	Bağlantı dizesi-birincil anahtar	Bu alanda yalnızca bağlantı dizesi parçası olarak bulunabilen olay hub'ı ad alanını kopyalamak istiyorsunuz.	eventhubpm15910.servicebus.windows.net

Kaynak

1. KQL veritabanınızın alt şeridinde Veri Al'ı seçin.

   Veri al penceresinde Kaynak sekmesi seçilidir.

2. Kullanılabilir listeden veri kaynağını seçin. Bu örnekte Event Hubs'dan veri alırsınız.

   

Yapılandırma

1. Bir hedef tablo seçin. Yeni bir tabloya veri almak istiyorsanız + Yeni tablo'yu seçin ve bir tablo adı girin.

   Not

   Tablo adları boşluk, alfasayısal, kısa çizgi ve alt çizgi gibi en fazla 1024 karakter olabilir. Özel karakterler desteklenmez.

2. Yeni bağlantı oluştur'u seçin veya Mevcut bağlantı'yı seçip sonraki adıma geçin.

Yeni bağlantı oluştur

1. Bağlantı ayarlarını aşağıdaki tabloya göre doldurun:

   

   Ayar	Açıklama	Örnek değer
   Olay hub’ı ad alanı	Yukarıdaki tablodan d alanı.	eventhubpm15910.servicebus.windows.net
   Olay hub'ı	Yukarıdaki tablodan a alanını alın. Olay hub'ı örneğinin adı.	iotdata
   Connection	Doku ile Event Hubs arasında var olan bir bulut bağlantısını kullanmak için bu bağlantının adını seçin. Aksi takdirde Yeni bağlantı oluştur'u seçin.	Yeni bağlantı oluştur
   Bağlantı adı	Yeni bulut bağlantınızın adı. Bu ad otomatik olarak oluşturulur, ancak üzerine yazılabilir. Doku kiracısı içinde benzersiz olmalıdır.	Bağlantı
   Kimlik doğrulaması türü	Otomatik doldurulan. Şu anda yalnızca Paylaşılan Erişim Anahtarı desteklenmektedir.	Paylaşılan Erişim Anahtarı
   Paylaşılan Erişim Anahtarı Adı	Yukarıdaki tablodan b alanı. Paylaşılan erişim ilkesine vermiş olduğunuz ad.	DocsTest
   Paylaşılan Erişim Anahtarı	Yukarıdaki tablodan c alanı. SAS ilkesinin birincil anahtarı.

2. Kaydet'i seçin. Doku ve Event Hubs arasında yeni bir bulut veri bağlantısı oluşturulur.

Bulut bağlantısını KQL veritabanınıza bağlama

İster yeni bir bulut bağlantısı oluşturdunuz ister mevcut bir bulut bağlantısını kullanıyor olun, tüketici grubunu tanımlamanız gerekir. İsteğe bağlı olarak, KQL veritabanı ile bulut bağlantısı arasındaki bağlantının yönlerini daha ayrıntılı tanımlayan parametreler ayarlayabilirsiniz.

1. Aşağıdaki alanları tabloya göre doldurun:

   

   Ayar	Açıklama	Örnek değer
   Tüketici grubu	Olay hub'ınızda tanımlanan ilgili tüketici grubu. Daha fazla bilgi için bkz . tüketici grupları. Yeni bir tüketici grubu ekledikten sonra açılan listeden bu grubu seçmeniz gerekir.	NewConsumer
   Diğer parametreler
   Sıkıştırma	Olay hub'ından geldiği gibi olayların veri sıkıştırması. Seçenekler Yok (varsayılan) veya Gzip sıkıştırmadır.	Hiçbiri
   Olay sistemi özellikleri	Daha fazla bilgi için bkz . olay hub'ı sistem özellikleri. Olay iletisi başına birden çok kayıt varsa, sistem özellikleri ilkine eklenir. Bkz. olay sistemi özellikleri.
   Olay alma başlangıç tarihi	Veri bağlantısı, Olay alma başlangıç tarihinden itibaren oluşturulan mevcut olay hub'ı olaylarını alır. Yalnızca saklama süresine göre olay hub'ı tarafından tutulan olayları alabilir. Saat dilimi UTC'dir. Zaman belirtilmezse, varsayılan saat veri bağlantısının oluşturulduğu zamandır.

2. İncele sekmesine devam etmek için İleri'yi seçin.

Olay sistemi özellikleri

Sistem özellikleri, olay sıralandığı sırada Event Hubs hizmeti tarafından ayarlanan özellikleri depolar. Olay hub'ına veri bağlantısı, belirli bir sistem özellikleri kümesini belirli bir eşlemeye göre bir tabloya alınan verilere ekleyebilir.

Özellik	Veri Türü	Açıklama
x-opt-enqueued-time	datetime	Olayın sıralandığı UTC saati.
x-opt-sequence-number	uzun	Olay hub'ının bölüm akışı içindeki olayın mantıksal sıra numarası.
x-opt-offset	Dize	Olayın olay hub'ı bölüm akışından uzaklığı. Uzaklık tanımlayıcısı, olay hub'ı akışının bir bölümünde benzersizdir.
x-opt-publisher	Dize	İleti bir yayımcı uç noktasına gönderildiyse yayımcı adı.
x-opt-partition-key	Dize	Olayı depolayan ilgili bölümün bölüm anahtarı.

İncele

Alma işlemini tamamlamak için Son'u seçin.

İsteğe bağlı olarak:

• Girdilerinizden oluşturulan otomatik komutları görüntülemek ve kopyalamak için Komut görüntüleyicisi'ni seçin.

• Açılan listeden istediğiniz biçimi seçerek otomatik olarak çıkarılan veri biçimini değiştirin. Veriler olay hub'ından EventData nesneleri biçiminde okunur. Desteklenen biçimler CSV, JSON, PSV, SCsv, SOHsv TSV, TXT ve TSVE'dir.

• Sütunları düzenleyin.

• Veri türüne göre gelişmiş seçenekleri keşfedin.

• Önizleme penceresinde gördüğünüz veriler tamamlanmadıysa, tüm gerekli veri alanlarını içeren bir tablo oluşturmak için daha fazla veriye ihtiyacınız olabilir. Olay hub'ınızdan yeni verileri getirmek için aşağıdaki komutları kullanın:

  • Yeni verileri at ve getir: Sunulan verileri atar ve yeni olayları arar.
  • Daha fazla veri getirme: Önceden bulunan olaylara ek olarak daha fazla olay arar.

Sütunları düzenle

Not

• Tablosal biçimler (CSV, TSV, PSV) için bir sütunu iki kez eşleyemezsiniz. Var olan bir sütuna eşlemek için önce yeni sütunu silin.
• Var olan bir sütun türünü değiştiremezsiniz. Farklı biçime sahip bir sütuna eşlemeye çalışırsanız, boş sütunlarla karşılaşabilirsiniz.

Tabloda yapabileceğiniz değişiklikler aşağıdaki parametrelere bağlıdır:

• Tablo türü yeni veya var
• Eşleme türü yeni veya var

Tablo türü	Eşleme türü	Kullanılabilir ayarlamalar
Yeni tablo	Yeni eşleme	Sütunu yeniden adlandırma, veri türünü değiştirme, veri kaynağını değiştirme, eşleme dönüştürme, sütun ekleme, sütunu silme
Varolan tablo	Yeni eşleme	Sütun ekleme (daha sonra veri türünü değiştirebileceğiniz, yeniden adlandırabileceğiniz ve güncelleştirebileceğiniz)
Varolan tablo	Mevcut eşleme	yok

Eşleme dönüştürmeleri

Bazı veri biçimi eşlemeleri (Parquet, JSON ve Avro) basit alma zamanı dönüştürmelerini destekler. Eşleme dönüştürmelerini uygulamak için Sütunları düzenle penceresinde bir sütun oluşturun veya güncelleştirin.

Eşleme dönüştürmeleri, kaynağın veri türü int veya long olan dize veya datetime türünde bir sütun üzerinde gerçekleştirilebilir. Desteklenen eşleme dönüştürmeleri şunlardır:

• DateTimeFromUnixSeconds
• DateTimeFromUnixMilliseconds
• DateTimeFromUnixMicroseconds
• DateTimeFromUnixNanoseconds

Event Hubs Capture Avro dosyaları için şema eşlemesi

Event Hubs verilerini kullanmanın bir yolu, Azure Blob Depolama veya Azure Data Lake Storage'da Azure Event Hubs aracılığıyla olayları yakalamaktır. Daha sonra yakalama dosyalarını event grid veri bağlantısı kullanılarak yazıldıkları gibi alabilirsiniz.

Yakalama dosyalarının şeması, Event Hubs'a gönderilen özgün olayın şemasından farklıdır. Hedef tablo şemasını bu farkı göz önünde bulundurarak tasarlamanız gerekir. Özellikle, olay yükü yakalama dosyasında bayt dizisi olarak temsil edilir ve bu dizinin kodu Event Grid Azure Veri Gezgini veri bağlantısı tarafından otomatik olarak çözülmez. Event Hubs Avro yakalama verilerinin dosya şeması hakkında daha ayrıntılı bilgi için bkz . Azure Event Hubs'da yakalanan Avro dosyalarını keşfetme.

Olay yükünün kodunu doğru bir şekilde çözmek için:

1. Body Yakalanan olayın alanını hedef tablodaki türdeki dynamic bir sütunla eşleyin.
2. unicode_codepoints_to_string() işlevini kullanarak bayt dizisini okunabilir bir dizeye dönüştüren bir güncelleştirme ilkesi uygulayın.

Veri türüne göre gelişmiş seçenekler

Tablosal (CSV, TSV, PSV):

• Mevcut bir tablodaki tablo biçimlerini alırsanız Gelişmiş>Tablo şemasını koru'yu seçebilirsiniz. Tablosal veriler, kaynak verileri mevcut sütunlara eşlemek için kullanılan sütun adlarını içermesi gerekmez. Bu seçenek işaretlendiğinde eşleme sırasıyla yapılır ve tablo şeması aynı kalır. Bu seçenek işaretlenmemişse, veri yapısından bağımsız olarak gelen veriler için yeni sütunlar oluşturulur.

• İlk satırı sütun adı olarak kullanmak için Gelişmiş>İlk satır sütun başlığı'nı seçin.

  

JSON:

• JSON verilerinin sütun bölmesini belirlemek için 1 ile 100 arasındaki Gelişmiş>İç İçe Düzeyler'i seçin.

• Hata içeren Gelişmiş>JSON satırlarını atla'yı seçerseniz, veriler JSON biçiminde alır. Bu onay kutusunu seçili bırakmazsanız, veriler çok kanallı biçimde alınıyor.

  

Özet

Veri hazırlama penceresinde, veri alımı başarıyla tamamlandığında üç adım da yeşil onay işaretleri ile işaretlenir. Sorgulamak için bir kart seçebilir, alınan verileri bırakabilir veya alma özetinizin bir panosunu görebilirsiniz.

İlgili içerik

• KQL sorgu kümesindeki verileri sorgulama
• Power BI raporunda verileri görselleştirme
• Bir mantıksal kopya