Event Hubs'tan Azure Synapse Veri Gezgini'a veri alma

Önemli

Azure Synapse Analytics Veri Gezgini (Önizleme) 7 Ekim 2025'te kullanımdan kaldırılacaktır. Bu tarihten sonra Synapse Veri Gezgini'ne çalışan iş yükleri silinir ve ilişkili uygulama verileri kaybolur. Microsoft Fabric'te Eventhouse'a geçiş yapmanızı kesinlikle öneririz.

Microsoft Cloud Migration Factory (CMF) programı, müşterilere Fabric'e geçişte yardımcı olmak için tasarlanmıştır. Program, müşteriye hiçbir ücret ödemeden uygulamalı klavye kaynakları sunar. Bu kaynaklar, önceden tanımlanmış ve üzerinde anlaşmaya varılmış bir kapsama sahip 6-8 haftalık bir süre için atanır. Müşteri adaylıkları Microsoft hesabı ekibinden veya doğrudan CMF ekibine yardım isteği gönderilerek kabul edilir.

• Portal
• Tek tıklamayla
• C#
• Python
• Azure Resource Manager şablonu

Azure Synapse Veri Gezgini, günlük ve telemetri verileri için hızlı ve yüksek oranda ölçeklenebilir bir veri araştırma hizmetidir. Azure Synapse Veri Gezgini, Event Hubs, IoT Hubs ve blob kapsayıcılarına yazılan bloblardan veri alımı (veri yükleme) sunar.

Azure Synapse Veri Gezgini, büyük bir veri akışı platformu ve olay alımı hizmeti olan Event Hubs'dan veri alımı (veri yükleme) sunar. Event Hubs saniyede milyonlarca olayı neredeyse gerçek zamanlı olarak işleyebilir. Bu makalede bir Event Hubs oluşturacak, Azure Synapse Veri Gezgini'dan bu hub'a bağlanacak ve sistem üzerinden veri akışını göreceksiniz.

Önkoşullar

• Bir Azure aboneliği. Ücretsiz bir Azure hesabı oluşturun.

• Synapse Studio'yu veya Azure portalını kullanarak Veri Gezgini havuzu oluşturma

• Veri Gezgini veritabanı oluşturma.

  1. Synapse Studio'da sol taraftaki bölmede Veri'yi seçin.

  2. + (Yeni kaynak ekle) >Veri Gezgini havuzu'nu seçin ve aşağıdaki bilgileri kullanın:

     Setting	Önerilen değer	Description
     Havuz adı	contosodataexplorer	Kullanılacak Veri Gezgini havuzunun adı
     İsim	TestDatabase	Veritabanı adı küme içinde benzersiz olmalıdır.
     Varsayılan saklama süresi	365	Verilerin sorgulanabilir durumda tutulduğundan emin olunan süre (gün olarak). Zaman aralığı verilerin alındığı andan itibaren hesaplanır.
     Varsayılan önbellek dönemi	31	Sık sorgulanan verilerin daha uzun süreli depolama yerine SSD depolama veya RAM'de kullanılabilir durumda tutulması gereken zaman aralığı (gün cinsinden).

  3. Veritabanını oluşturmak için Oluştur'u seçin. Oluşturma işlemi genellikle bir dakikadan kısa sürer.

• Event Hubs'ın veri göndereceği bir hedef tablo oluşturma

  1. Synapse Studio'da sol taraftaki bölmede Geliştir'i seçin.

  2. KQL betikleri altında , +. Sağ taraftaki bölmede senaryonuzu adlandırabilirsiniz.

  3. Bağlan menüsünde contosodataexplorer öğesini seçin.

  4. Veritabanını kullan menüsünde TestDatabase'i seçin.

  5. Aşağıdaki komutu yapıştırın ve çalıştır'ı seçerek tabloyu oluşturun.

     .create table TestTable (TimeStamp: datetime, Name: string, Metric: int, Source:string)
     

     İpucu

     Tablonun başarıyla oluşturulduğunu doğrulayın. Sol taraftaki bölmede Veri'yi seçin, contosodataexplorer more menüsünü ve ardından Yenile'yi seçin. contosodataexplorer altında Tablolar'ı genişletin ve TestTable tablosunun listede göründüğünden emin olun.

  6. Aşağıdaki komutu pencereye kopyalayın ve Çalıştır'ı seçerek gelen JSON verilerini tablonun sütun adlarına ve veri türlerine (TestTable) eşleyin.

     .create table TestTable ingestion json mapping 'TestMapping' '[{"column":"TimeStamp", "Properties": {"Path": "$.timeStamp"}},{"column":"Name", "Properties": {"Path":"$.name"}} ,{"column":"Metric", "Properties": {"Path":"$.metric"}}, {"column":"Source", "Properties": {"Path":"$.source"}}]'
     

• Veri bağlantısı için kullanıcı tarafından atanan yönetilen kimlik veya sistem tarafından atanan yönetilen kimlik kullanmanızı öneririz (isteğe bağlı).

• Veri oluşturan ve bir olay hub'ına gönderen örnek bir uygulama . Örnek uygulamayı sisteminize indirin.

• Örnek uygulamayı çalıştırmak için Visual Studio 2019 .

Azure portalda oturum açma

Azure portalınaoturum açın.

Olay hub’ı oluşturma

Azure portalında bir Azure Resource Manager şablonu kullanarak bir olay hub'ı oluşturun.

1. Olay hub'ı oluşturmak için aşağıdaki düğmeyi kullanarak dağıtımı başlatın. Sağ tıklayıp Yeni pencerede aç'ı seçerek bu makaledeki diğer adımları izleyebilirsiniz.

   

   Azure'a Dağıt düğmesi sizi Azure portalına götürür.

2. Olay hub'ının oluşturulmasını istediğiniz aboneliği seçin ve test-hub-rg adlı bir kaynak grubu oluşturun.

   

3. Formu aşağıdaki bilgilerle doldurun.

   Aşağıdaki tabloda yer almayan ayarlar için varsayılan değerleri kullanın.

   Setting	Önerilen değer	Alan açıklaması
   Subscription	Aboneliğiniz	Event Hubs'ınız için kullanmak istediğiniz Azure aboneliğini seçin.
   Kaynak grubu	test-hub-rg	Yeni bir kaynak grubu oluşturun.
   Yer	Batı ABD	Bu makale için Batı ABD'yi seçin. Üretim sisteminde ihtiyaçlarınıza en uygun bölgeyi seçmeniz gerekir. En iyi performans için Event Hubs ad alanını Azure Synapse Veri Gezgini kümesiyle aynı Konumda oluşturun (yüksek aktarım hızına sahip Event Hubs ad alanları için en önemli).
   Namespace adı	Benzersiz bir ad alanı adı	Ad alanınızı tanımlayan benzersiz bir ad seçin. Örneğin, mytestnamespace. Girdiğiniz adın sonuna servicebus.windows.net etki alanı adı eklenir. Ad yalnızca küçük harf, sayı ve kısa çizgi içerebilir. Ad bir harf ile başlamalı ve harf veya sayı ile bitmelidir. Değer uzunluğu 6 ile 50 karakter arasında olmalıdır.
   Event Hubs ismi	test hub'ı	Event Hubs, benzersiz bir kapsam kapsayıcısı sağlayan ad alanının altında yer alır. Event Hubs adı ad alanında benzersiz olmalıdır.
   Tüketici grubu adı	test-grubu	Tüketici grupları birden fazla tüketici uygulamasının ayrı olay akışı görünümüne sahip olmasını sağlar.

4. Seçin, gözden geçir ve oluştur.

5. Oluşturulan kaynakların özeti'ni gözden geçirin. Oluştur'u seçin. Bu, aboneliğinizde kaynak oluşturduğunuzu kabul eder.

   

6. Araç çubuğunda Bildirimler’i seçip sağlama işlemini izleyin. Dağıtımın başarıyla tamamlanması birkaç dakika sürebilir ancak beklemeden bir sonraki adıma geçebilirsiniz.

   

Kimlik doğrulamasıyla ilgili dikkat edilmesi gerekenler

Kullandığınız kimliğin türüne bağlı olarak, Event Hubs ile kimlik doğrulaması yaparken ek yapılandırmalara gerek duyabilirsiniz.

• Kullanıcı tarafından atanan yönetilen kimliği kullanarak Event Hubs ile kimlik doğrulaması yapıyorsanız, Event Hubs >Ağ kısmına gidin ve Erişime izin ver başlığı altında Tüm ağlar'ı seçin ve değişiklikleri kaydedin.

  

• Sistem tarafından atanan yönetilen kimliği kullanarak Event Hubs ile kimlik doğrulaması yaparsanız Event Hubs >Ağınıza gidin ve tüm ağlardan erişime izin verin veya Erişime izin ver altında Seçili ağlar'ı seçin, Güvenilen Microsoft hizmetleri bu güvenlik duvarını atlamasına izin ver'i seçin ve değişiklikleri kaydedin.

  

Event Hubs'a bağlanma

Şimdi Veri Gezgini havuzundan Event Hubs'a bağlanacaksınız. Bu bağlantı gerçekleştiğinde, Event Hubs'a akan veriler bu makalenin önceki bölümlerinde oluşturduğunuz test tablosuna akışla aktarılır.

1. Event Hubs dağıtımının başarılı olduğunu doğrulamak için araç çubuğunda Bildirimler'i seçin.

2. Oluşturduğunuz Veri Gezgini havuzunun altında Veritabanları

   

3. Veri bağlantıları'nı ve Veri bağlantısı ekle'yi seçin.

   

Veri bağlantısı oluşturma (Önizleme)

Formu aşağıdaki bilgilerle doldurun ve oluştur'u seçin.

Setting	Önerilen değer	Alan açıklaması
Veri bağlantısı adı	test-hub-connection	Azure Synapse Veri Gezgini'da oluşturmak istediğiniz bağlantının adı.
Subscription		Event Hubs kaynağının bulunduğu abonelik kimliği. Bu alan otomatik olarak doldurulur.
Event Hubs ad alanı	Benzersiz bir ad alanı adı	Önceden seçtiğiniz ve ad alanınızı tanımlayan ad.
Event Hubs	test hub'ı	Oluşturduğunuz Event Hubs.
Tüketici grubu	test-grubu	Oluşturduğunuz Event Hubs'da tanımlanan tüketici grubu.
Olay sistemi özellikleri	İlgili özellikleri seçin	Event Hubs sistem özellikleri. Olay iletisi başına birden çok kayıt varsa, sistem özellikleri ilk kayda eklenir. Sistem özellikleri eklerken, tablo şemasını ve eşlemesini, seçili özellikleri içerecek şekilde oluşturun veya güncelleştirin.
Compression	Hiçbiri	Event Hubs iletileri yükünün sıkıştırma türü. Desteklenen sıkıştırma türleri: Yok, Gzip.
Yönetimli Kimlik	Sistem tarafından atanan	Event Hubs'dan okumak için erişimde kullanılan Veri Gezgini Kümesi tarafından yönetilen kimlik. Not: Veri bağlantısı oluşturulduğunda: - Sistem tarafından atanan kimlikler yoksa otomatik olarak oluşturulur - Yönetilen kimliğe otomatik olarak Azure Event Hubs Veri Alıcısı rolü atanır ve Veri Gezgini kümenize eklenir. Rolün atandığını ve kimliğin kümeye eklendiğini doğrulamanızı öneririz.

Hedef tablo

Alınan verileri yönlendirmek için iki seçenek vardır: statik ve dinamik. Bu makalede, varsayılan değerler olarak tablo adını, veri biçimini ve eşlemeyi belirttiğiniz statik yönlendirmeyi kullanırsınız. Event Hubs iletisi veri yönlendirme bilgileri içeriyorsa, bu yönlendirme bilgileri varsayılan ayarları geçersiz kılar.

1. Aşağıdaki yönlendirme ayarlarını doldurun:

   

   Setting	Önerilen değer	Alan açıklaması
   Tablo adı	TestTable	TestDatabase içinde oluşturduğunuz tablo.
   Veri biçimi	JSON	Desteklenen biçimler Avro, CSV, JSON, MULTILINE JSON, ORC, PARQUET, PSV, SCSV, SOHSV, TSV, TXT, TSVE, APACHEAVRO ve W3CLOG'dur.
   Haritalandırma	TestMapping	Gelen verileri TestTable'ın sütun adlarına ve veri türlerine eşleyen TestDatabase'de oluşturduğunuz eşleme. JSON, MULTILINE JSON ve AVRO için gereklidir ve diğer biçimler için isteğe bağlıdır.

   Uyarı

   • Tüm Varsayılan yönlendirme ayarlarını belirtmeniz gerekmez. Kısmi ayarlar da kabul edilir.
   • Veri bağlantısını oluşturduktan sonra yalnızca sıraya alınan olaylar işleme alınır.

2. Oluştur'i seçin.

Olay sistemi özellikleri eşlemesi

Uyarı

• Sistem özellikleri için json ve tablosal biçimler (csvtsvvb.) desteklenir ve sıkıştırılmış verilerde desteklenmez. Desteklenmeyen bir biçim kullanılırken veriler yine işlenir, ancak özellikler yoksayılır.
• Tablosal veriler için sistem özellikleri yalnızca tek kayıtlı olay iletileri için desteklenir.
• JSON verileri için sistem özellikleri birden çok kayıtlı olay iletileri için de desteklenir. Böyle durumlarda sistem özellikleri yalnızca olay iletisinin ilk kaydına eklenir.
• Eşleme için, csv özellikler, Sistem özellikleri tablosunda listelenen sıraya göre kaydın başına eklenir.
• Eşleme için json, Sistem özellikleri tablosundaki özellik adlarına göre özellikler eklenir.

Tablonun Veri Kaynağı bölümünde Olay sistemi özelliklerini seçtiyseniz, sistem özelliklerini tablo şemasına ve eşlemesine eklemeniz gerekir.

Bağlantı dizesini kopyalayın

Önkoşullar bölümünde listelenen örnek uygulamayı çalıştırdığınızda Event Hubs ad alanı için bağlantı dizesi gerekir.

1. Oluşturduğunuz Event Hubs ad alanının altında Paylaşılan erişim ilkeleri'ni ve ardından RootManageSharedAccessKey'i seçin.

   

2. Bağlantı dizesi - birincil anahtar değerini kopyalayın. Bir sonraki bölümde bunu yapıştıracaksınız.

   

Örnek veri oluşturma

Veri oluşturmak için indirdiğiniz örnek uygulamayı kullanın.

Uyarı

Bu örnek, örneğin basitliği için Event Hubs'a bağlanmak için bağlantı dizesi kimlik doğrulamasını kullanır. Ancak betiğinize bir bağlantı dizesi sabit kodlamak, uygulamaya çok yüksek düzeyde güven gerektirir ve güvenlik riskleri taşır.

Uzun süreli ve güvenli çözümler için şu seçeneklerden birini kullanın:

• Parolasız kimlik doğrulaması
• bağlantı dizesi bir Azure Key Vault'ta depolayın ve kodunuzda almak için bu yöntemi kullanın.

1. Örnek uygulama çözümünü Visual Studio'da açın.

2. program.cs dosyasında, eventHubName sabitini Event Hubs'ınızın adıyla güncelleyin ve connectionString sabitini Event Hubs ad alanından kopyaladığınız bağlantı dizesi ile güncelleyin.

   const string eventHubName = "test-hub";
   // Copy the connection string ("Connection string-primary key") from your Event Hub namespace.
   const string connectionString = @"<YourConnectionString>";
   

3. Uygulamayı derleyin ve çalıştırın. Uygulama Event Hubs'a ileti gönderir ve her 10 saniyede bir durumunu yazdırır.

4. Uygulama birkaç ileti gönderdikten sonra sonraki adıma geçin: Event Hubs'ınıza ve test tablonuza veri akışını gözden geçirme.

Veri akışını inceleme

Uygulama veri oluştururken bu verilerin Event Hubs'dan kümenizdeki tabloya akışını görebilirsiniz.

1. Azure portalında, Event Hubs'ınızın altında uygulama çalışırken etkinlikte ani artış olduğunu görürsünüz.

   

2. Veritabanına ulaşan ileti sayısını denetlemek için test veritabanınızda aşağıdaki sorguyu çalıştırın.

   TestTable
   | count
   

3. İletilerin içeriğini görmek için aşağıdaki sorguyu çalıştırın:

   TestTable
   

   Sonuç kümesi aşağıdaki görüntü gibi görünmelidir:

   

   Uyarı

   • Azure Synapse Veri Gezgini, veri alımı için bir toplama (toplu işlem) ilkesine sahiptir ve bu ilke, alım işlemini iyileştirmek için tasarlanmıştır. Varsayılan toplu işleme ilkesi, bir toplu iş için aşağıdaki koşullardan biri doğru olduğunda toplu işi kapatacak şekilde yapılandırılır: maksimum 5 dakika gecikme süresi, toplam 1 GB boyut veya 1000 blob. Bu nedenle, bir gecikmeyle karşılaşabilirsiniz. Daha fazla bilgi için bkz . toplu işlem ilkesi.
   • Olay Hub verileri alımı, 10 saniye veya 1 MB'lık Olay Hub yanıt süresini içerir.
   • Yanıt süresi gecikmesini azaltmak için tablonuzu akışı destekleyecek şekilde yapılandırın. Bkz akış ilkesi.

Kaynakları temizle

Event Hubs'ınızı yeniden kullanmayı planlamıyorsanız, ücret yansıtılmasını önlemek için test-hub-rg dosyasını temizleyin.

1. Azure portalında, en solda bulunan Kaynak grupları’nı ve ardından oluşturduğunuz kaynak grubunu seçin.

   Sol menü daraltılmışsa, genişletmek için seçin.

   

2. test-resource-group altında Kaynak grubunu sil'i seçin.

3. Yeni pencerede silinecek kaynak grubunun adını yazın (test-hub-rg) ve Sil'i seçin.

Sonraki Adımlar

• Veri Gezgini ile analiz etme
• Data Explorer havuzlarını izleme