Azure SQL veritabanında verileri dönüştürmek ve depolamak için Azure Stream Analytics kod içermeyen düzenleyiciyi kullanma

Bu makalede, bir Event Hubs örneğinden (olay hub'ı) verileri sürekli okuyan, verileri dönüştüren ve ardından sonuçları bir Azure SQL veritabanına yazan stream analytics işini kolayca oluşturmak için kod düzenleyicisini nasıl kullanabileceğiniz açıklanmaktadır.

Önkoşullar

Azure Event Hubs ve Azure SQL Veritabanı kaynaklarınız genel erişime açık olmalı, bir güvenlik duvarı arkasında veya Azure Sanal Ağ ile korunmamalıdır. Event Hubs'ınızdaki veriler JSON, CSV veya Avro biçiminde seri hale getirilmelidir.

Bu makaledeki adımları denemek istiyorsanız aşağıdaki adımları izleyin.

  • Henüz bir olay hub'ına sahip değilseniz bir olay hub'ı oluşturun. Event Hub'da veri oluşturun. Event Hubs Örneği sayfasında, soldaki menüden Veri oluştur (önizleme) öğesini seçin, Veri Kümesi için stok verileri'ni seçin ve ardından olay hub'ına örnek veriler göndermek için Gönder'i seçin. Bu makaledeki adımları test etmek istiyorsanız bu adım gereklidir.

    Event Hubs örneğinin Veri oluştur (önizleme) sayfasını gösteren ekran görüntüsü.

  • Azure SQL veritabanı oluşturma. Veritabanını oluştururken dikkat edilmesi gereken birkaç önemli nokta aşağıdadır.

    1. Temel Bilgiler sayfasında Sunucu için yeni oluştur'u seçin. Ardından, SQL Veritabanı sunucusu oluştur sayfasında SQL kimlik doğrulamasını kullan'ı seçin ve yönetici kullanıcı kimliği ile parolayı belirtin.

    2. Ağ sayfasında şu adımları izleyin:

      1. Genel uç noktayı etkinleştirin.
      2. Azure hizmetlerinin ve kaynaklarının bu sunucuya erişmesine izin ver için Evet'i seçin.
      3. Geçerli istemci IP adresi ekle için Evet'i seçin.

    3. Ek ayarlar sayfasında Var olan verileri kullan için Yok'a tıklayın.

    4. Makalede, Veritabanını sorgulama ve Kaynakları temizleme bölümlerindeki adımları atlayın.

    5. Adımları test etmek istiyorsanız, Sorgu düzenleyicisini (önizleme) kullanarak SQL veritabanında bir tablo oluşturun.

      create table stocks (
    symbol varchar(4),
    price decimal
)

Stream Analytics işi oluşturmak için kod içermeyen düzenleyiciyi kullanma

Bu bölümde kod içermeyen düzenleyiciyi kullanarak bir Azure Stream Analytics işi oluşturacaksınız. İş bir Event Hubs örneğinden (olay hub'ı) veri akışını dönüştürür ve sonuç verilerini bir Azure SQL veritabanında depolar.

  1. Azure portalına gidin ve Event Hubs Instance sayfasına ulaşarak olay hub'ınızın durumunu kontrol edin.

  2. Soldaki menüden Özellikler>İşlem Verileri'ni seçin ve ardından Verileri SQL veritabanı kartına dönüştür ve depola kartında Başlat'ı seçin.

    ADLS 2. Nesil'e filtrele ve al kartında Başlat'ı seçtiğiniz yeri gösteren ekran görüntüsü.

  3. Stream Analytics işi için bir ad girin ve Oluştur'u seçin. Sağ tarafta Event Hubs penceresinin olduğu Stream Analytics iş diyagramını görürsünüz.

    İş adının girileceği yeri gösteren ekran görüntüsü.

  4. Olay hub'ı penceresinde Serileştirme ve Kimlik Doğrulama modu ayarlarını gözden geçirin ve Bağlan'ı seçin.

    Event Hubs bağlantı yapılandırmasını gösteren ekran görüntüsü.

  5. Bağlantı başarıyla kurulduğunda ve Event Hubs örneğinizde verileriniz olduğunda iki şey görürsünüz:

    • Giriş verilerinde bulunan alanlar. Alan ekle'yi seçebilir veya bir alanın yanındaki üç nokta simgesini seçerek türünü kaldırabilir, yeniden adlandırabilir veya değiştirebilirsiniz.

      Alan türünü kaldırabileceğiniz, yeniden adlandırabileceğiniz veya değiştirebileceğiniz Event Hubs alan listesini gösteren ekran görüntüsü.

    • Diyagram görünümünün altındaki Veri önizleme tablosundaki gelen verilerin canlı örneği. Düzenli aralıklarla otomatik olarak yenilenir. Örnek giriş verilerinin statik görünümünü görmek için Akış önizlemesini duraklat'ı seçebilirsiniz.

      Veri Önizleme altında örnek verileri gösteren ekran görüntüsü.

  6. Gruplandır kutucuğunu verileri toplamak için seçin. Yapılandırmaya göre gruplandır panelinde, Gruplandırmak istediğiniz alanı Zaman penceresiyle birlikte belirtebilirsiniz.

    Aşağıdaki örnekte fiyat ve simge ortalaması kullanılmıştır.

    Operatöre göre gruplandırma yapılandırmasını gösteren ekran görüntüsü.

  7. Veri önizleme bölümünde adımın sonuçlarını doğrulayabilirsiniz.

    Grup işleci için veri önizlemesini gösteren ekran görüntüsü.

  8. Alanları yönet kutucuğunu seçin. Alanları Yönet yapılandırma panelinde, çıktısını almak istediğiniz alanları seçmek için Alan Ekle ->İthal Edilen Şema -> alanını seçin.

    Tüm alanları eklemek istiyorsanız Tüm alanları ekle'yi seçin. Alan eklerken çıkış için farklı bir ad belirtebilirsiniz. Örneğin, AVG_Value ile Value. Seçimleri kaydettikten sonra, Verileri Veri önizleme bölmesinde görürsünüz.

    Aşağıdaki örnekte Sembol ve AVG_Value seçilmiştir. Simge simgeyle eşlenir ve AVG_Value fiyatla eşlenir.

    Alan işleci yapılandırmasını yönetme işlemini gösteren ekran görüntüsü.

  9. SQL kutucuğunu seçin. SQL Veritabanı yapılandırma panelinde gerekli parametreleri doldurun ve bağlanın. Tablonun otomatik olarak seçilmesi için Varolan tabloyu yükle'yi seçin. Aşağıdaki örnekte, [dbo].[stocks] seçilir. Ardından Bağlan'ı seçin.

    Not

    Yazmayı seçtiğiniz tablonun şeması, veri önizlemenizin oluşturduğu alan sayısı ve türleriyle tam olarak eşleşmelidir.

    SQL veritabanı çıkış yapılandırmasını gösteren ekran görüntüsü.

  10. Veri önizleme bölmesinde, SQL veritabanında alınan veri önizlemesini görürsünüz.

    Statik önizleme al/Statik önizlemeyi yenile seçeneğini gösteren ekran görüntüsü.

  11. Kaydet'i ve ardından Stream Analytics işini başlat'ı seçin.

    Kaydet ve Başlat seçeneklerini gösteren ekran görüntüsü.

  12. İşi başlatmak için şunları belirtin:

    • İşin çalıştığı Akış Birimi (SU) sayısı. SU'lar, işe ayrılan işlem ve bellek miktarını temsil eder. Üç ile başlayıp gerektiği gibi ayarlama yapmanızı öneririz.

    • Çıktı veri hatası işleme – Bir işin hedefinize çıkışı veri hataları nedeniyle başarısız olduğunda istediğiniz davranışı belirtmenize olanak tanır. Varsayılan olarak, yazma işlemi başarılı olana kadar göreviniz yeniden denenir. Bu tür çıkış olaylarını bırakmayı da seçebilirsiniz.

      Çıkış süresini değiştirebileceğiniz, akış birimi sayısını ayarlayabileceğiniz ve Çıkış verileri hata işleme seçeneklerini belirleyebileceğiniz Stream Analytics'i Başlat iş seçeneklerini gösteren ekran görüntüsü.

  13. Başlat'ı seçtikten sonra, iş iki dakika içinde çalışmaya başlar. Alt bölmede ölçümler panelinin açık olduğunu görürsünüz. Bu panelin güncelleştirilmiş olması zaman alır. Grafiği yenilemek için panelin sağ üst köşesindeki Yenile'yi seçin. Web tarayıcısının ayrı bir sekmesinde veya penceresinde sonraki adıma geçin.

    İş ölçümlerini başlatıldıktan sonra gösteren ekran görüntüsü.

    İşi Stream Analytics işleri sekmesindeki İşlem Verileri bölümünün altında da görebilirsiniz. İzlemek için Ölçümleri aç'ı seçin veya gerektiğinde durdurup yeniden başlatın.

    Çalışan işlerin durumunu görüntüleyebileceğiniz Stream Analytics işleri sekmesinin ekran görüntüsü.

  14. Portalda olay hub'ınıza ayrı bir tarayıcı penceresinde veya sekmesinde gidin ve örnek hisse senedi verilerini yeniden gönderin (önkoşullarda yaptığınız gibi). Event Hubs Örneği sayfasında, soldaki menüden Veri oluştur (önizleme) öğesini seçin, Veri Kümesi için stok verileri'ni seçin ve ardından olay hub'ına örnek veriler göndermek için Gönder'i seçin. Ölçümler panelinin güncelleştirildiğini görmek birkaç dakika sürer.

  15. Azure SQL veritabanına eklenen kayıtları görmeniz gerekir.

    Veritabanındaki hisse senetleri tablosunun içeriğini gösteren ekran görüntüsü.

Event Hubs Coğrafi çoğaltma özelliğini kullanırken dikkat edilmesi gerekenler

Azure Event Hubs kısa süre önce genel önizlemede Coğrafi Çoğaltma özelliğini başlattı. Bu özellik, Azure Event Hubs'ın Coğrafi Olağanüstü Durum Kurtarma özelliğinden farklıdır.

Yük devretme türü Zorlamalı ve çoğaltma tutarlılığı zaman uyumsuz olduğunda, Stream Analytics işi bir Azure Event Hubs çıkışı için tam olarak bir kez işleme garantisi vermez.

Azure Stream Analytics, bir olay hub’ı üretici çıktısı olarak kullanıldığında, yük devretme sürecinde ve birincil ile ikincil arasında çoğaltma gecikmesi yapılandırılan maksimum gecikmeye ulaştığında Event Hubs tarafından kısıtlama uygulandığında iş üzerinde filigran gecikmesi gözlemlenebilir.

Azure Stream Analytics, Event Hubs giriş olarak kullanıldığında tüketici olarak çalışırken, yük devretme süresi boyunca işte işaretleme gecikmesi gözlemleyebilir ve yük devretme tamamlandıktan sonra verileri atlayabilir veya yinelenen verilerle karşılaşabilir.

Bu uyarıları dikkate alarak, Event Hubs yük devretme tamamlandıktan hemen sonra Stream Analytics işini uygun başlangıç zamanıyla yeniden başlatın. Ayrıca Event Hubs Coğrafi çoğaltma özelliği herkese açık önizleme aşamasında olduğundan, bu noktada Stream Analytics üretim işleri için bu kalıbı kullanmayın. Event Hubs Coğrafi çoğaltma özelliği genel kullanıma sunulmadan önce, geçerli Stream Analytics davranışı geliştirilecektir ve bu davranış Stream Analytics üretim işlerinde kullanılabilir hale gelecektir.

Sonraki adımlar

Azure Stream Analytics ve oluşturduğunuz işi izleme hakkında daha fazla bilgi edinin.

  • Last updated on