Öğretici: Azure Data Lake Storage 2. Nesil'de depolanan bir Delta tablosuna yazma

Bu öğreticide, Azure Data Lake Storage 2. Nesil'da Delta tablosuna yazan bir Stream Analytics işinin nasıl oluşturulacağı gösterilmektedir. Bu eğitimde şunları öğreniyorsunuz:

• Olay hub'ınıza örnek veriler gönderen bir olay oluşturucu dağıtma
• Akış Analizi Görevi Oluşturun
• Delta tablosuyla Azure Data Lake Storage 2. Nesil yapılandırma
• Stream Analytics işini çalıştırma

Önkoşullar

Başlamadan önce aşağıdaki adımları tamamlayın:

• Azure aboneliğiniz yoksa ücretsiz hesap oluşturun.
• TollApp olay oluşturucuyu Azure'a dağıtın. TollApp Azure Şablonunu Dağıtmak için bu bağlantıyı kullanın. parametresini interval 1 olarak ayarlayın. Bu adım için yeni bir kaynak grubu oluşturun ve kullanın.
• Data Lake Storage 2. Nesil hesabı oluşturun.

Akış Analizi Görevi Oluşturun

1. Azure portalınaoturum açın.

2. Soldaki menüden Tüm hizmetler'i seçin.

3. Analiz bölümünde Stream Analytics işlerinin üzerine fareyi getirin ve + (artı) seçeneğini tıklayın.

   

4. Azure portalının sol üst köşesinde kaynak oluştur'u seçin.

5. Sonuçlar listesinden Analitik>Stream Analytics görevini seçin.

6. Yeni Stream Analytics işinde şu adımları izleyin:

   1. Abonelik için Azure aboneliğinizi seçin.
   2. Kaynak grubu için, Daha önce TollApp dağıtımında kullandığınız kaynağın aynısını seçin.
   3. Ad alanına iş için bir ad girin. Stream Analytics iş adları yalnızca alfasayısal karakterler, kısa çizgiler ve alt çizgiler içerebilir. 3 ile 63 karakter uzunluğunda olmalıdır.
   4. Barındırma ortamı için Bulut'un seçili olduğunu onaylayın.
   5. Akış birimleri için1'i seçin. Akış birimleri, bir işi yürütmek için gereken bilgi işlem kaynaklarını temsil eder. Akış birimlerini ölçeklendirme hakkında bilgi edinmek için bkz. Akış birimlerini anlama ve ayarlama.

   

7. Sayfanın altında Gözden geçir + oluştur seçin.

8. Gözden geçir ve oluştur kısmında ayarları gözden geçirin ve bir Stream Analytics işi oluşturmak için Oluştur'u seçin.

9. Dağıtım sayfasında Kaynağa git öğesini seçerek Stream Analytics görevi sayfasına gidin.

İş girdisini yapılandır

Sonraki adım, TollApp dağıtımında oluşturulan olay hub'ını kullanarak işin verileri okuması için bir giriş kaynağı tanımlamaktır.

1. Önceki bölümde oluşturulan Stream Analytics işini bulun.

2. Stream Analytics işinin İş Topolojisi bölümünde Girişler'i seçin.

3. + Girdi ekle ve Olay hub'ı seçin.

   

4. Giriş formunu TollApp Azure Şablonu aracılığıyla oluşturulan aşağıdaki değerlerle doldurun:

   1. Giriş diğer adı için entrystream girin.

   2. Aboneliklerinizden Olay Hub'ı Seç'i seçin.

   3. Abonelik için Azure aboneliğinizi seçin.

   4. Olay Hub'ı ad alanı için önceki bölümde oluşturduğunuz olay hub'ı ad alanını seçin.

   5. Kalan ayarlarda varsayılan seçenekleri kullanın ve Kaydet'i seçin.

      

İş çıktısını yapılandır

Sonraki adım, işin veri yazabileceği bir çıkış havuzu tanımlamaktır. Bu öğreticide, Çıkışı Azure Data Lake Storage 2. Nesil'deki bir Delta tablosuna yazarsınız.

1. Stream Analytics işinin İş Topolojisi bölümünde Çıkışlar seçeneğini belirleyin.

2. Seçin + Çıkış ekle>Blob depolama/ADLS Gen2.

   

3. Çıkış formunu aşağıdaki ayrıntılarla doldurun ve Kaydet'i seçin:

   1. Çıkış diğer adı olarak DeltaOutput'u girin.

   2. Aboneliklerinizden Blob depolama/ADLS 2. Nesil'i seçin.

   3. Abonelik için Azure aboneliğinizi seçin.

   4. Depolama hesabı için oluşturduğunuz ADLS 2. Nesil hesabını (tollapp ile başlayan hesap) seçin.

   5. Kapsayıcı için Yeni oluştur'u seçin ve benzersiz bir kapsayıcı adı sağlayın.

   6. Olay Serileştirme Biçimi için Delta Lake'i seçin. Delta Lake buradaki seçeneklerden biri olarak listelenmiş olsa da veri biçimi değildir. Delta Lake, verilerinizi depolamak için sürümlenmiş Parquet dosyalarını kullanır. Delta lake hakkında daha fazla bilgi edinmek için.

   7. Delta tablo yolu için öğretici klasörü/delta tablosu girin.

   8. Kalan ayarlarda varsayılan seçenekleri kullanın ve Kaydet'i seçin.

      

Sorgu oluşturma

Bu noktada, gelen veri akışını okumak için bir Stream Analytics işi ayarlarsınız. Sonraki adım, verileri gerçek zamanlı olarak analiz eden bir sorgu oluşturmaktır. Sorgular, Stream Analytics'e özgü bazı uzantıları olan SQL benzeri bir dil kullanır.

1. Soldaki menüden İş topolojisi'nin altında Sorgu'yu seçin.

2. Sorgu penceresine aşağıdaki sorguyu girin. Bu örnekte sorgu, Event Hubs'daki verileri okur ve seçilen değerleri ADLS 2. Nesil'deki bir Delta tablosuna kopyalar.

    SELECT State, CarModel.Make, TollAmount
    INTO DeltaOutput
    FROM EntryStream TIMESTAMP BY EntryTime
   

3. Araç çubuğunda Sorguyu kaydet'i seçin.

   

Stream Analytics işini başlatıp çıktıyı denetleyin

1. Azure portalında işe genel bakış sayfasına dönün ve Başlat'ı seçin.

   

2. İşi başlat sayfasında İş çıktısı başlangıç zamanı için Şimdi seçeneğinin belirlendiğini onaylayın ve ardından sayfanın alt kısmındaki Başlat'ı seçin.

   

3. Birkaç dakika sonra portalda depolama hesabını ve işin çıktısı olarak yapılandırdığınız kapsayıcıyı bulun. Artık delta tablosunu kapsayıcıda belirtilen klasörde görebilirsiniz. İşin ilk kez başlatılması birkaç dakika sürer. Başladıktan sonra veriler geldikçe çalışmaya devam eder.

   

Kaynakları temizle

Kaynaklara artık ihtiyacınız kalmadığında kaynak grubunu, Stream Analytics işini ve tüm ilgili kaynakları silin. İşin silinmesi halinde, işin tükettiği akış birimleri için faturalandırma durur. gelecekte işi kullanmayı planlıyorsanız, işi durdurabilir ve daha sonra ihtiyacınız olduğunda yeniden başlatabilirsiniz. Bu işi kullanmaya devam etmeyecekseniz, aşağıdaki adımları kullanarak bu öğreticide oluşturduğunuz tüm kaynakları silin:

1. Azure portalında sol taraftaki menüden, Kaynak grupları'nı ve ardından oluşturduğunuz kaynağın adını seçin.
2. Kaynak grubu sayfanızda, Sil'i seçin, metin kutusuna silinecek kaynağın adını yazın ve ardından Sil'i seçin.

Sonraki Adımlar

Bu öğreticide basit bir Stream Analytics job oluşturup gelen verileri filtrelediniz ve sonuçları ADLS Gen2 hesabında bir Delta tablosuna yazdınız. Stream Analytics işleri hakkında daha fazla bilgi edinmek için bkz:

ASA, çıktıyı Delta Lake'e yazar