Akış verilerini lakehouse'a alma ve SQL analytics uç noktası ile erişim

Bu hızlı başlangıç, verileri bir göl evine indirmek ve ardından SQL analitik uç noktası üzerinden hizmet vermek için Spark Yapılandırılmış Akış içeren Python kodu içeren bir Spark iş tanımı nasıl oluşturulacağını açıklar. Bu hızlı başlangıç'ı tamamladıktan sonra, sürekli çalışan bir Spark iş tanımınız olur ve SQL analitik uç noktası gelen verileri görebilir.

Python betiği oluşturun

Apache Spark kullanarak bir göl evinde akış Delta tablosu oluşturmak için aşağıdaki Python betiğini kullanın. Betik, oluşturulan bir veri akışını (saniyede bir satır) okur ve ekleme modunda streamingtable adlı bir Delta tablosuna yazar. Verileri ve denetim noktası bilgilerini belirtilen göl evinde depolar.

  1. Bir lakehouse tablosuna veri almak için Spark yapılandırılmış akışı kullanan aşağıdaki Python kodunu kullanın.

    from pyspark.sql import SparkSession

if __name__ == "__main__":
 # Start Spark session
 spark = SparkSession.builder \
     .appName("RateStreamToDelta") \
     .getOrCreate()

 # Table name used for logging
 tableName = "streamingtable"

 # Define Delta Lake storage path
 deltaTablePath = f"Tables/{tableName}"

 # Create a streaming DataFrame using the rate source
 df = spark.readStream \
     .format("rate") \
     .option("rowsPerSecond", 1) \
     .load()

 # Write the streaming data to Delta
 query = df.writeStream \
     .format("delta") \
     .outputMode("append") \
     .option("path", deltaTablePath) \
     .option("checkpointLocation", f"{deltaTablePath}/_checkpoint") \
     .start()

 # Keep the stream running
 query.awaitTermination()

  2. Betiğinizi yerel bilgisayarınıza Python dosyası (.py) olarak kaydedin.

Göl evi oluşturma

Göl evi oluşturmak için aşağıdaki adımları kullanın:

  1. Fabric portalında oturum açın.

  2. İstediğiniz çalışma alanına gidin veya gerekirse yeni bir çalışma alanı oluşturun.

  3. Bir göl evi oluşturmak için çalışma alanından Yeni öğe'yi ve ardından açılan panelde Lakehouse'u seçin.

    Yeni lakehouse iletişim kutusunu gösteren ekran görüntüsü.

  4. Göl evinizin adını girin ve Oluştur'u seçin.

Spark iş tanımı oluşturma

Bir Spark iş tanımı oluşturmak için aşağıdaki adımları kullanın:

  1. Göl evi oluşturduğunuz çalışma alanından Yeni öğe'yi seçin.

  2. Açılan paneldeki Veri Al altında Spark İş Tanımı'nı seçin.

  3. Spark iş tanımınızın adını girin ve Oluştur'u seçin.

  4. Karşıya Yükle'yi seçin ve önceki adımda oluşturduğunuz Python dosyasını seçin.

  5. Lakehouse Referansı altında oluşturduğunuz lakehouse'u seçin.

Spark iş tanımı için Yeniden Deneme politikasını ayarla

Spark iş tanımınız için yeniden deneme ilkesini ayarlamak için aşağıdaki adımları kullanın:

  1. Üst menüden Ayar simgesini seçin.

    Spark İş Tanımı ayarları simgesini gösteren ekran görüntüsü.

  2. Optimizasyon sekmesini açın ve Yeniden Deneme Politikası tetikleyicisini Açık olarak ayarlayın.

    Spark İş Tanımı iyileştirme sekmesini gösteren ekran görüntüsü.

  3. En fazla yeniden deneme denemesi tanımlayın veya Sınırsız denemeye izin ver'i işaretleyin.

  4. Her yeniden deneme girişimi arasındaki süreyi belirtin ve Uygula'yı seçin.

Not

Yeniden deneme ilkesi kurulumu için 90 günlük bir yaşam süresi sınırı vardır. Yeniden deneme ilkesi etkinleştirildikten sonra, iş 90 gün içinde ilkeye göre yeniden başlatılır. Bu süre sonunda yeniden deneme ilkesi otomatik olarak çalışmaz ve iş sonlandırılır. Daha sonra kullanıcıların işi el ile yeniden başlatması gerekir ve bu da yeniden deneme ilkesini yeniden etkinleştirir.

Kıvılcım iş tanımını çalıştırın ve izleyin

  1. Üstteki menüden Çalıştır simgesini seçin.

    Spark İş Tanımı çalıştırma simgesini gösteren ekran görüntüsü.

  2. Spark İşi tanımının başarıyla gönderilip gönderilmediğini ve çalıştığını doğrulayın.

SQL analytics uç noktasını kullanarak verileri görüntüleme

Betik çalıştırıldıktan sonra lakehouse'da zaman damgası ve değer sütunları içeren streamingtable adlı bir tablo oluşturulur. SQL analiz uç noktasını kullanarak verileri görüntüleyebilirsiniz:

  1. İş alanınızdan göl evinizi açın.

  2. Sağ üst köşeden SQL analytics uç noktasına geçin.

  3. Sol gezinti bölmesinde Şemalar > dbo >Tabloları'nı genişletin, verilerin önizlemesini görüntülemek için akış tablosunu seçin.

İlgili içerik

  • Last updated on