Akış verilerini lakehouse'a alma ve SQL analytics uç noktası ile erişim

Bu hızlı başlangıçta, verileri bir lakehouse'a getirmek ve ardından bir SQL analiz uç noktası aracılığıyla sunmak için Spark Yapılandırılmış Akış ile Python kodu içeren bir Spark İş Tanımı oluşturma işlemi açıklanmaktadır. Bu hızlı başlangıcı tamamladıktan sonra sürekli çalışan bir Spark İş Tanımına sahip olursunuz ve SQL analiz uç noktası gelen verileri görüntüleyebilir.

Python betiği oluşturma

1. Bir lakehouse tablosuna veri almak için Spark yapılandırılmış akışı kullanan aşağıdaki Python kodunu kullanın.

   import sys
   from pyspark.sql import SparkSession
   
   if __name__ == "__main__":
       spark = SparkSession.builder.appName("MyApp").getOrCreate()
   
       tableName = "streamingtable"
       deltaTablePath = "Tables/" + tableName
   
       df = spark.readStream.format("rate").option("rowsPerSecond", 1).load()
   
       query = df.writeStream.outputMode("append").format("delta").option("path", deltaTablePath).option("checkpointLocation", deltaTablePath + "/checkpoint").start()
       query.awaitTermination()
   

2. Betiğinizi yerel bilgisayarınıza Python dosyası (.py) olarak kaydedin.

Göl evi oluşturma

Göl evi oluşturmak için aşağıdaki adımları kullanın:

1. Microsoft Fabric'te Synapse Veri Madenciliği deneyimini seçin.

2. İstediğiniz çalışma alanına gidin veya gerekirse yeni bir çalışma alanı oluşturun.

3. Bir göl evi oluşturmak için ana bölmedeki Yeni bölümünün altındaki Lakehouse simgesini seçin.

   

4. Göl evinizin adını girin ve Oluştur'u seçin.

Spark İş Tanımı Oluşturma

Spark İş Tanımı oluşturmak için aşağıdaki adımları kullanın:

1. Göl evi oluşturduğunuz çalışma alanından soldaki menüden Oluştur simgesini seçin.

2. "Veri Madenciliği" bölümünde Spark İş Tanımı'yı seçin.

   

3. Spark İş Tanımınızın adını girin ve Oluştur'u seçin.

4. Karşıya Yükle'yi seçin ve önceki adımda oluşturduğunuz Python dosyasını seçin.

5. Lakehouse Başvurusu altında oluşturduğunuz lakehouse'u seçin.

Spark İş Tanımı için Yeniden Deneme ilkesini ayarlama

Spark iş tanımınız için yeniden deneme ilkesini ayarlamak için aşağıdaki adımları kullanın:

1. Üst menüden Ayar simgesini seçin.

   

2. İyileştirme sekmesini açın ve İlkeyi Yeniden Dene tetikleyicisini Açık olarak ayarlayın.

   

3. En fazla yeniden deneme denemesi tanımlayın veya Sınırsız denemeye izin ver'i işaretleyin.

4. Her yeniden deneme girişimi arasındaki süreyi belirtin ve Uygula'yı seçin.

Dekont

Yeniden deneme ilkesi kurulumu için 90 günlük bir yaşam süresi sınırı vardır. Yeniden deneme ilkesi etkinleştirildikten sonra, iş 90 gün içinde ilkeye göre yeniden başlatılır. Bu süre sonunda yeniden deneme ilkesi otomatik olarak çalışmaz ve iş sonlandırılır. Daha sonra kullanıcıların işi el ile yeniden başlatması gerekir ve bu da yeniden deneme ilkesini yeniden etkinleştirir.

Spark İş Tanımını yürütme ve izleme

1. Üstteki menüden Çalıştır simgesini seçin.

   

2. Spark İşi tanımının başarıyla gönderilip gönderilmediğini ve çalıştığını doğrulayın.

SQL analytics uç noktasını kullanarak verileri görüntüleme

1. Çalışma alanı görünümünde Lakehouse'unuzu seçin.

2. Sağ köşede Lakehouse'ı ve ardından SQL analiz uç noktasını seçin.

3. Tablolar'ın altındaki SQL analizi uç noktası görünümünde betiğinizin verileri almak için kullandığı tabloyu seçin. Ardından SQL analytics uç noktasından verilerinizin önizlemesini görüntüleyebilirsiniz.

İlgili içerik

• Spark İş Tanımı
• Göl evi için SQL analiz uç noktası nedir?