Aracılığıyla paylaş

Doku Çalışma Zamanı 1.3 (Genel Önizleme)

  • Makale

Doku çalışma zamanı, Azure ile sorunsuz bir tümleştirme sunar. Apache Spark kullanan hem veri mühendisliği hem de veri bilimi projeleri için gelişmiş bir ortam sağlar. Bu makalede, büyük veri hesaplamaları için en yeni çalışma zamanı olan Fabric Runtime 1.3'ün temel özelliklerine ve bileşenlerine genel bir bakış sağlanmaktadır.

Fabric Runtime 1.3, veri işleme özelliklerinizi geliştirmek için tasarlanmış aşağıdaki bileşenleri ve yükseltmeleri içerir:

  • Apache Spark 3.5
  • İşletim Sistemi: Mariner 2.0
  • Java: 11
  • Scala: 2.12.17
  • Python: 3.11
  • Delta Gölü: 3.1
  • R: 4.3.3

Not

Fabric Runtime 1.3 şu anda genel önizleme aşamasındadır. VSCode ve Düşük Karıştırma Birleştirme ile tümleştirmeler genel önizleme sürümünde desteklenmez.

Çalışma zamanı 1.3'i çalışma alanınızla tümleştirmek ve yeni özelliklerini kullanmak için aşağıdaki yönergeleri kullanın:

  1. Doku çalışma alanınızın içindeki Çalışma Alanı ayarları sekmesine gidin.
  2. Veri Madenciliği/Bilim sekmesine gidin ve Spark Ayarları'nı seçin.
  3. Ortam sekmesini seçin.
  4. Çalışma Zamanı Sürümleri açılan listesinde 1.3 Genel Önizleme (Spark 3.5, Delta 3.1) öğesini seçin ve değişikliklerinizi kaydedin. Bu eylem 1,3'i çalışma alanınız için varsayılan çalışma zamanı olarak ayarlar.

Çalışma zamanı sürümünün seçileceği yeri gösteren ekran görüntüsü.

Artık Doku çalışma zamanı 1.3'te (Spark 3.5 ve Delta Lake 3.1) sunulan en yeni iyileştirmeler ve işlevlerle çalışmaya başlayabilirsiniz.

İpucu

Güncel bilgiler, değişikliklerin ayrıntılı listesi ve Doku çalışma zamanları için belirli sürüm notları için Spark Çalışma Zamanları Yayınları ve Güncelleştirmeleri'ne göz atın ve abone olun.

Önemli noktalar

Apache Spark 3.5

Apache Spark 3.5.0 , 3.x serisinin altıncı sürümüdür. Bu sürüm, Jira'da kaydedildiği gibi 1.300'den fazla sorunu ele alan açık kaynak topluluğu içinde kapsamlı bir işbirliği ürünüdür.

Bu sürümde, yapılandırılmış akış için uyumluluk açısından bir yükseltme vardır. Ayrıca, bu sürüm PySpark ve SQL'de işlevselliği genişletmektedir. SQL tanımlayıcı yan tümcesi, SQL işlev çağrılarındaki adlandırılmış bağımsız değişkenler ve HyperLogLog yaklaşık toplamaları için SQL işlevlerinin eklenmesi gibi özellikler ekler. Diğer yeni özellikler arasında Python kullanıcı tanımlı tablo işlevleri, DeepSpeed aracılığıyla dağıtılmış eğitimin basitleştirilmesi ve filigran yayma ve dropDuplicatesWithinWatermark işlemi gibi yeni yapılandırılmış akış özellikleri yer alır.

Tam listeyi ve ayrıntılı değişiklikleri burada kontrol edebilirsiniz: https://spark.apache.org/releases/spark-release-3-5-0.html.

Delta Spark

Delta Lake 3.1, Delta Lake'i biçimler arasında birlikte çalışabilir, daha kolay çalışılabilir ve daha yüksek performanslı hale getirmek için kolektif bir taahhüdü işaret ediyor. Delta Spark 3.1.0, Apache Spark™ 3.5'in üzerine kurulmuştur. Delta Spark maven yapıtı delta-core'dan delta-spark olarak yeniden adlandırıldı.

Tam listeyi ve ayrıntılı değişiklikleri burada kontrol edebilirsiniz: https://docs.delta.io/3.1.0/index.html.

Not

Fikirler platformunda Doku Çalışma Zamanı ile ilgili geri bildiriminizi paylaşın. Bahsettiğiniz sürüm ve sürüm aşamasından bahsetmeyi unutmayın. Topluluk geri bildirimlerine değer verir ve oylara göre iyileştirmelere öncelik vererek kullanıcı gereksinimlerini karşıladığımızdan emin oluruz.

İlgili içerik