Kumaş Çalışma Zamanı 1.3 (Genel Erişim)

Fabric çalışma zamanı, Azure ile sorunsuz bir tümleştirme sunar. Apache Spark kullanan hem veri mühendisliği hem de veri bilimi projeleri için gelişmiş bir ortam sağlar. Bu makale, Fabric Runtime 1.3'ün temel özellikleri ve bileşenleri hakkında genel bir bakış sunmaktadır.

Microsoft Fabric Runtime 1.3, veri işleme özelliklerinizi geliştirmek için tasarlanmış aşağıdaki bileşenleri ve yükseltmeleri içeren bir GA çalışma zamanı sürümüdür:

  • Apache Spark 3.5

  • İşletim Sistemi: Mariner 2.0

  • Java: 11

  • Scala: 2.12.17

  • Python: 3.11

  • Delta Gölü: 3.2

  • R: 4.4.1

    İpucu

    Fabric Runtime 1.3, daha fazla maliyet olmadan performansı önemli ölçüde geliştirebilen Yerel Yürütme Altyapısı desteği içerir. Yerel yürütme altyapısını ortamınızdaki tüm işlerde ve not defterlerinde etkinleştirmek için, ortam ayarlarınıza gidin, Spark işlemi'ni seçin, Hızlandırma sekmesine gidin ve Yerel yürütme altyapısını etkinleştir'i işaretleyin. Kaydedip yayımladıktan sonra, bu ayar ortam genelinde uygulanır, böylece tüm yeni işler ve not defterleri otomatik olarak devralır ve gelişmiş performans özelliklerinden yararlanır.

Çalışma Zamanı 1.3'i tümleştirme

Uyarı

Tüm kullanılabilir Fabric çalışma zamanları ve bunların geçerli durumları hakkında bilgi için bağlantıya bakın: Fabric'teki Apache Spark Çalışma Zamanları.

Çalışma zamanı 1.3'i çalışma alanınızla tümleştirmek ve yeni özelliklerini kullanmak için aşağıdaki yönergeleri kullanın:

  1. Doku çalışma alanınızın içindeki Çalışma Alanı ayarları sekmesine gidin.

  2. Veri Madenciliği/Bilim sekmesine gidin ve Spark Ayarları'nı seçin.

  3. Ortam sekmesini seçin.

  4. Çalışma Zamanı Sürümleri altında, açılır menüyü genişletin.

  5. 1.3 (Spark 3.5, Delta 3.2) öğesini seçin ve değişikliklerinizi kaydedin. Bu eylem 1,3'i çalışma alanınız için varsayılan çalışma zamanı olarak ayarlar.

    Çalışma zamanı sürümünün seçileceği yeri gösteren ekran görüntüsü.

Artık Doku çalışma zamanı 1.3'te (Spark 3.5 ve Delta Lake 3.2) sunulan en yeni iyileştirmeler ve işlevlerle çalışmaya başlayabilirsiniz.

Apache Spark 3.5 hakkında bilgi edinin

Apache Spark 3.5.0 , 3.x serisinin altıncı sürümüdür. Bu sürüm, Jira'da kaydedildiği gibi 1.300'den fazla sorunu ele alan açık kaynak topluluğu içinde kapsamlı bir işbirliği ürünüdür.

Bu sürümde, yapılandırılmış akış için uyumluluk açısından bir yükseltme vardır. Ayrıca, bu sürüm PySpark ve SQL'de işlevselliği genişletmektedir. SQL tanımlayıcı maddesi, SQL işlev çağrılarında adlandırılmış bağımsız değişkenler ve HyperLogLog yaklaşık toplamalar için SQL işlevlerinin eklenmesi gibi özellikler sunar.

Diğer yeni özellikler arasında Python kullanıcı tanımlı tablo işlevleri, DeepSpeed aracılığıyla dağıtılmış eğitimin basitleştirilmesi ve filigran yayma ve dropDuplicatesWithinWatermark işlemi gibi yeni yapılandırılmış akış özellikleri yer alır.

Tam listeyi ve ayrıntılı değişiklikleri burada kontrol edebilirsiniz: Spark Sürüm 3.5.0.

Delta Spark hakkında bilgi edinin

Delta Lake 3.2, Delta Lake'i farklı biçimlerde birlikte çalışabilir, daha kolay çalışılabilir ve daha yüksek performanslı hale getirmek için kolektif bir taahhüdü işaret ediyor. Delta Spark 3.2, Apache Spark 3.5'in üzerine kurulmuştur.™ Delta Spark maven yapıtı delta-core'dan delta-spark olarak yeniden adlandırılır.

Tam listeyi ve ayrıntılı değişiklikleri burada kontrol edebilirsiniz: https://docs.delta.io/index.html.

Bileşenler ve Kitaplıklar

Güncel bilgiler, değişikliklerin ayrıntılı listesi ve Fabric çalışma zamanları için özel sürüm notları için Spark Çalışma Zamanları Yayınları ve Güncelleştirmeleri'ne göz atın ve abone olun.

Uyarı

EventHubConnector, Doku Çalışma Zamanı 1.3'te (Spark 3.5) kullanım dışıdır ve gelecekteki Doku Çalışma Zamanı sürümlerinden kaldırılacaktır. Event Hubs zaten Kafka uyumlu olduğundan müşterilerin Kafka Spark Bağlayıcısı'nı kullanması önerilir. Kafka Spark Bağlayıcısı'nı Event Hubs ile kullanma hakkında daha fazla bilgiyi burada bulabilirsiniz: Event Hubs Kafka Spark Öğreticisi

İlgili içerik

  • Last updated on