Share via

Doku Çalışma Zamanı 1.3

  • Makale

Doku çalışma zamanı, Azure ile sorunsuz bir tümleştirme sunar. Apache Spark kullanan hem veri mühendisliği hem de veri bilimi projeleri için gelişmiş bir ortam sağlar. Bu makalede, büyük veri hesaplamaları için en yeni çalışma zamanı olan Fabric Runtime 1.3'ün temel özelliklerine ve bileşenlerine genel bir bakış sağlanmaktadır.

Fabric Runtime 1.3, veri işleme özelliklerinizi geliştirmek için tasarlanmış aşağıdaki bileşenleri ve yükseltmeleri içerir:

  • Apache Spark 3.5
  • İşletim Sistemi: Mariner 2.0
  • Java: 11
  • Scala: 2.12.17
  • Python: 3.10
  • Delta Gölü: 3.0.0

Not

Fabric Runtime 1.3 şu anda deneysel bir genel önizleme aşamasındadır. Daha fazla bilgi edinmek için sınırlamalara ve notlara bakın.

Çalışma zamanı 1.3'i çalışma alanınızla tümleştirmek ve yeni özelliklerini kullanmak için aşağıdaki yönergeleri kullanın:

  1. Doku çalışma alanınızın içindeki Çalışma Alanı ayarları sekmesine gidin.
  2. Veri Madenciliği/Bilim sekmesine gidin ve Spark Ayarlar'ı seçin.
  3. Ortam sekmesini seçin.
  4. Çalışma Zamanı Sürümleri açılan listesinde 1.3 Deneysel (Spark 3.5, Delta 3 OSS) öğesini seçin ve değişikliklerinizi kaydedin. Bu eylem 1,3'i çalışma alanınız için varsayılan çalışma zamanı olarak ayarlar.

Çalışma zamanı sürümünün seçileceği yeri gösteren ekran görüntüsü.

Artık Fabric çalışma zamanı 1.3'te (Spark 3.5 ve Delta Lake 3.0) sunulan en yeni iyileştirmeler ve işlevlerle denemeler yapmaya başlayabilirsiniz.

Önemli

Başlangıç havuzları ilk deneysel sürümün bir parçası olmadığından Spark 3.5 oturumlarının başlatılması şu anda yaklaşık 2-5 dakika sürer.

Deneysel Genel Önizleme

Doku çalışma zamanı 1.3 deneysel aşaması, yeni özelliklere ve Apache Spark API'lerine erken erişim sağlar. Bu, Spark 4.0'daki önemli güncelleştirmeler gelmeden önce kararlılık sunan, Uzun Süreli Destek (LTS) sürümü olan Spark 3.5'i içerir. Önizleme, Scala 2.13 yükseltmesi gibi gelecekteki değişiklikler için sorunsuz bir geçiş ve hazır olma durumu sağlayarak spark tabanlı en son geliştirmeleri hemen kullanmanıza olanak tanır. Ayrıca Azure ekosistemindeki gelişmiş ve güvenilir çözümlerle veri projelerinizi geliştirir.

İpucu

Güncel bilgiler, değişikliklerin ayrıntılı listesi ve Doku çalışma zamanları için belirli sürüm notları için Spark Çalışma Zamanları Yayınları'nı ve Güncelleştirmeler denetleyin ve abone olun.

Sınırlamalar

Fabric Runtime 1.3 şu anda kullanıcıların Spark ve Delta Lake'teki en son özellikleri ve API'leri keşfetmesi ve denemesi için tasarlanmış deneysel bir genel önizleme aşamasındadır. Bu sürüm temel işlevlere erişim sunsa da bazı sınırlamalar vardır:

  • Spark 3.5 oturumlarını kullanabilir, not defterlerine kod yazabilir, Spark iş tanımlarını zamanlayabilir ve PySpark, Scala ve Spark SQL ile kullanabilirsiniz. Ancak bu erken sürümde R dili sağlanmamıştır.

  • Pip ve conda ile doğrudan kodunuzda kitaplıkları yükleyebilirsiniz. Spark ayarlarını not defterlerindeki %%configure seçenekleri ve Spark İş Tanımları (SJD) aracılığıyla ayarlayabilirsiniz.

  • Delta 3.0 OSS ile Lakehouse'da okuyup yazabilirsiniz, ancak V düzeni, yerel Parquet yazma, otomatik tamamlama, yazmayı iyileştirme, düşük karıştırmalı birleştirme, birleştirme, şema evrimi ve zaman yolculuğu gibi bazı gelişmiş özellikler bu erken sürüme dahil değildir.

  • Spark Danışmanı şu anda kullanılamıyor. Ancak Spark kullanıcı arabirimi ve günlükler gibi izleme araçları bu erken sürümde desteklenir.

  • Kusto, SQL Analytics, Cosmos DB ve MySQL Java Bağlan or gibi Veri Bilimi tümleştirmeleri Copilot gibi özellikler şu anda bu erken sürümde desteklenmemektedir. Veri Bilimi kitaplıkları PySpark ortamlarında desteklenmez. PySpark yalnızca ek kitaplıklar olmadan yalnızca PySpark'ı içeren temel bir Conda kurulumuyla çalışır.

  • Ortam yapıtı ve VSCode ile tümleştirmeler bu erken sürümde desteklenmez.

Not

Fikirler platformunda Doku Çalışma Zamanı ile ilgili geri bildiriminizi paylaşın. Bahsettiğiniz sürüm ve sürüm aşamasından bahsetmeyi unutmayın. Topluluk geri bildirimlerine değer verir ve oylara göre iyileştirmelere öncelik vererek kullanıcı gereksinimlerini karşıladığımızdan emin oluruz.

Önemli noktalar

Apache Spark 3.5

Apache Spark 3.5.0 , 3.x serisinin altıncı sürümüdür. Bu sürüm, Jira'da kaydedildiği gibi 1.300'den fazla sorunu ele alan açık kaynak topluluğu içinde kapsamlı bir işbirliği ürünüdür.

Bu sürümde, yapılandırılmış akış için uyumluluk açısından bir yükseltme vardır. Ayrıca, bu sürüm PySpark ve SQL'de işlevselliği genişletmektedir. SQL tanımlayıcı yan tümcesi, SQL işlev çağrılarındaki adlandırılmış bağımsız değişkenler ve HyperLogLog yaklaşık toplamaları için SQL işlevlerinin eklenmesi gibi özellikler ekler. Diğer yeni özellikler arasında Python kullanıcı tanımlı tablo işlevleri, DeepSpeed aracılığıyla dağıtılmış eğitimin basitleştirilmesi ve filigran yayma ve dropDuplicatesWithinWatermark işlemi gibi yeni yapılandırılmış akış özellikleri yer alır.

Tam listeyi ve ayrıntılı değişiklikleri burada kontrol edebilirsiniz: https://spark.apache.org/releases/spark-release-3-5-0.html.

Delta Spark

Delta Lake 3.0, Delta Lake'i biçimler arasında birlikte çalışabilir, daha kolay çalışılabilir ve daha yüksek performanslı hale getirmek için kolektif bir taahhüdü işaret ediyor. Delta Spark 3.0.0, Apache Spark™ 3.5'in üzerine kurulmuştur. Delta Spark maven yapıtı delta-core'dan delta-spark olarak yeniden adlandırıldı.

Tam listeyi ve ayrıntılı değişiklikleri burada kontrol edebilirsiniz: https://docs.delta.io/3.0.0/index.html.

İlgili içerik