Doku üzerinde SynapseML'nin farklı bir sürümünü yükleme

SynapseML (Synapse Machine Learning) Microsoft Fabric üzerine önceden yüklenmiştir. Belirli bir sürüme ihtiyacınız varsa, Fabric not defterindeki %%configure magic komutunu kullanarak bu sürümü geçersiz kılabilirsiniz.

Hızlı başlangıç

Aşama Action Zaman tahmini
1 Önkoşulları doğrulama (çalışma alanı, not defteri) 2 dak
2 İhtiyacınız olan SynapseML sürümünü yüklemek için %%configure hücreyi ekleyin 1 dk
3 Yüklü sürümü doğrulama 1 dk

Prerequisites

Başlamadan önce aşağıdaki kaynaklara sahip olduğunuzdan emin olun:

Requirement Details
Microsoft Fabric çalışma alanı Fabric kapasitesine (F2 veya üzeri) veya Fabric deneme sürümüne sahip bir çalışma alanı.
Kumaş kaplı defter Fabric Veri Bilimi veya Veri Mühendisliği deneyiminde yeni bir not defteri oluşturun.
Fabric çalışma zamanı sürümü Çalışma alanınızın çalışma zamanı sürümünü öğrenin. SynapseML ve Spark Avro JAR sürümleri çalışma zamanınızdaki Spark sürümüyle eşleşmelidir. Bkz. Fabric çalışma zamanı sürümleri.

Important

komutu Spark %%configure oturumunu yeni ayarlarla yeniden başlatır. Diğer koddan önce not defterinizde ilk hücre olarak çalıştırın. Bunu bir Spark oturumu başladıktan sonra çalıştırırsanız, -f bayrağı oturumun yeniden başlatılmasını zorunlu kılar ve tüm değişkenler ile durum bilgisi kaybolur.

Uyarı

%%configure Fabric not defterlerindeki sihirli komut sınırlı sayıda resmi desteğe sahiptir. Hizmet düzeyi sözleşmesinin (SLA) veya resmi sürümlerle gelecekteki uyumluluğun garantisi yoktur. Desteklenen bir yaklaşım için kitaplıkları yönetmek için Fabric ortam özelleştirmesini kullanmayı göz önünde bulundurun.

SynapseML ve Fabric çalışma zamanı uyumluluğu

Fabric çalışma zamanı Spark sürümünüzle eşleşen SynapseML sürümünü ve Spark Avro JAR'sini seçin:

Fabric çalışma zamanı Spark sürümü SynapseML sürümü Spark Avro JAR
Çalışma Zamanı 1.1 3.3 0.11.1 ile 0.11.4 arasında spark-avro_2.12:3.3.1
Çalışma Zamanı 1.2 3.4 1.0.4 ile 1.0.8 arasında spark-avro_2.12:3.4.1
Çalışma Zamanı 1.3 3.5 1.0.4 ile 1.0.8 arasında spark-avro_2.12:3.5.1

Kullanılabilir SynapseML sürümlerini Maven Central'da bulabilirsiniz.

SynapseML'yi %%configure ile yükleme

Komutu, %%configure -f Maven paketi koordinatları da dahil olmak üzere Spark oturum özelliklerini yapılandırır. -f bayrağı, mevcut oturumun yeniden başlatılmasını zorlar.

Fabric Çalışma Zamanı 1.2 (Spark 3.4) için örnek

Bu kodu yeni bir Fabric not defterinin ilk hücresine yapıştırın ve hücreyi çalıştırın:

%%configure -f
{
  "name": "synapseml",
  "conf": {
      "spark.jars.packages": "com.microsoft.azure:synapseml_2.12:1.0.8,org.apache.spark:spark-avro_2.12:3.4.1",
      "spark.jars.repositories": "https://mmlspark.azureedge.net/maven",
      "spark.jars.excludes": "org.scala-lang:scala-reflect,org.apache.spark:spark-tags_2.12,org.scalactic:scalactic_2.12,org.scalatest:scalatest_2.12,com.fasterxml.jackson.core:jackson-databind",
      "spark.yarn.user.classpath.first": "true",
      "spark.sql.parquet.enableVectorizedReader": "false",
      "spark.sql.legacy.replaceDatabricksSparkAvro.enabled": "true"
  }
}

Farklı bir sürüm yüklemek için içindeki sürüm numaralarını spark.jars.packagesdeğiştirin:

  • synapseml_2.12:<version>: İstediğiniz SynapseML sürümü (örneğin, 1.0.4).
  • spark-avro_2.12:<spark-version>: Fabric çalışma zamanı Spark sürümünüzle eşleşmelidir (bkz. uyumluluk tablosu).

Fabric Çalışma Zamanı 1.1 (Spark 3.3) için örnek

%%configure -f
{
  "name": "synapseml",
  "conf": {
      "spark.jars.packages": "com.microsoft.azure:synapseml_2.12:0.11.4,org.apache.spark:spark-avro_2.12:3.3.1",
      "spark.jars.repositories": "https://mmlspark.azureedge.net/maven",
      "spark.jars.excludes": "org.scala-lang:scala-reflect,org.apache.spark:spark-tags_2.12,org.scalactic:scalactic_2.12,org.scalatest:scalatest_2.12,com.fasterxml.jackson.core:jackson-databind",
      "spark.yarn.user.classpath.first": "true",
      "spark.sql.parquet.enableVectorizedReader": "false",
      "spark.sql.legacy.replaceDatabricksSparkAvro.enabled": "true"
  }
}

Spark yapılandırmasını doğrulama

Hücre çalıştıktan sonra Spark oturumunun yapılandırmayı kabul ettiğini doğrulayın. Bu kodu yeni bir hücrede çalıştırın:

print(spark.conf.get("spark.jars.packages"))

Beklenen çıkış (Çalışma Zamanı 1.2 örneği için):

com.microsoft.azure:synapseml_2.12:1.0.8,org.apache.spark:spark-avro_2.12:3.4.1

SynapseML sürümünü denetleme

Yüklemeyi doğrulamak için aşağıdaki kodu yeni bir hücrede çalıştırın. Sürüm numarası yüklediğiniz sürümle eşleşmelidir.

import synapse.ml.lightgbm
print(f"SynapseML version: {synapse.ml.lightgbm.__version__}")

Beklenen çıkış (Çalışma Zamanı 1.2 örneği için):

SynapseML version: 1.0.8

Uyarı

SynapseML 1.0 ve sonraki sürümlerde synapse.ml.cognitive modül kullanım dışıdır. Bunun yerine yapay zeka hizmeti tümleştirmelerine erişmek için kullanın synapse.ml.services .

Varsayılan sürüme geri dönme

Önceden yüklenmiş SynapseML sürümüne dönmek için hücreyi %%configure kaldırın ve not defteri oturumunu yeniden başlatın:

  1. Hücreyi silin veya açıklama satırı ekleyin %%configure .
  2. Not defteri araç çubuğunda Oturumu>Durdur oturumunu seçin.
  3. Varsayılan yapılandırmayla yeni bir oturum başlatmak için herhangi bir hücreyi çalıştırın.

Yapılandırma referansı

Blok şu %%configure Spark özelliklerini içerir:

Mülkiyet Purpose
spark.jars.packages SynapseML JAR ve Spark Avro JAR için Maven koordinatları.
spark.jars.repositories SynapseML artefaktları için ek Maven deposu URL’si.
spark.jars.excludes Önceden yüklenmiş Fabric kitaplıklarıyla çakışan geçişli bağımlılıkları dışlar.
spark.yarn.user.classpath.first Önceden yüklenmiş olanlar yerine kullanıcı tarafından sağlanan JAR'lere öncelik verir.
spark.sql.parquet.enableVectorizedReader Uyumluluk sorunlarını önlemek için vektörleştirilmiş Parquet okuyucusu devre dışı bırakır.
spark.sql.legacy.replaceDatabricksSparkAvro.enabled Eski Avro okuyucu uyumluluğunu etkinleştirir.

Troubleshooting

%%configure hücresi etkisini göstermiyor

Neden: %%configure hücresi çalıştırılan ilk hücre değildi ya da bir Spark oturumu zaten etkindi.

Düzeltme: Oturumu>Durdur oturumunu seçin ve ardından önce hücreyi %%configure çalıştırın.

JAR indirmesi başarısız olur veya zaman aşımına uğrar

Neden: Maven deposuna ulaşılamıyor veya sürüm koordinatları yanlış.

Düzeltme: SynapseML sürümünün Maven Central'da mevcut olduğunu doğrulayın. spark-avro sürümünün Spark çalışma zamanı sürümünüzle eşleşip eşleşmediğini denetleyin.

Çalışma zamanında ClassNotFoundException veya NoSuchMethodError

Neden: SynapseML sürümü Fabric çalışma zamanı Spark sürümüyle uyumlu değildir.

Düzeltme: Doğru sürüm bileşimini seçmek için uyumluluk tablosunu kullanın.

ImportError: 'synapse.ml' adlı modül yok

Neden: SynapseML Python sarmalayıcı paketi not defteri ortamında yüklü değil.

Düzeltme: Yeni bir hücrede şunu çalıştırın:

%pip install synapseml==1.0.8

değerini, yüklediğiniz JAR ile eşleşen sürümle değiştirin 1.0.8 .

Sürüm numarası yüklü sürümle eşleşmiyor

Neden: Python __version__ özniteliği, %%configure tarafından yüklenen JAR sürümünden farklı olabilecek synapseml pip paketinden gelir.

Düzeltme: Hem Spark yapılandırmasını hem de pip paketi sürümünü doğrulayın:

# Check the JAR version from Spark config
print("JAR packages:", spark.conf.get("spark.jars.packages"))

# Check the pip package version
import synapse.ml.lightgbm
print("Pip package version:", synapse.ml.lightgbm.__version__)

Sürümler eşleşmiyorsa eşleşen pip paketini yükleyin:

%pip install synapseml==1.0.8

İlgili içerik

  • Last updated on