Standart işlem gereksinimleri ve sınırlamaları

Bu sayfa, standart işlem gereksinimlerinin ve sınırlamalarının listesini içerir. Klasik işlem kullanıyorsanız Databricks, iş yükünüz aşağıda listelenen sınırlamalardan birine bağımlı olmadığı sürece standart erişim modunu kullanmanızı önerir.

Önemli

Init betikleri ve kitaplıkları, erişim modları ve Databricks Runtime sürümleri arasında farklı desteğe sahiptir. Bkz. Başlatma betikleri nereye kurulabilir? ve İşlem kapsamlı kütüphaneler.

Geçerli standart işlem sınırlamaları

Aşağıdaki bölümlerde, en son Databricks Runtime sürümünü temel alan standart işlem sınırlamaları listelemektedir. Eski Databricks Runtime sürümleri için geçerli olan sınırlamalar için bkz. Çalışma zamanına bağımlı sınırlamalar.

bu özellikler iş yükünüz için gerekliyse bunun yerine ayrılmış işlem kullanın.

Genel standart işlem sınırlamaları

• ML için Databricks Runtime desteklenmez. Bunun yerine, Databricks Runtime ile birlikte olmayan ml kitaplıklarını işlem kapsamlı bir kitaplık olarak yükleyin.
• GPU özellikli işlem desteklenmez.
• Spark-submit görevleri desteklenmez. Bunun yerine JAR görevi kullanın.
• DBUtils ve diğer istemciler yalnızca dış konum kullanarak bulut depolamadan okuyabilir.
• Özel kapsayıcılar desteklenmez.
• DBFS kökü ve bağlamaları FUSE'ı desteklemez.

Dil sınırlamaları

• R desteklenmez.

Spark API sınırlamaları

• Spark Bağlamı (sc), spark.sparkContextve sqlContext Scala için desteklenmez:
  • Azure Databricks, örnekle etkileşime geçmek için değişkenin spark kullanılmasını SparkSession önerir.
  • Aşağıdaki sc işlevler de desteklenmez: emptyRDD, range, init_batched_serializer, , parallelize, pickleFile, textFile, , , wholeTextFiles, , binaryFiles, binaryRecords, sequenceFilenewAPIHadoopFilenewAPIHadoopRDDhadoopFilehadoopRDDunionrunJob, setSystemProperty, . uiWebUrlstopsetJobGroupsetLocalPropertygetConf
• Spark yapılandırma özelliği spark.executor.extraJavaOptions desteklenmez.
• kullanarak spark.createDataFrameyerel verilerden DataFrame oluştururken satır boyutları 128 MB'ı aşamaz.
• RDD API'leri desteklenmez.
• Databricks Runtime'ın daha yeni sürümlerinde kullanılan Spark Connect, analizi ve ad çözümlemesini yürütme süresine erteleyerek kodunuzun davranışını değiştirebilir. Bkz. Spark Connect ile Spark Klasik'i karşılaştırma.

UDF sınırlamaları

• Hive UDF'leri desteklenmez. Bunun yerine , Unity Kataloğu'nda UDF'leri kullanın.
• Scala UDF'leri yüksek sıralı işlevler içinde kullanılamaz.

Akış sınırlamaları

Uyarı

Listelenen Kafka seçeneklerinden bazıları, Azure Databricks'te desteklenen yapılandırmalar için kullanıldığında sınırlı desteğe sahiptir. Listelenen tüm Kafka sınırlamaları hem toplu işlem hem de akış işleme için geçerlidir. Bkz. Apache Kafka ve Azure Databricks ile akış işleme.

• Durum bilgisi olan akış sorgularının durum bilgilerini sorgulamak için statestore ve state-metadata biçimlerini kullanamazsınız.
• Soket kaynaklarıyla çalışma desteklenmez.
• Unity Kataloğu tarafından yönetilen bir veri kaynağıyla sourceArchiveDir kullandığınızda option("cleanSource", "archive") kaynakla aynı dış konumda olmalıdır.
• Kafka kaynakları ve havuzları için aşağıdaki seçenekler desteklenmez:
  • kafka.sasl.client.callback.handler.class
  • kafka.sasl.login.callback.handler.class
  • kafka.sasl.login.class
  • kafka.partition.assignment.strategy

Ağ ve dosya sistemi sınırlamaları

• Standart işlem, düşük ayrıcalıklı bir kullanıcının dosya sisteminin hassas bölümlerine erişmesi yasak olan komutları çalıştırır.
• DBFS için POSIX stili yollar (/) desteklenmez.
• Yalnızca çalışma alanı yöneticileri ve HERHANGİ Bİr DOSYA iznine sahip kullanıcılar DBFS kullanarak dosyalarla doğrudan etkileşime geçebilir.

• Örnek meta veri hizmetine veya Azure WireServer'a bağlanamazsınız.

Scala çekirdek sınırlamaları

Standart işlemde scala çekirdeği kullanılırken aşağıdaki sınırlamalar geçerlidir:

• İç badem çekirdeği kitaplığıyla çakışan bazı sınıflar kodunuzda kullanılamaz, özellikle Input. Bademin tanımlanmış ithalatlarının listesi için bkz. bademin ithalatı.
• Doğrudan log4j ile günlüğe kaydetme desteklenmez.
• Kullanıcı arabiriminde veri çerçevesi şeması açılır menüsü desteklenmez.
• Sürücünüz OOM'a çarparsa Scala REPL sonlandırılmaz.
• //connector/sql-aws-connectors:sql-aws-connectors Scala REPL'in bazel hedefinde değilse, ClassNotFoundException içindeki sonuçları kullanın.
• Scala çekirdeği SQLImplicits ile uyumsuz.

Çalışma zamanına bağlı sınırlamalar

Aşağıdaki sınırlamalar çalışma zamanı güncelleştirmeleri aracılığıyla giderilmiştir, ancak eski bir çalışma zamanı kullanıyorsanız iş yükünüz için geçerli olabilir.

Dil desteği

Özellik	Gerekli Databricks Runtime sürümü
Scala	13.3 veya üzeri
Varsayılan olarak tüm çalışma zamanı paketlenmiş Java ve Scala kitaplıkları kullanılabilir	15,4 LTS veya üzeri (15,3 veya altı için)spark.databricks.scala.kernel.fullClasspath.enabled=true

Spark API desteği

Özellik	Gerekli Databricks Runtime sürümü
Spark ML	17.0 veya üzeri
Python: SparkContext (sc), spark.sparkContext, sqlContext	14.0 veya üzeri
Scala Dataset işlemleri: map, mapPartitions, foreachPartition, flatMap, , reduce, filter	15,4 LTS veya üzeri

UDF desteği

Özellik	Gerekli Databricks Runtime sürümü
applyInPandas, mapInPandas	14,3 LTS veya üzeri
Scala skaler UDF'ler ve Scala UDAF'leri	14,3 LTS veya üzeri
PySpark UDF'lerindeki Git klasörlerinden, çalışma alanı dosyalarından veya birimlerden modülleri içeri aktarma	14,3 LTS veya üzeri
Not defteri veya grpc işlem kapsamlı kitaplıklar aracılığıyla PySpark UDF'lerinde , veya özel sürümlerini kullanma pyarrowprotobuf	14,3 LTS veya üzeri
Spark üzerinde UDAF'ler, UDF'ler ve Pandas dahil skaler olmayan Python ve Pandas UDF'leri	14,3 LTS veya üzeri
Python skaler UDF'leri ve Pandas UDF'leri	13,3 LTS veya üzeri

Akış desteği

Özellik	Gerekli Databricks Runtime sürümü
transformWithStateInPandas	16.3 veya üzeri
applyInPandasWithState	14,3 LTS veya üzeri
Scala foreach	16.1 veya üzeri
Scala foreachBatch ve flatMapGroupsWithState	16.2 veya üzeri
Scala from_avro	14.2 veya üzeri
Kafka seçenekleri kafka.ssl.truststore.location ve kafka.ssl.keystore.location (belirtilen konum Unity Kataloğu tarafından yönetilen bir dış konum olmalıdır)	13,3 LTS veya üzeri
Scala StreamingQueryListener	16.1 veya üzeri
Unity Kataloğu tarafından yönetilen nesnelerle etkileşim kuran Python StreamingQueryListener	14,3 LTS veya üzeri

Ayrıca Python foreachBatch için Databricks Runtime 14.0 ve üzeri üzerinde aşağıdaki davranış değişiklikleri vardır:

• print() komutları çıkışı sürücü günlüklerine yazar.
• İşlevin dbutils.widgets içindeki alt modüle erişemezsiniz.
• İşlevde başvurulan tüm dosyalar, modüller veya nesneler serileştirilebilir ve Spark'ta kullanılabilir olmalıdır.

Ağ ve dosya sistemi desteği

Özellik	Gerekli Databricks Runtime sürümü
80 ve 443 dışındaki bağlantı noktalarına bağlantılar	12.2 LTS veya üzeri