Unity Kataloğu için işlem erişim modu sınırlamaları

  • Makale

Databricks, çoğu iş yükü için Unity Kataloğu ve paylaşılan erişim modunun kullanılmasını önerir. Bu makalede Unity Kataloğu ile her erişim modu için çeşitli sınırlamalar özetlenmiştir. Erişim modları hakkında ayrıntılı bilgi için bkz . Erişim modları.

Databricks, çoğu kullanıcının yapılandırma seçeneklerini basitleştirmek için işlem ilkelerinin kullanılmasını önerir. Bkz. İşlem ilkeleri oluşturma ve yönetme.

Not

Yalıtımsız paylaşılan, Unity Kataloğu'nu desteklemeyen eski bir erişim modudur.

Önemli

Init betikleri ve kitaplıkları, erişim modları ve Databricks Runtime sürümleri arasında farklı desteğe sahiptir. Bkz. Init betikleri nereye yüklenebilir? ve Küme kapsamlı kitaplıklar.

Unity Kataloğu'nda tek kullanıcı erişim modu sınırlamaları

Unity Kataloğu'nda tek kullanıcı erişim modu aşağıdaki sınırlamalara sahiptir. Bunlar, tüm Unity Kataloğu erişim modu için genel sınırlamalara ek olarak bulunur. Bkz. Unity Kataloğu için genel sınırlamalar.

Unity Kataloğu tek kullanıcı erişim modu için ayrıntılı erişim denetimi sınırlamaları

Unity Kataloğu tek kullanıcı erişim modu için akış sınırlamaları

  • Databricks Runtime 11.3 LTS ve altında zaman uyumsuz denetim noktası oluşturma desteklenmez.

Unity Kataloğu'nda paylaşılan erişim modu sınırlamaları

Unity Kataloğu'nda paylaşılan erişim modu aşağıdaki sınırlamalara sahiptir. Bunlar, tüm Unity Kataloğu erişim modu için genel sınırlamalara ek olarak bulunur. Bkz. Unity Kataloğu için genel sınırlamalar.

  • Databricks Runtime ML ve Spark Machine Learning Kitaplığı (MLlib) desteklenmez.

  • Spark-submit işleri desteklenmez.

  • Databricks Runtime 13.3 ve üzerinde, tek tek satırlar en fazla 128 MB boyutu aşmamalıdır.

  • Kimlik bilgisi geçişi ile kullanıldığında Unity Kataloğu özellikleri devre dışı bırakılır.

  • Özel kapsayıcılar desteklenmez.

Unity Kataloğu paylaşılan erişim modu için dil desteği

  • R desteklenmez.
  • Scala, Databricks Runtime 13.3 ve üzerinde desteklenir.

Unity Kataloğu paylaşılan erişim modu için Spark API sınırlamaları

  • RDD API'leri desteklenmez.
  • DBUtils ve bulut depolamadan verileri doğrudan okuyan diğer istemciler yalnızca depolama konumuna erişmek için bir dış konum kullandığınızda desteklenir. Bkz. Bulut depolamayı Azure Databricks'e bağlamak için dış konum oluşturma.
  • Spark Bağlamı (sc)spark.sparkContext ve sqlContext herhangi bir Databricks Runtime'da Scala için desteklenmez ve Databricks Runtime 14.0 ve üzerinde Python için desteklenmez.
    • Databricks, örneğiyle etkileşime geçmek için değişkenin SparkSession kullanılmasını spark önerir.
    • Aşağıdaki sc işlevler de desteklenmez: emptyRDD, range, init_batched_serializer, , parallelize, pickleFile, textFile, , , wholeTextFiles, , binaryFiles, binaryRecords, newAPIHadoopFilehadoopRDDrunJobnewAPIHadoopRDDsequenceFilehadoopFileunion, setSystemProperty, . getConfuiWebUrlstopsetJobGroupsetLocalProperty

Unity Kataloğu paylaşılan erişim modu için UDF sınırlamaları

Önemli

Paylaşılan erişim moduyla Unity Kataloğu özellikli işlemde Scala UDF'leri desteği Genel Önizleme aşamasındadır.

Kullanıcı tanımlı işlevlerin (UDF) paylaşılan erişim moduyla ilgili sınırlamaları vardır:

  • Hive UDF'leri desteklenmez.

  • applyInPandas ve mapInPandas Databricks Runtime 14.2 ve altında desteklenmez.

  • Databricks Runtime 14.2 ve üzerinde Scala skaler UDF'ler desteklenir. Diğer Scala UDF'leri ve UDAF'leri desteklenmez.

  • Databricks Runtime 13.3 LTS ve üzerinde Python skaler UDF'leri ve Pandas UDF'leri desteklenir. Spark'ta UDAF'ler, UDF'ler ve Pandas gibi diğer Python UDF'leri desteklenmez.

Bkz . Unity Kataloğu'nda Kullanıcı tanımlı işlevler (UDF' ler).

Unity Kataloğu paylaşılan erişim modu için akış sınırlamaları

Not

Listelenen Kafka seçeneklerinden bazıları, Azure Databricks'te desteklenen yapılandırmalar için kullanıldığında sınırlı desteğe sahiptir. Bkz. Apache Kafka ve Azure Databricks ile akış işleme.

  • Scala foreach için ve foreachBatch desteklenmez.
  • Python için Databricks foreachBatch Runtime 14.0 ve üzeri sürümlerde yeni davranışlar vardır. Bkz . Databricks Runtime 14.0'da foreachBatch için davranış değişiklikleri.
  • Scala from_avro için Databricks Runtime 14.2 veya üzeri gerekir.
  • applyInPandasWithState Desteklenmez.
  • Yuva kaynaklarıyla çalışma desteklenmez.
  • sourceArchiveDir, Unity Kataloğu tarafından yönetilen bir veri kaynağıyla kullandığınızda option("cleanSource", "archive") kaynakla aynı dış konumda olmalıdır.
  • Kafka kaynakları ve havuzları için aşağıdaki seçenekler desteklenmez:
    • kafka.sasl.client.callback.handler.class
    • kafka.sasl.login.callback.handler.class
    • kafka.sasl.login.class
    • kafka.partition.assignment.strategy
  • Aşağıdaki Kafka seçenekleri Databricks Runtime 13.3 LTS ve üzerinde desteklenir ancak Databricks Runtime 12.2 LTS'de desteklenmez. Bu seçenekler için yalnızca Unity Kataloğu tarafından yönetilen dış konumları belirtebilirsiniz:
    • kafka.ssl.truststore.location
    • kafka.ssl.keystore.location

Unity Kataloğu paylaşılan erişim modu için ağ ve dosya sistemi erişim sınırlamaları

  • Düşük ayrıcalıklı bir kullanıcının dosya sisteminin hassas bölümlerine erişmesi yasak olduğundan işlem düğümlerinde komut çalıştırması gerekir.

  • Databricks Runtime 11.3 LTS ve altında yalnızca 80 ve 443 bağlantı noktalarına ağ bağlantıları oluşturabilirsiniz.

  • Örnek meta veri hizmetine veya Azure WireServer'a bağlanılamıyor.

Unity Kataloğu için genel sınırlamalar

Aşağıdaki sınırlamalar Tüm Unity Kataloğu etkin erişim modları için geçerlidir.

Unity Kataloğu için akış sınırlamaları

Ayrıca bkz. Unity Kataloğu tek kullanıcı erişim modu için akış sınırlamaları ve Unity Kataloğu paylaşılan erişim modu için Akış sınırlamaları.

Unity Kataloğu ile akış hakkında daha fazla bilgi için bkz . Unity Kataloğu'nu Yapılandırılmış Akış ile Kullanma.