Aracılığıyla paylaş

Unity Kataloğu için işlem erişim modu sınırlamaları

  • Makale

Databricks, çoğu iş yükü için Unity Kataloğu ve paylaşılan erişim modunun kullanılmasını önerir. Bu makalede Unity Kataloğu ile her erişim modu için sınırlamalar ve gereksinimler özetlenmiştir. Erişim modları hakkında ayrıntılı bilgi için bkz . Erişim modları.

Databricks, çoğu kullanıcının yapılandırma seçeneklerini basitleştirmek için işlem ilkelerinin kullanılmasını önerir. Bkz. İşlem ilkeleri oluşturma ve yönetme.

Not

Yalıtımsız paylaşılan, Unity Kataloğu'nu desteklemeyen eski bir erişim modudur.

Önemli

Init betikleri ve kitaplıkları, erişim modları ve Databricks Runtime sürümleri arasında farklı desteğe sahiptir. Bkz. Init betikleri nereye yüklenebilir? ve Küme kapsamlı kitaplıklar.

Unity Kataloğu'nda tek kullanıcı erişim modu sınırlamaları

Unity Kataloğu'nda tek kullanıcı erişim modu aşağıdaki sınırlamalara sahiptir. Bunlar, tüm Unity Kataloğu erişim modu için genel sınırlamalara ek olarak bulunur. Bkz. Unity Kataloğu için genel sınırlamalar.

Unity Kataloğu tek kullanıcı erişim modu için ayrıntılı erişim denetimi sınırlamaları

Databricks Runtime 15.3 ve altında, tek kullanıcı işlemlerinde ayrıntılı erişim denetimi desteklenmez. Özellikle:

  • Satır filtresi veya sütun maskesi olan bir tabloya erişemezsiniz.
  • Dinamik görünümlere erişemezsiniz.
  • Herhangi bir görünümden okumak için, görünüm tarafından başvuruda bulunan tüm tablolarda ve görünümlerde olması gerekir SELECT .

Dinamik görünümleri, temel alınan tablo ve görünümlerde sahip olmadığınız SELECT görünümleri ve satır filtrelerini veya sütun maskelerini içeren tabloları sorgulamak için aşağıdakilerden birini kullanın:

  • SQL ambarı.

  • Paylaşılan erişim moduyla işlem.

  • Databricks Runtime 15.4 LTS veya üzerinde tek kullanıcı erişim moduyla işlem.

    Databricks Runtime 15.4 LTS ve üzeri, tek kullanıcı işlemlerinde ayrıntılı erişim denetimini destekler. Databricks Runtime 15.4 LTS ve üzerinde sağlanan veri filtrelemeden yararlanmak için çalışma alanınızın sunucusuz işlem için etkinleştirildiğini doğrulayın.

    Sunucusuz işlem, temel alınan tablo ve görünümlerde izinlere gerek kalmadan görünüme erişim sağlayan veri filtrelemeyi işler. Sunucusuz işlem veri filtrelemeyi işlediği için, görünümleri sorgulamak için tek kullanıcı işlemini kullandığınızda sunucusuz işlem ücretlerine neden olabilirsiniz. Daha fazla bilgi için bkz . Tek kullanıcı işlemlerinde ayrıntılı erişim denetimi.

Unity Kataloğu tek kullanıcı erişim modu için akış tablosu ve gerçekleştirilmiş görünüm sınırlamaları

Databricks Runtime 15.3 ve altında, bu tablolar başka kullanıcılara aitse akış tabloları ve gerçekleştirilmiş görünümler de dahil olmak üzere Delta Live Tables işlem hattı kullanılarak oluşturulan tabloları sorgulamak için tek kullanıcılı işlem kullanamazsınız. Tablo oluşturan kullanıcı sahibidir.

Delta Live Tables tarafından oluşturulan ve diğer kullanıcılara ait akış tablolarını ve gerçekleştirilmiş görünümleri sorgulamak için aşağıdakilerden birini kullanın:

  • SQL ambarı.

  • Databricks Runtime 13.3 LTS veya üzerinde paylaşılan erişim moduyla işlem.

  • Databricks Runtime 15.4 LTS veya üzerinde tek kullanıcı erişim moduyla işlem.

    Çalışma alanınız sunucusuz işlem için de etkinleştirilmelidir. Daha fazla bilgi için bkz . Tek kullanıcı işlemlerinde ayrıntılı erişim denetimi.

Unity Kataloğu tek kullanıcı erişim modu için akış sınırlamaları

  • Databricks Runtime 11.3 LTS ve altında zaman uyumsuz denetim noktası oluşturma desteklenmez.
  • StreamingQueryListener tek kullanıcı işlemlerinde kimlik bilgilerini kullanmak veya Unity Kataloğu tarafından yönetilen nesnelerle etkileşime geçmek için Databricks Runtime 15.1 veya üzerini gerektirir.

Unity Kataloğu'nda paylaşılan erişim modu sınırlamaları

Unity Kataloğu'nda paylaşılan erişim modu aşağıdaki sınırlamalara sahiptir. Bunlar, tüm Unity Kataloğu erişim modları için genel sınırlamalara ek olarak bulunur. Bkz. Unity Kataloğu için genel sınırlamalar.

  • Databricks Runtime ML ve Spark Machine Learning Kitaplığı (MLlib) desteklenmez.

  • Spark-submit işleri desteklenmez.

  • Databricks Runtime 13.3 ve üzerinde tek tek satırlar 128 MB'ı aşmamalıdır.

  • PySpark UDF'leri Databricks Runtime 14.2 ve altındaki modülleri içeri aktarmak için Git klasörlerine, çalışma alanı dosyalarına veya birimlere erişemez.

  • DBFS kökü ve bağlamaları FUSE'ı desteklemez.

  • Kimlik bilgisi geçişiyle paylaşılan erişim modunu kullandığınızda Unity Kataloğu özellikleri devre dışı bırakılır.

  • Özel kapsayıcılar desteklenmez.

Unity Kataloğu paylaşılan erişim modu için dil desteği

  • R desteklenmez.
  • Scala, Databricks Runtime 13.3 ve üzerinde desteklenir.
    • Databricks Runtime 15.4 LTS ve üzerinde, Databricks Runtime ile birlikte gelen tüm Java veya Scala kitaplıkları (JAR dosyaları) Unity Kataloğu erişim modlarında işlem üzerinde kullanılabilir.
    • Paylaşılan erişim modunu kullanan işlemde Databricks Runtime 15.3 veya altı için Spark yapılandırmasını spark.databricks.scala.kernel.fullClasspath.enabled olarak trueayarlayın.

Unity Kataloğu paylaşılan erişim modu için Spark API sınırlamaları ve gereksinimleri

  • RDD API'leri desteklenmez.
  • DBUtils ve bulut depolamadan verileri doğrudan okuyan diğer istemciler yalnızca depolama konumuna erişmek için bir dış konum kullandığınızda desteklenir. Bkz. Bulut depolamayı Azure Databricks'e bağlamak için dış konum oluşturma.
  • Spark Bağlamı (sc)spark.sparkContext ve sqlContext herhangi bir Databricks Runtime'da Scala için desteklenmez ve Databricks Runtime 14.0 ve üzerinde Python için desteklenmez.
    • Databricks, örneğiyle etkileşime geçmek için değişkenin SparkSession kullanılmasını spark önerir.
    • Aşağıdaki sc işlevler de desteklenmez: emptyRDD, range, init_batched_serializer, , parallelize, pickleFile, textFile, , , wholeTextFiles, , binaryFiles, binaryRecords, newAPIHadoopFilehadoopRDDrunJobnewAPIHadoopRDDsequenceFilehadoopFileunion, setSystemProperty, . getConfuiWebUrlstopsetJobGroupsetLocalProperty
  • Aşağıdaki Scala Veri Kümesi API'si işlemleri Databricks Runtime 15.4 LTS veya üzerini gerektirir: map, mapPartitions, foreachPartition, reduce flatMapve filter.

Unity Kataloğu paylaşılan erişim modu için UDF sınırlamaları ve gereksinimleri

Kullanıcı tanımlı işlevlerin (UDF) paylaşılan erişim moduyla ilgili sınırlamaları vardır:

  • Hive UDF'leri desteklenmez.

  • applyInPandas ve mapInPandas Databricks Runtime 14.3 veya üzerini gerektirir.

  • Scala skaler UDF'leri Databricks Runtime 14.2 veya üzerini gerektirir. Diğer Scala UDF'leri ve UDAF'leri desteklenmez.

  • Databricks Runtime 14.2 ve altında, not defteri kapsamlı veya protobuf küme kapsamına sahip kitaplıklar aracılığıyla bir PySpark UDF'de özel bir sürümü grpcpyarrowkullanılarak, yüklü sürüm her zaman tercih edildiğinden desteklenmez. Yüklü kitaplıkların sürümünü bulmak için, belirli Databricks Runtime sürümü sürüm notlarının Sistem Ortamı bölümüne bakın.

  • Python skaler UDF'leri ve Pandas UDF'leri Databricks Runtime 13.3 LTS veya üzerini gerektirir.

  • Spark'ta UDAF'ler, UDF'ler ve Pandas dahil skaler olmayan Python ve Pandas UDF'leri Databricks Runtime 14.3 LTS veya üzerini gerektirir.

Bkz . Unity Kataloğu'nda Kullanıcı tanımlı işlevler (UDF' ler).

Unity Kataloğu paylaşılan erişim modu için akış sınırlamaları ve gereksinimleri

Not

Listelenen Kafka seçeneklerinden bazıları, Azure Databricks'te desteklenen yapılandırmalar için kullanıldığında sınırlı desteğe sahiptir. Listelenen tüm Kafka sınırlamaları hem toplu işlem hem de akış işleme için geçerlidir. Bkz. Apache Kafka ve Azure Databricks ile akış işleme.

  • Scala için , foreachforeachBatch, , StreamingListenersve FlatMapGroupWithState desteklenmez.
  • Python için Databricks foreachBatch Runtime 14.0 ve sonraki sürümleri için aşağıdaki davranış değişiklikleri vardır:
    • print() komutları sürücü günlüklerine çıkış yazar.
    • İşlevin dbutils.widgets içindeki alt modüle erişemezsiniz.
    • İşlevde başvurulan tüm dosyalar, modüller veya nesneler serileştirilebilir ve Spark'ta kullanılabilir olmalıdır.
  • Scala from_avro için Databricks Runtime 14.2 veya üzeri gerekir.
  • applyInPandasWithState Databricks Runtime 14.3 LTS veya üzerini gerektirir.
  • Yuva kaynaklarıyla çalışma desteklenmez.
  • sourceArchiveDir, Unity Kataloğu tarafından yönetilen bir veri kaynağıyla kullandığınızda option("cleanSource", "archive") kaynakla aynı dış konumda olmalıdır.
  • Kafka kaynakları ve havuzları için aşağıdaki seçenekler desteklenmez:
    • kafka.sasl.client.callback.handler.class
    • kafka.sasl.login.callback.handler.class
    • kafka.sasl.login.class
    • kafka.partition.assignment.strategy
  • Aşağıdaki Kafka seçenekleri Databricks Runtime 13.3 LTS ve üzerinde desteklenmez ancak Databricks Runtime 12.2 LTS'de desteklenmez. Bu seçenekler için yalnızca Unity Kataloğu tarafından yönetilen dış konumları belirtebilirsiniz:
    • kafka.ssl.truststore.location
    • kafka.ssl.keystore.location
  • StreamingQueryListener kimlik bilgilerini kullanmak veya paylaşılan işlemde Unity Kataloğu tarafından yönetilen nesnelerle etkileşime geçmek için Databricks Runtime 14.3 LTS veya üzerini gerektirir.

Unity Kataloğu paylaşılan erişim modu için ağ ve dosya sistemi erişim sınırlamaları ve gereksinimleri

  • Dosya sisteminin hassas bölümlerine erişimi yasaklanmış düşük ayrıcalıklı bir kullanıcı olarak işlem düğümlerinde komut çalıştırmanız gerekir.

  • Databricks Runtime 11.3 LTS ve altında yalnızca 80 ve 443 bağlantı noktalarına ağ bağlantıları oluşturabilirsiniz.

  • Örnek meta veri hizmetine veya Azure WireServer'a bağlanamazsınız.

Unity Kataloğu için genel sınırlamalar

Aşağıdaki sınırlamalar Tüm Unity Kataloğu etkin erişim modları için geçerlidir.

Unity Kataloğu için akış sınırlamaları

Ayrıca bkz. Unity Kataloğu tek kullanıcı erişim modu için akış sınırlamaları ve Unity Kataloğu paylaşılan erişim modu için akış sınırlamaları ve gereksinimleri.

Unity Kataloğu ile akış hakkında daha fazla bilgi için bkz . Unity Kataloğu'nu Yapılandırılmış Akış ile Kullanma.