Sunucusuz bilgi işlem sınırlamaları

Bu makalede, not defterleri ve işler için sunucusuz işlemin geçerli sınırlamaları açıklanmaktadır. En önemli hususlara genel bir bakışla başlar ve ardından kapsamlı bir sınırlama referans listesi sunar.

Dil ve API desteği

  • R desteklenmez.
  • Yalnızca Spark Connect API'leri desteklenir. Spark RDD API'leri desteklenmez.
  • Sunucusuz işlem tarafından kullanılan Spark Connect, analiz ve ad çözümlemeyi yürütme süresine erteleyerek kodunuzun davranışını değiştirebilir. Bkz. Spark Connect ile Spark Klasik'i karşılaştırma.
  • ANSI SQL, SQL yazarken varsayılan değerdir. spark.sql.ansi.enabled'ü false olarak ayarlayarak ANSI modundan çıkın.
  • Varsayılan oturum zaman dizimi (Koordineli Evrensel Zaman) Etc/UTC olarak belirlenir. Farklı bir saat dilimi kullanmak için spark.sql.session.timeZone ayarlayın. Bkz . Sunucusuz not defterleri ve işler için Spark özelliklerini yapılandırma.
  • kullanarak spark.createDataFrameyerel verilerden DataFrame oluştururken satır boyutları 128 MB'ı aşamaz.

Veri erişimi ve depolama

  • Dış veri kaynaklarına bağlanmak için Unity Kataloğu'nu kullanmanız gerekir. Bulut depolamaya erişmek için dış konumları kullanın.
  • DBFS erişimi sınırlıdır. Bunun yerine Unity Kataloğu birimlerini veya çalışma alanı dosyalarını kullanın.
  • Defterler ve iş görevleri için çalışma dizini garanti edilmez, bu yüzden göreli dosya yolları ve göreceli Python içe aktarmaları başarısız olabilir. Referans dosyalarına mutlak yollar kullanın ve paylaşılan Python kodunu göreceli modüller yerine workspace dosyası olarak içe aktarın. Bkz. Python ve R modülleriyle çalışmak.
  • Maven koordinatları desteklenmez.
  • Küresel geçici görünümler desteklenmez. Oturumlar arası veri geçişi gerektiğinde Databricks , oturum geçici görünümlerinin kullanılmasını veya tablo oluşturulmasını önerir.

Kullanıcı tanımlı işlevler (UDF' ler)

Kullanıcı arabirimi ve günlüğe kaydetme

  • Spark kullanıcı arabirimi kullanılamıyor. Bunun yerine, Spark sorgularınızla ilgili bilgileri görüntülemek için sorgu profilini kullanın. Bakınız Sorgu profili.
  • Spark günlükleri kullanılamaz. Kullanıcılar yalnızca istemci tarafı uygulama günlüklerine erişebilir.

Ağ ve çalışma alanı erişimi

  • Çalışma alanları arası erişime yalnızca çalışma alanları aynı bölgedeyse ve hedef çalışma alanında IP ACL'sinin veya ön uç PrivateLink'in yapılandırılmamış olması durumunda izin verilir.
  • Databricks Container Services desteklenmez.
  • Sunucusuz hesaplama, yalnızca IPv6 üzerinden erişilebilen kaynaklara bağlanamaz. Kaynaklar IPv4 üzerinden erişilebilir olmalıdır.

Akış sınırlamaları

Sunucusuz işlem aşağıdaki Yapılandırılmış Akış tetikleyicilerini destekler:

  • Trigger.AvailableNow(). Databricks sunucusuz işlem için bu tetikleyici modunu önerir.
  • Trigger.Once(). Bu kullanım dışı mod desteklenir ancak önerilmez.

Sunucusuz işlemde aşağıdaki tetikleyiciler desteklenmez:

  • Trigger.Continuous(interval).
  • Trigger.ProcessingTime(interval).
    • Varsayılan olarak, bir tetikleyici modu belirtmezseniz Apache Spark tetikleyiciyi olarak Trigger.ProcessingTime("0 seconds")ayarlar. Sunucusuz işlemde desteklenen bir tetikleyici ayarlamanız gerekir.

Desteklenmeyen bir tetikleyici kullanmayı denerseniz, sorgu bir hata INFINITE_STREAMING_TRIGGER_NOT_SUPPORTEDoluşturur.

Sürekli akış iş yükleri için, sunucusuz modda sürekli çalışmada Tetiklenmiş ve sürekli işlem hattı modunu kullanın veya Trigger.AvailableNow() kullanın.

Akış kullanım örneklerini doğru sunucusuz ürünle eşleyen bir karar kılavuzu için bkz: Sunucusuz bilgi işlemde akış.

Standart erişim modunda akış için tüm sınırlamalar da geçerlidir. Bkz . Akış sınırlamaları.

Dizüstü bilgisayarların sınırlamaları

  • Scala ve R, not defterlerinde desteklenmez.
  • JAR kitaplıkları not defterlerinde desteklenmez. Geçici çözümler için bkz . Sunucusuz işlem için en iyi yöntemler. İşlerdeki JAR görevleri desteklenmektedir. Bkz İşler için JAR görevi.
  • Not defteri oturumu kapsamındaki kütüphaneler, geliştirme oturumları arasında önbelleğe alınmaz.
  • Bir not defterini kullanıcılar arasında paylaşırken TEMP tablolarını ve görünümlerini paylaşma desteklenmez.
  • Not defterlerindeki veri çerçeveleri için Otomatik Tamamlama ve Değişken Gezgini desteklenmez.
  • Varsayılan olarak, yeni not defterleri .ipynb biçiminde kaydedilir. Not defteriniz kaynak biçiminde kaydedildiyse sunucusuz meta veriler doğru yakalanmayabilir ve bazı özellikler beklendiği gibi çalışmayabilir.
  • Not defteri etiketleri desteklenmez. Sunucusuz kullanımı etiketlemek için sunucusuz kullanım ilkelerini kullanın.

İş sınırlamaları

  • Görev günlükleri, görev çalıştırması başına yalıtılmaz. Günlükler birden çok görevden çıktı içerir.
  • Görev kitaplıkları not defteri görevleri için desteklenmez. Bunun yerine not defterine özgü kitaplıkları kullanın. Bakınız Notebook kapsamlı Python kitaplıkları.
  • Varsayılan olarak, sunucusuz işler sorgu yürütme zaman aşımına sahip değildir. özelliğini kullanarak spark.databricks.execution.timeout iş sorguları için yürütme zaman aşımı ayarlayabilirsiniz. Diğer ayrıntılar için bkz. Sunucusuz not defterleri ve işler için Spark özelliklerini yapılandırma.
  • Sunucusuz işlem en fazla 7 gün çalışma zamanına sahiptir. 7 günü aşan çalıştırmalar platform tarafından sonlandırılır ve yeniden denenmiyor. İş yüklerini 7 günden uzun süre çalıştırmak için bunları daha küçük çalıştırmalara bölün veya klasik işlem kullanın.

Hesaplamaya özgü sınırlamalar

Aşağıdaki işlem özellikleri desteklenmez:

Önbelleğe alma sınırlamaları

  • Meta veriler sunucusuz işlem oturumlarında önbelleğe alınır. Bu nedenle, kataloglar arasında geçiş yaparken oturum bağlamı tam olarak sıfırlanmayabilir. Oturum bağlamını temizlemek için sunucusuz işlem kaynağını sıfırlayın veya yeni bir oturum başlatın.
  • Veri çerçevesi ve SQL önbellek API'leri sunucusuz işlemde desteklenmez. Bu API'lerden veya SQL komutlarından herhangi birinin kullanılması bir özel durumla sonuç alır.
  • Spark ML model önbelleği oturum başına 1 GB (1073741824 bayt) ile sınırlıdır ve tek bir model 100 MB ile sınırlıdır. Her iki sınır da sunucusuz hesaplamada klasik hesaplamaya göre daha düşüktür ve hiçbiri değiştirilemez. Oturum sınırının aşılması ML_CACHE_SIZE_OVERFLOW_EXCEPTION hatasına neden olur. Model başına sınırı aşmak MODEL_SIZE_OVERFLOW_EXCEPTION artırır. Önbellekte yer açmak için, artık kullanmadığınız modellere ait Python referanslarını silin. 15 dakika kullanılmayan modeller yerel diske taşınır ve yine de oturum sınırına dahil edilir.

Hive sınırlamaları

  • Hive SerDe tabloları desteklenmez. Ayrıca, Hive SerDe tablosuna veri yükleyen ilgili LOAD DATA komutu desteklenmez. Komutun kullanılması bir istisna ile sonuçlanır.

    Veri kaynakları için destek AVRO, BINARYFILE, CSV, DELTA, JSON, KAFKA, ORC, PARQUET, TEXT ve XML ile sınırlıdır.

  • Hive değişkenleri (örneğin ${env:var}, ${configName}, ${system:var}, ve spark.sql.variable) veya ${var} söz dizimini kullanan yapılandırma değişkeni başvuruları desteklenmez. Hive değişkenlerini kullanmak bir özel durumla sonuçlanır.

    Bunun yerine, oturum durumunu bildirmek, değiştirmek ve başvurmak için DECLARE VARIABLE, SET VARIABLE, SQL oturum değişkeni başvurularını ve parametre işaretçilerini ('?', veya ':var') kullanın. Çoğu durumda nesne adlarını parametreleştirmek için IDENTIFIER yan tümcesini de kullanabilirsiniz.

Desteklenen veri kaynakları

Sunucusuz işlem DML işlemleri (yazma, güncelleştirme, silme) için aşağıdaki veri kaynaklarını destekler:

  • CSV
  • JSON
  • AVRO
  • DELTA
  • KAFKA
  • PARQUET
  • ORC
  • TEXT
  • UNITY_CATALOG
  • BINARYFILE
  • XML
  • SIMPLESCAN
  • ICEBERG

Sunucusuz işlem, okuma işlemleri için aşağıdaki veri kaynaklarını destekler:

  • CSV
  • JSON
  • AVRO
  • DELTA
  • KAFKA
  • PARQUET
  • ORC
  • TEXT
  • UNITY_CATALOG
  • BINARYFILE
  • XML
  • SIMPLESCAN
  • ICEBERG
  • MYSQL
  • POSTGRESQL
  • SQLSERVER
  • REDSHIFT
  • SNOWFLAKE
  • SQLDW(Azure Synapse)
  • DATABRICKS
  • BIGQUERY
  • ORACLE
  • SALESFORCE
  • SALESFORCE_DATA_CLOUD
  • TERADATA
  • WORKDAY_RAAS
  • MONGODB
  • Last updated on