Sunucusuz bilgi işlem sınırlamaları

Bu makalede, not defterleri ve işler için sunucusuz işlemin geçerli sınırlamaları açıklanmaktadır. En önemli hususlara genel bir bakışla başlar ve ardından kapsamlı bir sınırlama referans listesi sunar.

Dil ve API desteği

• R desteklenmez.
• Yalnızca Spark Connect API'leri desteklenir. Spark RDD API'leri desteklenmez.
• Sunucusuz işlem tarafından kullanılan Spark Connect, analiz ve ad çözümlemeyi yürütme süresine erteleyerek kodunuzun davranışını değiştirebilir. Bkz. Spark Connect ile Spark Klasik'i karşılaştırma.
• ANSI SQL, SQL yazarken varsayılan değerdir. spark.sql.ansi.enabled'ü false olarak ayarlayarak ANSI modundan çıkın.
• kullanarak spark.createDataFrameyerel verilerden DataFrame oluştururken satır boyutları 128 MB'ı aşamaz.

Veri erişimi ve depolama

• Dış veri kaynaklarına bağlanmak için Unity Kataloğu'nu kullanmanız gerekir. Bulut depolamaya erişmek için dış konumları kullanın.
• DBFS erişimi sınırlıdır. Bunun yerine Unity Kataloğu birimlerini veya çalışma alanı dosyalarını kullanın.
• Maven koordinatları desteklenmez.
• Küresel geçici görünümler desteklenmez. Oturumlar arası veri geçişi gerektiğinde Databricks , oturum geçici görünümlerinin kullanılmasını veya tablo oluşturulmasını önerir.

Kullanıcı tanımlı işlevler (UDF' ler)

• Kullanıcı tanımlı işlevler (UDF) İnternet'e erişemiyor. Bu nedenle, CREATE FUNCTION (Dış) komutu desteklenmez. Databricks, UDF oluşturmak için CREATE FUNCTION (SQL ve Python) kullanılmasını önerir.
• UDF'ler map, ve mapPartitionsgibi kullanıcı tanımlı özel kod bellek kullanımında 1 GB'ı aşamaz.
• Scala UDF'leri yüksek sıralı işlevler içinde kullanılamaz.

Kullanıcı arabirimi ve günlüğe kaydetme

• Spark kullanıcı arabirimi kullanılamıyor. Bunun yerine, Spark sorgularınızla ilgili bilgileri görüntülemek için sorgu profilini kullanın. Bakınız Sorgu profili.
• Spark günlükleri kullanılamaz. Kullanıcılar yalnızca istemci tarafı uygulama günlüklerine erişebilir.

Ağ ve çalışma alanı erişimi

• Çalışma alanları arası erişime yalnızca çalışma alanları aynı bölgedeyse ve hedef çalışma alanında IP ACL'sinin veya ön uç PrivateLink'in yapılandırılmamış olması durumunda izin verilir.
• Databricks Container Services desteklenmez.

Akış sınırlamaları

• Varsayılan veya zamana bağlı tetikleyici aralıkları için destek yoktur. Yalnızca Trigger.AvailableNow desteklenir. Bkz . Yapılandırılmış Akış tetikleyici aralıklarını yapılandırma.
• Standart erişim modunda akış için tüm sınırlamalar da geçerlidir. Bkz . Akış sınırlamaları.

Dizüstü bilgisayarların sınırlamaları

• Scala ve R, not defterlerinde desteklenmez.
• JAR kitaplıkları not defterlerinde desteklenmez. Geçici çözümler için bkz . Sunucusuz işlem için en iyi yöntemler. İşlerdeki JAR görevleri desteklenmektedir. Bkz İşler için JAR görevi.
• Not defteri oturumu kapsamındaki kütüphaneler, geliştirme oturumları arasında önbelleğe alınmaz.
• Bir not defterini kullanıcılar arasında paylaşırken TEMP tablolarını ve görünümlerini paylaşma desteklenmez.
• Not defterlerindeki veri çerçeveleri için Otomatik Tamamlama ve Değişken Gezgini desteklenmez.
• Varsayılan olarak, yeni not defterleri .ipynb biçiminde kaydedilir. Not defteriniz kaynak biçiminde kaydedildiyse sunucusuz meta veriler doğru yakalanmayabilir ve bazı özellikler beklendiği gibi çalışmayabilir.
• Not defteri etiketleri desteklenmez. Sunucusuz kullanımı etiketlemek için sunucusuz bütçe ilkelerini kullanın.

İş sınırlamaları

• Görev günlükleri, görev çalıştırması başına yalıtılmaz. Günlükler birden çok görevden çıktı içerir.
• Görev kitaplıkları not defteri görevleri için desteklenmez. Bunun yerine not defterine özgü kitaplıkları kullanın. Bkz. Notebook'a özel Python kitaplıkları.
• Varsayılan olarak, sunucusuz işler sorgu yürütme zaman aşımına sahip değildir. özelliğini kullanarak spark.databricks.execution.timeout iş sorguları için yürütme zaman aşımı ayarlayabilirsiniz. Diğer ayrıntılar için bkz. Sunucusuz not defterleri ve işler için Spark özelliklerini yapılandırma.

Hesaplamaya özgü sınırlamalar

Aşağıdaki işlem özellikleri desteklenmez:

• İşlem ilkeleri
• Hesaplama kapsamlı başlatma betikleri
• İşlem kapsamlı kitaplıklar, özel veri kaynakları ve Spark uzantılarını içerir. Bunun yerine not defteri kapsamlı kütüphaneleri kullanın.
• Örnek havuzları
• Hesaplama olay günlükleri
• Çoğu Apache Spark hesaplama yapılandırmaları. Desteklenen yapılandırmaların listesi için bkz. Sunucusuz not defterleri ve işler için Spark özelliklerini yapılandırma.
• Ortam değişkenleri. Bunun yerine Databricks, iş ve görev parametreleri oluşturmak için pencere öğelerinin kullanılmasını önerir.

Önbelleğe alma sınırlamaları

• Meta veriler sunucusuz işlem oturumlarında önbelleğe alınır. Bu nedenle, kataloglar arasında geçiş yaparken oturum bağlamı tam olarak sıfırlanmayabilir. Oturum bağlamını temizlemek için sunucusuz işlem kaynağını sıfırlayın veya yeni bir oturum başlatın.
• Veri çerçevesi ve SQL önbellek API'leri sunucusuz işlemde desteklenmez. Bu API'lerden veya SQL komutlarından herhangi birinin kullanılması bir özel durumla sonuç alır.
  • df.cache(), df.persist()
  • df.unpersist()
  • df.checkpoint()
  • spark.catalog.cacheTable()
  • spark.catalog.uncacheTable()
  • spark.catalog.clearCache()
  • CACHE TABLE
  • UNCACHE TABLE
  • REFRESH TABLE
  • CLEAR CACHE

Hive sınırlamaları

• Hive SerDe tabloları desteklenmez. Ayrıca, Hive SerDe tablosuna veri yükleyen ilgili LOAD DATA komutu desteklenmez. Komutun kullanılması bir istisna ile sonuçlanır.

  Veri kaynakları için destek AVRO, BINARYFILE, CSV, DELTA, JSON, KAFKA, ORC, PARQUET, ORC, TEXT ve XML ile sınırlıdır.

• Hive değişkenleri (örneğin ${env:var}, ${configName}, ${system:var}, ve spark.sql.variable) veya ${var} söz dizimini kullanan yapılandırma değişkeni başvuruları desteklenmez. Hive değişkenlerini kullanmak bir özel durumla sonuçlanır.

  Bunun yerine, oturum durumunu bildirmek, değiştirmek ve başvurmak için DECLARE VARIABLE, SET VARIABLE, SQL oturum değişkeni başvurularını ve parametre işaretçilerini ('?', veya ':var') kullanın. Çoğu durumda nesne adlarını parametreleştirmek için IDENTIFIER yan tümcesini de kullanabilirsiniz.

Desteklenen veri kaynakları

Sunucusuz işlem DML işlemleri (yazma, güncelleştirme, silme) için aşağıdaki veri kaynaklarını destekler:

• CSV
• JSON
• AVRO
• DELTA
• KAFKA
• PARQUET
• ORC
• TEXT
• UNITY_CATALOG
• BINARYFILE
• XML
• SIMPLESCAN
• ICEBERG

Sunucusuz işlem, okuma işlemleri için aşağıdaki veri kaynaklarını destekler:

• CSV
• JSON
• AVRO
• DELTA
• KAFKA
• PARQUET
• ORC
• TEXT
• UNITY_CATALOG
• BINARYFILE
• XML
• SIMPLESCAN
• ICEBERG
• MYSQL
• POSTGRESQL
• SQLSERVER
• REDSHIFT
• SNOWFLAKE
• SQLDW (Azure Synapse)
• DATABRICKS
• BIGQUERY
• ORACLE
• SALESFORCE
• SALESFORCE_DATA_CLOUD
• TERADATA
• WORKDAY_RAAS
• MONGODB