Sunucusuz bilgi işlem sınırlamaları

Bu makalede, not defterleri ve işler için sunucusuz işlemin geçerli sınırlamaları açıklanmaktadır. En önemli noktalara genel bir bakışla başlar ve ardından kapsamlı bir sınırlama başvuru listesi sağlar.

Sınırlamalara genel bakış

Yeni iş yükleri oluşturmadan veya iş yüklerini sunucusuz işlemlere geçirmeden önce aşağıdaki sınırlamaları göz önünde bulundurun:

• Python ve SQL desteklenen tek dillerdir.
• Yalnızca Spark connect API'leri desteklenir. Spark RDD API'leri desteklenmez.
• JAR kitaplıkları desteklenmez. Geçici çözümler için bkz . Sunucusuz işlem için en iyi yöntemler.
• Sunucusuz işlem, tüm çalışma alanı kullanıcıları için sınırsız erişime sahiptir.
• Not defteri etiketleri desteklenmez.
• Akış için yalnızca artımlı toplu iş mantığı kullanılabilir. Varsayılan veya zamana bağlı tetikleyici aralıkları için destek yoktur. Bkz . Akış sınırlamaları.

Sınırlamalar başvuru listesi

Aşağıdaki bölümlerde sunucusuz işlemin geçerli sınırlamaları listelenmiştir.

Sunucusuz işlem, paylaşılan işlem mimarisini temel alır. Paylaşılan işlemden devralınan en ilgili sınırlamalar ve sunucusuz özel ek sınırlamalar aşağıda listelenmiştir. Paylaşılan işlem sınırlamalarının tam listesi için bkz . Unity Kataloğu için işlem erişim modu sınırlamaları.

Genel sınırlamalar

• Scala ve R desteklenmez.

• ANSI SQL, SQL yazarken varsayılan değerdir. olarak ayarlayarak spark.sql.ansi.enabled falseANSI modundan çıkma.

• Spark RDD API'leri desteklenmez.

• Spark Bağlamı (sc), spark.sparkContextve sqlContext desteklenmez.

• Databricks Container Services desteklenmez.

• Web terminali desteklenmez.

• Hiçbir sorgu 48 saatten uzun süre çalışamıyor.

• Dış veri kaynaklarına bağlanmak için Unity Kataloğu'nu kullanmanız gerekir. Bulut depolamaya erişmek için dış konumları kullanın.

• Veri kaynakları için destek AVRO, BINARYFILE, CSV, DELTA, JSON, KAFKA, ORC, PARQUET, ORC, TEXT ve XML ile sınırlıdır.

• Kullanıcı tanımlı işlevler (UDF) İnternet'e erişemiyor. Bu nedenle CREATE FUNCTION (Dış) komutu desteklenmez. Databricks, UDF oluşturmak için CREATE FUNCTION (SQL ve Python) kullanılmasını önerir.

• Tek tek satırlar en fazla 128 MB boyutu aşmamalıdır.

• Spark kullanıcı arabirimi kullanılamıyor. Bunun yerine, Spark sorgularınızla ilgili bilgileri görüntülemek için sorgu profilini kullanın. Bkz. Sorgu profili.

• Çalışma alanları arası erişime yalnızca çalışma alanları aynı bölgedeyse ve hedef çalışma alanında IP ACL'sinin veya ön uç PrivateLink'in yapılandırılmamış olması durumunda izin verilir.

• Genel geçici görünümler desteklenmez. Databricks, oturum geçici görünümlerinin kullanılmasını veya oturumlar arası veri geçişinin gerekli olduğu tablolar oluşturulmasını önerir.

Akış sınırlamaları

• Varsayılan veya zamana bağlı tetikleyici aralıkları için destek yoktur. Yalnızca Trigger.AvailableNow desteklenir. Bkz . Yapılandırılmış Akış tetikleyici aralıklarını yapılandırma.
• Paylaşılan erişim modunda akış için tüm sınırlamalar da geçerlidir. Bkz . Unity Kataloğu paylaşılan erişim modu için akış sınırlamaları ve gereksinimleri.

Makine öğrenmesi sınırlamaları

• Machine Learning ve Apache Spark MLlib için Databricks Runtime desteklenmez.
• GPU'lar desteklenmez.

Not defterleri sınırlamaları

• Not defterlerinin yapılandırılamayan 8 GB belleğe erişimi vardır.
• Not defteri kapsamlı kitaplıklar geliştirme oturumlarında önbelleğe alınmaz.
• Bir not defterini kullanıcılar arasında paylaşırken TEMP tablolarını ve görünümlerini paylaşma desteklenmez.
• Not defterlerindeki veri çerçeveleri için Otomatik Tamamlama ve Değişken Gezgini desteklenmez.

İş akışı sınırlamaları

• İşler için sunucusuz işlem için sürücü boyutu şu anda sabittir ve değiştirilemez.
• Görev günlükleri, görev çalıştırması başına yalıtılmaz. Günlükler birden çok görevden çıktı içerir.
• Görev kitaplıkları not defteri görevleri için desteklenmez. Bunun yerine not defteri kapsamlı kitaplıkları kullanın. Bkz. Not defteri kapsamlı Python kitaplıkları.

İşlemle ilgili sınırlamalar

Aşağıdaki işlem özellikleri desteklenmez:

• İşlem ilkeleri
• İşlem kapsamlı init betikleri
• Özel veri kaynakları ve Spark uzantıları dahil olmak üzere işlem kapsamlı kitaplıklar. Bunun yerine not defteri kapsamlı kitaplıkları kullanın.
• Örnek profilleri de dahil olmak üzere işlem düzeyinde veri erişim yapılandırmaları. Sonuç olarak, bulut yollarındaki HMS aracılığıyla veya katıştırılmış kimlik bilgileri olmayan DBFS bağlamalarıyla tablolara ve dosyalara erişim çalışmaz.
• Örnek havuzları
• İşlem olay günlükleri
• Çoğu Apache Spark işlem yapılandırması. Desteklenen yapılandırmaların listesi için bkz . Desteklenen Spark yapılandırma parametreleri.
• Ortam değişkenleri. Bunun yerine Databricks, iş ve görev parametreleri oluşturmak için pencere öğelerinin kullanılmasını önerir.

Önbelleğe alma sınırlamaları

Veri çerçevesi ve SQL önbellek API'leri sunucusuz işlemde desteklenmez. Bu API'lerden veya SQL komutlarından herhangi birinin kullanılması özel duruma neden olur.

• df.cache(), df.persist()
• df.unpersist()
• spark.catalog.cacheTable()
• spark.catalog.uncacheTable()
• spark.catalog.clearCache()
• CACHE TABLE
• UNCACHE TABLE
• REFRESH TABLE
• CLEAR CACHE

Hive sınırlamaları

• Hive SerDe tabloları desteklenmez. Ayrıca, Hive SerDe tablosuna veri yükleyen karşılık gelen LOAD DATA komutu desteklenmez. komutunun kullanılması bir özel durumla sonuçlanır.

  Veri kaynakları için destek AVRO, BINARYFILE, CSV, DELTA, JSON, KAFKA, ORC, PARQUET, ORC, TEXT ve XML ile sınırlıdır.

• Hive değişkenleri (örneğin ${env:var}, , ${configName}, ${system:var}ve spark.sql.variable) veya söz dizimini ${var} kullanan yapılandırma değişkeni başvuruları desteklenmez. Hive değişkenlerini kullanmak bir özel durumla sonuçlanır.

  Bunun yerine, oturum durumunu bildirmek, değiştirmek ve başvurmak için DECLARE VARIABLE, SET VARIABLE ve SQL oturum değişkeni başvurularını ve parametre işaretleyicilerini ('?', veya ':var') kullanın. Çoğu durumda nesne adlarını parametreleştirmek için IDENTIFIER yan tümcesini de kullanabilirsiniz.