Aracılığıyla paylaş

Sunucusuz bilgi işlem sınırlamaları

Bu makalede, not defterleri ve işler için sunucusuz işlemin geçerli sınırlamaları açıklanmaktadır. En önemli hususlara genel bir bakışla başlar ve ardından kapsamlı bir sınırlama referans listesi sunar.

Sınırlamalara genel bakış

Yeni iş yükleri oluşturmadan veya iş yüklerini sunucusuz işlemlere geçirmeden önce aşağıdaki sınırlamaları göz önünde bulundurun:

  • Python ve SQL desteklenen tek dillerdir.
  • Yalnızca Spark connect API'leri desteklenir. Spark RDD API'leri desteklenmez.
  • JAR kitaplıkları desteklenmez. Geçici çözümler için bkz . Sunucusuz işlem için en iyi yöntemler.
  • Sunucusuz işlem tüm çalışma alanı kullanıcıları tarafından kullanılabilir.
  • Not defteri etiketleri desteklenmez. Sunucusuz kullanımı etiketlemek için sunucusuz bütçe ilkelerini kullanın.
  • Akış için yalnızca artımlı toplu işleme mantığı kullanılabilir. Varsayılan veya zamana bağlı tetikleyici aralıkları için destek yoktur. Bkz . Akış sınırlamaları.

Sınırlamalar kaynakça

Aşağıdaki bölümlerde sunucusuz işlemin geçerli sınırlamaları listelenmiştir.

Sunucusuz işlem, Databricks standart erişim modu işlem mimarisini (eski adıyla paylaşılan erişim modu) temel alır. Standart erişim modundan devralınan en ilgili sınırlamalar ve sunucusuz özel ek sınırlamalar aşağıda listelenmiştir. Standart erişim modu sınırlamalarının tam listesi için, bkz. Unity Kataloğu için Hesaplama erişim modu sınırlamaları .

Genel sınırlamalar

  • Scala ve R desteklenmez.
  • ANSI SQL, SQL yazarken varsayılan değerdir. spark.sql.ansi.enabled'ü false olarak ayarlayarak ANSI modundan çıkın.
  • Spark RDD API'leri desteklenmez.
  • Spark Bağlamı (sc), spark.sparkContextve sqlContext desteklenmez.
  • Varsayılan olarak sunucusuz bir not defterindeki hiçbir Spark sorgusu 9000 saniyeden uzun süre çalışmaz. Bu yapılandırma spark.databricks.execution.timeout özelliği kullanılarak yapılabilir. Diğer ayrıntılar için bkz. Sunucusuz not defterleri ve işler için Spark özelliklerini yapılandırma. Bu sınır sunucusuz işler için geçerli değildir.
  • Dış veri kaynaklarına bağlanmak için Unity Kataloğu'nu kullanmanız gerekir. Bulut depolamaya erişmek için dış konumları kullanın.
  • Kullanıcı tanımlı işlevler (UDF) İnternet'e erişemiyor. Bu nedenle, CREATE FUNCTION (Dış) komutu desteklenmez. Databricks, UDF oluşturmak için CREATE FUNCTION (SQL ve Python) kullanılmasını önerir.
  • Tek tek satırlar en fazla 128 MB boyutu aşmamalıdır.
  • Spark kullanıcı arabirimi kullanılamıyor. Bunun yerine, Spark sorgularınızla ilgili bilgileri görüntülemek için sorgu profilini kullanın. Bakınız Sorgu profili.
  • Spark günlükleri sunucusuz not defterleri ve işler kullanılırken kullanılamaz. Kullanıcılar yalnızca istemci tarafı uygulama günlüklerine erişebilir.
  • Çalışma alanları arası erişime yalnızca çalışma alanları aynı bölgedeyse ve hedef çalışma alanında IP ACL'sinin veya ön uç PrivateLink'in yapılandırılmamış olması durumunda izin verilir.
  • Küresel geçici görünümler desteklenmez. Databricks, oturum geçici görünümlerinin kullanılmasını veya oturumlar arası veri geçişinin gerekli olduğu tablolar oluşturulmasını önerir.
  • Maven koordinatları desteklenmez.

Akış sınırlamaları

Makine öğrenmesi sınırlamaları

Dizüstü bilgisayarların sınırlamaları

  • Not defteri oturumu kapsamındaki kütüphaneler, geliştirme oturumları arasında önbelleğe alınmaz.
  • Bir not defterini kullanıcılar arasında paylaşırken TEMP tablolarını ve görünümlerini paylaşma desteklenmez.
  • Not defterlerindeki veri çerçeveleri için Otomatik Tamamlama ve Değişken Gezgini desteklenmez.
  • Varsayılan olarak, yeni not defterleri .ipynb biçiminde kaydedilir. Not defteriniz kaynak biçiminde kaydedildiyse sunucusuz meta veriler doğru yakalanmayabilir ve bazı özellikler beklendiği gibi çalışmayabilir.

İş akışı sınırlamaları

  • İşler için sunucusuz işlem için sürücü boyutu şu anda sabittir ve değiştirilemez.
  • Görev günlükleri, görev çalıştırması başına yalıtılmaz. Günlükler birden çok görevden çıktı içerir.
  • Görev kitaplıkları not defteri görevleri için desteklenmez. Bunun yerine not defterine özgü kitaplıkları kullanın. Bkz. Notebook'a özel Python kitaplıkları.

Hesaplamaya özgü sınırlamalar

Aşağıdaki işlem özellikleri desteklenmez:

Önbelleğe alma sınırlamaları

Veri çerçevesi ve SQL önbellek API'leri sunucusuz işlemde desteklenmez. Bu API'lerden veya SQL komutlarından herhangi birinin kullanılması özel duruma neden olur.

Hive sınırlamaları

  • Hive SerDe tabloları desteklenmez. Ayrıca, Hive SerDe tablosuna veri yükleyen ilgili LOAD DATA komutu desteklenmez. Komutun kullanılması bir istisna ile sonuçlanır.

    Veri kaynakları için destek AVRO, BINARYFILE, CSV, DELTA, JSON, KAFKA, ORC, PARQUET, ORC, TEXT ve XML ile sınırlıdır.

  • Hive değişkenleri (örneğin ${env:var}, ${configName}, ${system:var}, ve spark.sql.variable) veya ${var} söz dizimini kullanan yapılandırma değişkeni başvuruları desteklenmez. Hive değişkenlerini kullanmak bir özel durumla sonuçlanır.

    Bunun yerine, oturum durumunu bildirmek, değiştirmek ve başvurmak için DECLARE VARIABLE, SET VARIABLE, SQL oturum değişkeni başvurularını ve parametre işaretçilerini ('?', veya ':var') kullanın. Çoğu durumda nesne adlarını parametreleştirmek için IDENTIFIER yan tümcesini de kullanabilirsiniz.

Desteklenen veri kaynakları

Sunucusuz işlem DML işlemleri (yazma, güncelleştirme, silme) için aşağıdaki veri kaynaklarını destekler:

  • CSV
  • JSON
  • AVRO
  • DELTA
  • KAFKA
  • PARQUET
  • ORC
  • TEXT
  • UNITY_CATALOG
  • BINARYFILE
  • XML
  • SIMPLESCAN
  • ICEBERG

Sunucusuz işlem, okuma işlemleri için aşağıdaki veri kaynaklarını destekler:

  • CSV
  • JSON
  • AVRO
  • DELTA
  • KAFKA
  • PARQUET
  • ORC
  • TEXT
  • UNITY_CATALOG
  • BINARYFILE
  • XML
  • SIMPLESCAN
  • ICEBERG
  • MYSQL
  • POSTGRESQL
  • SQLSERVER
  • REDSHIFT
  • SNOWFLAKE
  • SQLDW (Azure Synapse)
  • DATABRICKS
  • BIGQUERY
  • ORACLE
  • SALESFORCE
  • SALESFORCE_DATA_CLOUD
  • TERADATA
  • WORKDAY_RAAS
  • MONGODB