Aracılığıyla paylaş

Python için Databricks Bağlan sınırlamaları

  • Makale

Dekont

Bu makalede Databricks Runtime 13.0 ve üzeri için Databricks Bağlan yer alır.

Bu makalede Python için Databricks Bağlan ile ilgili sınırlamalar listelenir. Databricks Bağlan popüler IDE'leri, not defteri sunucularını ve özel uygulamaları Azure Databricks kümelerine bağlamanızı sağlar. Bkz. Databricks Bağlan nedir?. Bu makalenin Scala sürümü için bkz. Scala için Databricks Bağlan sınırlamaları.

Databricks Runtime 13.3 LTS ve altı için Databricks Bağlan'da kullanılamaz:

  • Akış foreachBatch
  • 128 MB'tan büyük DataFrame'ler oluşturma
  • 3600 saniyeden uzun sorgular

Databricks Runtime 13.0 için Databricks Bağlan'da kullanılamaz:

  • UDF’ler
  • Pandas UDF'leri
  • Spark'ta Pandas
  • Akış (olmadan foreachBatch)
  • Databricks Yardımcı Programları: fs, ls ve secrets
  • OAuth
  • ApplyinPandas() ve Cogroup() tek kullanıcılı kümelerle

Kullanılamaz:

  • Veri kümesi API'si
  • Veri kümesi türüne göre API'ler (ve flatMap()gibireduce())
  • Databricks Yardımcı Programları: credentials, library, notebook workflow, widgets
  • SparkContext
  • RDDs
  • MLflow modeli çıkarımı: pyfunc.spark_udf() API
  • Mozaik jeo-uzamsal
  • CREATE TABLE <table-name> AS SELECT (bunun yerine kullanın spark.sql("SELECT ...").write.saveAsTable("table"))
  • ApplyinPandas() ve Cogroup() paylaşılan kümelerle
  • log4j günlük düzeyini değiştirme SparkContext
  • Dağıtılmış ML eğitimi
  • Yerel geliştirme ortamını uzak kümeyle eşitleme