Bagikan melalui

Batasan dengan Databricks Connect untuk Python

  • Artikel

Catatan

Artikel ini membahas Databricks Connect untuk Databricks Runtime 13.3 LTS ke atas.

Artikel ini mencantumkan batasan dengan Databricks Connect untuk Python. Databricks Connect memungkinkan Anda menyambungkan ID Populer, server buku catatan, dan aplikasi kustom ke kluster Azure Databricks. Lihat Apa itu Databricks Connect?. Untuk versi Scala artikel ini, lihat Batasan dengan Databricks Connect untuk Scala.

Tidak tersedia di Databricks Connect untuk Databricks Runtime 13.3 LTS dan di bawah ini:

  • Streaming foreachBatch
  • Membuat DataFrame yang lebih besar dari 128 MB
  • Kueri panjang lebih dari 3600 detik

Tidak tersedia:

  • API himpunan data
  • API jenis himpunan data (seperti reduce() dan flatMap())
  • Utilitas Databricks: credentials, , library, notebook workflowwidgets
  • SparkContext
  • RDDs
  • Inferensi model MLflow: pyfunc.spark_udf() API
  • Geospasial mosaik
  • CREATE TABLE <table-name> AS SELECT (sebagai gantinya, gunakan spark.sql("SELECT ...").write.saveAsTable("table"))
  • ApplyinPandas() dan Cogroup() dengan kluster bersama
  • Mengubah tingkat log log4j melalui SparkContext
  • Pelatihan ML terdistribusi
  • Menyinkronkan lingkungan pengembangan lokal dengan kluster jarak jauh