Batasan dengan Databricks Connect untuk Python

Catatan

Artikel ini membahas Databricks Connect untuk Databricks Runtime 13.3 LTS ke atas.

Artikel ini mencantumkan batasan dengan Databricks Connect untuk Python. Databricks Connect memungkinkan Anda menyambungkan IDE populer, server notebook, dan aplikasi kustom ke kluster Azure Databricks. Lihat Apa itu Databricks Connect?. Untuk versi Scala artikel ini, lihat Batasan dengan Databricks Connect untuk Scala.

Penting

Bergantung pada versi Python, Databricks Runtime, dan Databricks Connect yang Anda gunakan, mungkin ada persyaratan versi untuk beberapa fitur. Lihat Persyaratan penggunaan Databricks Connect.

Ketersediaan fitur

Tidak tersedia di Databricks Connect untuk Databricks Runtime 13.3 LTS dan di bawah ini:

• Streaming foreachBatch
• Membuat DataFrame yang lebih besar dari 128 MB
• Kueri berdurasi lebih dari 3600 detik

Tidak tersedia di Databricks Connect untuk Databricks Runtime 15.3 ke bawah:

• ApplyinPandas() dan Cogroup() dengan komputasi dengan mode akses standar

Tidak tersedia di Databricks Connect untuk Databricks Runtime 16.3 ke bawah:

• Pada komputasi tanpa server, UDF tidak dapat menyertakan pustaka kustom.

Tidak tersedia:

• dataframe.display() API
• Utilitas Databricks: credentials, library, notebook workflow, widgets
• Konteks Spark
• RDD
• Pustaka yang menggunakan RDD, Spark Context, atau mengakses JVM Spark yang mendasarinya, seperti Mosaik geospasial, GraphFrames, atau GreatExpectations
• CREATE TABLE <table-name> AS SELECT (sebagai gantinya, gunakan spark.sql("SELECT ...").write.saveAsTable("table"))
• Mengubah tingkat log log4j melalui SparkContext
• Pelatihan ML terdistribusi tidak didukung.
• Menyinkronkan lingkungan pengembangan lokal dengan kluster jarak jauh