Batasan dengan Databricks Connect untuk Scala

Nota

Artikel ini membahas Databricks Connect untuk Databricks Runtime 13.3 LTS ke atas.

Artikel ini mencantumkan batasan dengan Databricks Connect untuk Scala. Databricks Connect memungkinkan Anda menyambungkan IDE populer, server notebook, dan aplikasi kustom ke sumber daya komputasi Azure Databricks. Lihat Databricks Connect. Untuk versi artikel ini dalam bahasa Python, silakan lihat Batasan pada Databricks Connect untuk Python.

Penting

Bergantung pada versi Scala, Java, Databricks Runtime, dan Databricks Connect yang Anda gunakan, mungkin ada persyaratan versi untuk beberapa fitur. Lihat Persyaratan.

Ketersediaan fitur

Tidak tersedia di Databricks Connect untuk Databricks Runtime 13.3 LTS dan di bawah ini:

• Streaming foreachBatch
• Membuat DataFrame yang lebih besar dari 128 MB
• Kueri berdurasi lebih dari 3600 detik
• UDF skalar pada sumber daya komputasi yang menggunakan mode akses khusus (sebelumnya pengguna tunggal)

Tidak tersedia:

• Utilitas Databricks: credentials, library, notebook workflow, widgets
• Konteks Spark
• RDD
• CREATE TABLE <table-name> AS SELECT (sebagai gantinya, gunakan spark.sql("SELECT ...").write.saveAsTable("table"))
• Mengubah tingkat log log4j melalui SparkContext
• Pelatihan ML terdistribusi
• Menyinkronkan lingkungan pengembangan lokal dengan sumber daya komputasi jarak jauh