通过

适用于 Scala 的 Databricks Connect 的限制

  • 项目

注意

本文介绍适用于 Databricks Runtime 13.3 LTS 及更高版本的 Databricks Connect。

本文列出了适用于 Scala 的 Databricks Connect 的限制。 Databricks Connect 使你能够将常用 IDE、笔记本服务器和自定义应用程序连接到 Azure Databricks 群集。 请参阅什么是 Databricks Connect？。 有关本文的 Python 版本，请参阅适用于 Python 的 Databricks Connect 的限制。

在适用于 Databricks Runtime 13.3 LTS 及更低版本的 Databricks Connect 上不可用：

  • 流式处理 foreachBatch
  • 创建大于 128 MB 的数据帧
  • 超过 3600 秒的长查询
  • 使用单用户群集访问模式的群集上的标量 UDF

不可用：

  • Databricks 实用工具：credentials、library、notebook workflow、widgets
  • SparkContext
  • RDDs
  • MLflow 模型推理：pyfunc.spark_udf() API
  • Mosaic 地理空间
  • CREATE TABLE <table-name> AS SELECT（改用 spark.sql("SELECT ...").write.saveAsTable("table")）
  • 不能通过 SparkContext 更改 Log4j 日志级别
  • 分布式 ML 训练
  • 将本地开发环境与远程群集同步