通过

无服务器计算限制

  • 项目

本文介绍了笔记本和工作流的无服务器计算的当前限制。 首先是最重要的注意事项的概述，然后是全面的限制参考列表。

限制概述

在新建工作负荷或将工作负荷迁移到无服务器计算之前，请先考虑以下限制：

  • Python 和 SQL 是唯一受支持的语言。

  • 仅支持 Spark 连接 API。 不支持 Spark RDD API。

  • 不支持 JAR 库。 有关解决方法，请参阅无服务器计算的最佳做法。

  • 无服务器计算对所有工作区用户具有无限制的访问权限。

  • 不支持笔记本标记。

  • 对于流式处理，只能使用增量批处理逻辑。 不支持默认的或基于时间的触发器间隔。 请参阅流式处理限制。

限制参考列表

以下部分列出了无服务器计算的当前限制。

无服务器计算基于共享计算体系结构。 下面列出了从共享计算继承的最相关限制，以及其他特定于无服务器的限制。 有关共享计算限制的完整列表，请参阅 Unity Catalog 的计算访问模式限制。

一般限制

  • 不支持 Scala 和 R。

  • 编写 SQL 时，ANSI SQL 是默认值。 将spark.sql.ansi.enabled设置为false以选择退出 ANSI 模式。

  • 不支持 Spark RDD API。

  • 不支持 Spark 上下文 (sc)、spark.sparkContext 和 sqlContext。

  • 不支持 Databricks 容器服务。

  • 不支持 Web 终端。

  • 任何查询的运行时间都不能超过 48 小时。

  • 必须使用 Unity Catalog 连接到外部数据源。 使用外部位置访问云存储。

  • 对数据源的支持仅限于 AVRO、BINARYFILE、CSV、DELTA、JSON、KAFKA、ORC、PARQUET、ORC、TEXT 和 XML。

  • 用户定义的函数 (UDF) 无法访问 Internet。

  • 单个行的最大大小不得超过 128MB。

  • Spark UI 不可用。 请改用查询配置文件来查看有关 Spark 查询的信息。 请参阅查询配置文件。

  • 使用 Databricks 终结点的 Python 客户端可能会遇到 SSL 验证错误，例如“CERTIFICATE_VERIFY_FAILED”。 若要解决这些错误，请将客户端配置为信任 /etc/ssl/certs/ca-certificates.crt 中的 CA 文件。 例如，在无服务器笔记本或作业的开头运行以下命令：import os; os.environ['SSL_CERT_FILE'] = '/etc/ssl/certs/ca-certificates.crt'

  • 不支持跨工作区 API 请求。

流式处理限制

机器学习限制

笔记本限制

  • 笔记本可以访问 8GB 内存，但内存量无法配置。
  • 笔记本范围的库不会跨开发会话进行缓存。
  • 在用户之间共享笔记本时，不支持共享 TEMP 表和视图。
  • 不支持对笔记本中的数据帧使用自动完成和变量资源管理器。

工作流限制

  • 工作流无服务器计算的驱动程序大小当前是固定的，无法更改。
  • 不会为每个任务运行隔离任务日志。 日志将包含多个任务的输出。
  • 笔记本任务不支持任务库。 请改用笔记本范围的库。 请参阅作用域为笔记本的 Python 库。

特定于计算的限制

不支持以下特定于计算的功能：

  • 计算策略
  • 计算范围的 init 脚本
  • 计算范围的库，包括自定义数据源和 Spark 扩展。 请改用笔记本范围的库。
  • 计算级数据访问配置，包括实例配置文件。 因此，无法通过云路径上的 HMS 或使用没有嵌入凭据的 DBFS 装载来访问表和文件。
  • 实例池
  • 计算事件日志
  • Apache Spark 计算配置和环境变量