连接到无服务器计算

本文介绍 Azure Databricks 上提供的多个无服务器产品/服务。 无服务器计算使你能够快速连接到按需计算资源。

本节中的文章重点介绍笔记本、作业和增量实时表的无服务器计算。 有关无服务器 SQL 仓库的信息,请参阅什么是无服务器 SQL 仓库。 有关模型服务的信息,请参阅 Azure Databricks 模型服务

有关无服务器计算平面体系结构的信息,请参阅无服务器计算平面

什么是无服务器计算?

无服务器计算允许在不预配群集的情况下运行工作负荷。 相反,Databricks 会自动分配和管理必要的计算资源。 这使你能够专注于编写代码和分析数据,而无需担心群集管理或资源利用率。

无服务器计算具有以下优势:

  • 云资源由 Azure Databricks 管理,减少了管理开销,并提供即时计算来提高用户工作效率。
  • 无服务器计算资源的快速启动和缩放时间将最小化空闲时间,并确保只为使用的计算付费。
  • 由于容量处理、安全、修补和升级是自动管理的,因此可以不太担心可靠性、安全策略和容量短缺。

Azure Databricks 上提供了哪些类型的无服务器计算?

Azure Databricks 目前提供以下类型的无服务器计算:

  • 适用于笔记本的无服务器计算:用于在笔记本中执行 SQL 和 Python 代码的按需可缩放计算。
  • 适用于作业的无服务器计算:用于运行 Databricks 作业的按需可缩放计算,无需配置和部署基础结构。
  • 无服务器 SQL 仓库:用于对 SQL 编辑器或交互式笔记本中的数据对象运行 SQL 命令的按需弹性计算。 可以使用 UI、CLI 或 REST API 创建 SQL 仓库。
  • 无服务器 DLT 管道:针对增量实时表管道更新的优化且可缩放的计算。
  • Mosaic AI 模型服务:用于部署 AI 模型的高可用性和低延迟服务。

启用无服务器计算

若要访问笔记本、作业和增量实时表的无服务器计算,帐户管理员必须在工作区级别启用该功能。 请参阅启用无服务器计算

若要访问无服务器 SQL 仓库,请参阅 “启用无服务器 SQL 仓库”。

无服务器计算限制

有关限制列表,请参阅无服务器计算限制

常见问题 (FAQ)

如何推出版本?

无服务器计算是一种无版本产品,这意味着,Databricks 会自动升级无服务器计算运行时,以支持平台的增强和升级。 所有用户都会获得将在短时间内推出的相同更新。

如何确定我正在运行的无服务器版本?

无服务器工作负载始终在最新的运行时版本上运行。 有关最新版本,请参阅发行说明

如何估算无服务器成本?

Databricks 建议运行代表性或特定工作负载并对其进行基准测试,然后分析计费系统表。 请参阅计费使用情况系统表引用

如何分析特定工作负载的 DBU 使用情况?

若要查看特定工作负载的成本,请查询 system.billing.usage 系统表。 请参阅监视无服务器计算的成本,以获取示例查询并下载成本可观测性仪表板。

我尚未为作业和笔记本启用无服务器计算,为什么看到无服务器作业的计费记录?

湖屋监视预测优化也按无服务器作业 SKU 计费。

无需启用无服务器计算即可使用这两项功能。

无服务器计算是否支持专用存储库?

存储库可以是专用存储库,也可要求身份验证。 出于安全原因,访问经过身份验证的存储库时需要预先签名的 URL。

如何为作业任务安装库?

Databricks 建议使用环境来安装和管理作业的库。 请参阅为非笔记本任务配置环境和依赖项

是否可以连接到自定义数据源?

否,仅支持使用 Lakehouse 联合身份验证的源。 请参阅受支持的数据源

无服务器计算平面网络的工作原理

无服务器计算资源在由 Azure Databricks 管理的无服务器计算平面中运行。 有关网络和体系结构的更多详细信息,请参阅无服务器计算平面网络

是否可以使用 Databricks 资产捆绑包为作业配置无服务器计算?

可以,Databricks 资产捆绑包可以用于配置使用无服务器计算的作业。 请参阅配置使用无服务器计算的作业