Azure Databricks 机密用于存储敏感值(例如密码、API 密钥或哈希盐),以便笔记本、作业和函数可以使用该值,而无需让该值出现在代码中。 你可以在两个位置管理机密:
- 工作区秘密作用域:一个工作区中命名的秘密集合。 权限适用于整个范围。 参见 工作区机密范围。
-
Unity Catalog 中的机密:安全对象 (
catalog.schema.secret),可在连接到该元存储的每个工作区中使用。 你可以为每个机密授予访问权限。 请参阅 Unity 目录中的机密。
Unity Catalog 机密可以由 Azure Databricks 管理,也可以由 Azure 密钥保管库提供后端支持。 请参见Unity Catalog中的Azure 密钥保管库 secrets。
选择机密存储位置
下表比较了每个选项存储秘密值的位置、哪些工作区可以使用它们,以及如何控制访问权限。
| 工作区机密范围 | Azure Databricks-managed secret in Unity Catalog | Unity Catalog 中由 Azure 密钥保管库 支持的机密(Beta) | |
|---|---|---|---|
| 该值存储在哪里 | Azure Databricks 中、工作区内,或通过密钥保管库支持的范围使用你的 Azure 密钥保管库 | Azure Databricks, in Unity Catalog | Azure 密钥保管库 (Azure Databricks 只在Unity Catalog中存储秘密名称) |
| 用自己的密钥加密 | 是的,使用 用于托管服务的客户管理密钥 | 是的,可以在目录上使用客户管理的密钥 | |
| 提供于 | 一个工作区 | 所有连接到元存储的工作区 | 所有连接到元存储的工作区 |
| 访问控制 | 机密范围权限(无机密级别访问控制) | Unity Catalog 特权,针对机密、架构或目录 | 对密钥、架构或目录的 Unity Catalog 权限 |
| 旋转 | 在 Azure Databricks 或由 密钥保管库 提供支持的作用域的 密钥保管库 中更新值 | 更新 Azure Databricks 中的值 | 在 Azure 密钥保管库 中轮换。 Azure Databricks 没有变化。 |
可在何处使用机密
工作区机密范围和 Unity Catalog 机密支持的使用位置不同。 在选择之前,先确认它能在你的代码运行的地方运行。
| Surface | 工作区机密范围 | Unity Catalog 中的机密 |
|---|---|---|
笔记本和作业中的 dbutils.secrets |
Yes. 参见 阅读秘密。 | 是的,适用于无服务器环境4版及以上,或Databricks Runtime 17.3 LTS及以上版本。 参见 阅读秘密。 |
| REST API 和 Databricks CLI | Yes. API 返回的数值不会被脱敏。 | Yes. API 返回的数值不会被脱敏。 |
| 远程开发,如Databricks Connect | 可以,在 Databricks Connect 客户端中使用 dbutils.secrets 即可。 请参见 适用于 Python 的 Databricks Connect 的 Databricks Utilities。 |
No |
| Unity Catalog Python 和 Scala UDFs | No | Yes. 来电者只需 EXECUTE。 参见 在 UDF 中使用密钥。 |
| SQL 仓库 | 可以,使用 secret 函数 即可 | 只有通过声明该机密的 Unity Catalog Python 或 Scala UDF 才能实现 |
| 计算环境中的 Spark 配置属性和环境变量 | Yes. 请参阅在 Spark 配置属性或环境变量中使用机密。 | No |
| 模型服务端点环境变量 | Yes. 请参阅 添加基于机密的环境变量。 | No |
| 默认包仓库 | 是的,在 databricks-package-management 范围里。 参见 配置默认包仓库。 |
No |
附加资源
| Resource | Description |
|---|---|
| Unity Catalog 中的机密 | 创建 Unity Catalog 密钥,授予访问权限,并在笔记本、作业和 UDF 中读取它们。 |
| Unity Catalog 机密的最佳实践 | 按环境、应用或团队组织机密,让工作负载使用机密而不读取它们。 |