Unity Catalog 机密的最佳实践

组织 Unity Catalog 机密,使每个应用程序只能访问自己的机密,大多数主体在使用机密时无需读取其值,并且用于加密值的密钥由您自己掌控。 关于如何创建、授予和读取秘密,请参见 Unity Catalog 中的秘密。

按需要机密的人员对机密进行分组

为每个应用程序、环境或团队创建一个模式,并在该模式上授予 CREATE SECRET 权限,而不是在目录上授予权限。 一个架构最多可容纳 1000 个机密,元存储最多可容纳 10,000 个机密。

  • 对单个机密授权:对某个架构的授权将应用于其中每一个机密,包括后续增加的机密。 当主体只需要一个机密时,应向该机密而不是其模式授予 READ SECRET 权限。
  • 在需要时,为生产机密单独创建目录:工作区绑定和客户管理的密钥适用于整个目录。 为了让生产机密远离开发工作区,或者为了用它们自己的密钥加密,可以把它们放入单独的目录中。 请参阅工作区目录绑定和用您自己的密钥加密 Azure Databricks 托管的机密。

每个 密钥保管库 都有自己的架构。UC 特权决定谁可以使用这些机密。

为了为订单应用程序分配其专属的架构,并让报表作业仅能读取其中一个机密,请运行以下命令:

-- The application's service principal reads every secret in its schema
CREATE SCHEMA main.orders_app;
GRANT USE CATALOG ON CATALOG main TO `orders-service-principal`;
GRANT USE SCHEMA, READ SECRET ON SCHEMA main.orders_app TO `orders-service-principal`;

-- The reporting job reads only the warehouse password
GRANT USE CATALOG ON CATALOG main TO `reporting-service-principal`;
GRANT USE SCHEMA ON SCHEMA main.orders_app TO `reporting-service-principal`;
GRANT READ SECRET ON SECRET main.orders_app.warehouse_password TO `reporting-service-principal`;

对于由 Azure 密钥保管库 支持的秘密,每个 schema 使用一个 密钥保管库,并赋予其独立的服务凭证和连接。 密钥保管库 连接不支持标记筛选器,因此保管库本身就是边界。 如果一个保管库中的机密超过 1000 个,Unity Catalog 会优先导入最旧的,其余的则跳过。

不要用一个共享的 密钥保管库 为可供多个应用程序访问的架构提供支持。

分别管理发现、轮换和读取秘密的权限

这些都是独立的特权,因此,更新机密或在目录资源管理器中查找机密的主体无需查看其值:

要让某个主体 授予 返回该值
查找机密并请求访问权限 对目录拥有 BROWSE 权限, 它显示每个机密的元数据,如名称、所有者和到期日。 No
通过更新机密值来轮换机密 WRITE SECRET No
比如在某项工作中,用 dbutils.secrets 读取该值 READ SECRET Yes

有关完整特权列表,请参阅授予对机密的访问权限。

为了让所有人都能查找机密并请求访问权限,同时让轮换作业无需读取密码即可更新仓库密码,请运行以下命令:

GRANT BROWSE ON CATALOG main TO `account users`;

GRANT USE CATALOG ON CATALOG main TO `rotation-service-principal`;
GRANT USE SCHEMA ON SCHEMA main.orders_app TO `rotation-service-principal`;
GRANT WRITE SECRET ON SECRET main.orders_app.warehouse_password TO `rotation-service-principal`;

BROWSE 会向所有拥有该权限的人显示注释。 使用机密的注释来注明其所有者以及如何请求访问权限。 绝不要在注释中放入值,或任何相关提示。

使用您自己的密钥加密 Azure Databricks 托管的机密

目录上的客户管理的密钥 (CMK) 设置会应用于该目录中的每一个 Azure Databricks 托管机密。 要用单独的密钥加密生产机密,可以将它们放入各自的目录中。 关于 CMK 如何应用于机密,请参见 “使用客户管理的密钥加密机密值”。

在源端轮换机密

对于由 Azure 密钥保管库 支持的秘密,可以在 Azure 密钥保管库 中轮换值,例如使用 密钥保管库 轮换策略。 不要把它们的值复制到 Azure Databricks 管理的机密里,因为每复制一份,就多一个需要轮换的值。

对于 Azure Databricks 管理的机密,可以在 Catalog Explorer 中或使用 REST API 更新该值。 设置一个过期日期,让 Catalog Explorer 在密钥到期时显示警告。

已经持有某个值的代码会保留该值,直到再次读取该秘密。 在长期运行的作业中,每次打开连接时都要读取机密信息,而不仅仅是在启动时。

让工作负载在不读取机密内容的情况下使用机密

大多数依赖机密的用户从未产生查看其值的需要。 声明了机密的 Unity Catalog UDF 会以其所有者的权限来读取该机密,因此调用方只需对 UDF 拥有 EXECUTE 权限,例如,可借此对个人数据进行掩码或哈希处理。 相比之下,如果用户运行的 SQL 函数中调用了工作区机密作用域内的 secret(),用户就必须对该作用域拥有 READ 权限,但这将导致其中所有机密面临暴露风险。 参见 在 UDF 中使用密钥。

  • 仅将 READ SECRET 授予给执行作业的服务主体、声明秘密的 UDF 所有者以及拥有秘密的小团队。
  • 将组或服务主体设为每个声明机密的 UDF 的所有者,这样即使有人员离职,该 UDF 也不会运行失败。
  • 只有当所有调用者都能读取机密时,才使用会话范围的 UDF。 它们会使用调用方的权限读取机密。

Warning

不要从 UDF 中返回机密值。 遮蔽并不能阻止UDF代码在查询结果中返回某个值。

模型提供者服务还可以使用Unity Catalog的秘密作为提供者凭证,因此调用者查询模型时无需看到密钥。 请参阅 以 Unity Catalog 机密作为提供程序凭据的来源。

控制谁可以授予访问权限,并对其进行审计

  • 将秘密及其模式的所有权分配给一个组,而不是个人。
  • 元存储管理员和拥有 MANAGE 的主体无法读取某个值,但他们有权自行分配 READ SECRET 权限。 仅向一小组人授予 MANAGE 权限。
  • 在 system.access.audit 系统表中查看机密的读取和授权记录。 请参阅审核机密访问权限。

其他资源

Resource Description
Unity Catalog 中的机密 创建、授予和读取 Unity Catalog 密钥。
机密管理 比较 Unity Catalog 机密与工作区机密作用域,并了解它们各自可以在何处使用。