lakewatch 指挥组

Note

Databricks CLI 的使用须遵守 Databricks 许可和 Databricks 隐私声明,包括任何数据使用规定。

Important

Lakewatch目前处于 测试阶段。 工作区管理员可以从 预览 页控制对此功能的访问。 请参阅 管理工作区级预览。

lakewatch Databricks CLI 中的命令组包含用于管理 Lakewatch 数据源、检测规则和按目录配置的命令。 参见 Lakewatch 文档。

命令 lakewatch 组需要 Databricks CLI 版本 1.25.0 或更高版本。 若要检查版本,请运行 databricks -v。

DataBricks LakeWatch 创建数据源

Important

此功能在 Beta 版中。

创建一个数据源。

创建新的数据源。

databricks lakewatch create-datasource CATALOG_NAME SCHEMA_NAME DATASOURCE_NAME SCHEDULE [flags]

Arguments

CATALOG_NAME

    包含数据源的 Unity 目录目录名称。 创建时必须更改,之后无法更改。 读取返回提供的值;目录当前名称在 中报告 effective_catalog_name。

SCHEMA_NAME

    包含数据源的 Unity 目录架构的名称。 创建时必须更改,之后无法更改。 读取返回提供的值;架构当前名称在 中报告 effective_schema_name。

DATASOURCE_NAME

    Unity 目录中数据源的名称,在其架构中唯一。 创建时必需,且可在同一目录和架构内更新。 Get 会将此字段与当前 Unity 目录名称同步,该名称也在 effective_datasource_name中报告。

SCHEDULE

    数据源摄取作业运行的时间表。 数据源无法暂停,因此设置为 false 的请求 schedule.enabled 会被拒绝。 Unity 目录连接数据源不支持连续计划。

选项

--compute-mode DatasourceComputeMode

    数据源摄取作业的计算模式。 支持值: DS_COMPUTE_PERFORMANCE_OPTIMIZED, DS_COMPUTE_STANDARD。

--description string

    数据源的自由格式描述。

--json JSON

    要么是内联JSON字符串,要么 @path/to/file.json 是请求正体。

--name string

    数据源的资源名称,格式 datasources/{datasource_id}为 。

--run-as-principal string

    数据源运行的用户或服务主体,以用户邮箱或服务主体应用程序 ID 的形式给出。

--warehouse-id string

    运行 Lakewatch 验证创建或更新请求(如源和目标访问检查)检查的 SQL 仓库的 ID。

全球旗帜

DataBricks LakeWatch 创建规则

Important

此功能在 Beta 版中。

创建规则。

创建一条新规则。

databricks lakewatch create-rule CATALOG_NAME SCHEMA_NAME RULE_NAME SEVERITY FIDELITY SCHEDULE OUTPUT [flags]

Arguments

CATALOG_NAME

    包含该规则的 Unity 目录目录名称。 Required. 创建后无法更改。 读取返回提供的值;目录当前名称在 中报告 effective_catalog_name。

SCHEMA_NAME

    包含该规则的 Unity 目录架构的名称。 Required. 创建后无法更改。 读取返回提供的值;架构当前名称在 中报告 effective_schema_name。

RULE_NAME

    规则在其 Unity 目录架构中的名称。 创建时必填;可在同一目录和架构内更新。 Get 会将此字段与当前 Unity 目录名称同步,该名称也在 effective_rule_name中报告。

SEVERITY

    自由格式严重性标签,如信息性、中等、高或严重。

FIDELITY

    此规则的信号质量。 支持值:[FIDELITY_DEVELOPMENT、FIDELITY_HIGH、FIDELITY_INVESTIGATIVE、FIDELITY_MEDIUM]。

SCHEDULE

    规则执行时。

OUTPUT

    每个信号要记录什么。

选项

--category string

    自由格式规则类别。

--content-resource-id string

    不可变的 UUIDv4 标识作为此规则安装的已创作内容资源。

--deduplication RuleDeduplication

    信号去重模式。 支持的值:DEDUPLICATION_DEFAULT、DEDUPLICATION_DISABLED、DEDUPLICATION_ENABLED。

--deduplication-time-window string

    去重的时间窗口,如1小时、24小时、7天或自动。

--description string

    自由形式的描述。

--json JSON

    要么是内联JSON字符串,要么 @path/to/file.json 是请求正体。

--name string

    资源名称,格式为 rules/{rule_id}。

--objective string

    此规则检测内容的详细说明。

--run-as-principal string

    此规则作业运行的主体身份,以用户邮箱或服务主体应用程序 ID 的形式提供。

--runbook string

    长篇操作指南,源自已编写的规则元数据。

--suppress-until-time string

    如果设置,该规则的信号在指定时间之前不会打开新的警报。

全球旗帜

DataBricks LakeWatch Delete-Datasource

Important

此功能在 Beta 版中。

删除数据源。

按资源名称删除数据源。

databricks lakewatch delete-datasource NAME [flags]

Arguments

NAME

    数据源的资源名称,格式 datasources/{datasource_id}为 。

全球旗帜

Databricks lakewatch 删除规则

Important

此功能在 Beta 版中。

删除规则。

按资源名称删除规则。

databricks lakewatch delete-rule NAME [flags]

Arguments

NAME

    要删除规则的资源名称。 格式: rules/{rule_id}.

全球旗帜

DataBricks LakeWatch Get-Alert-config

Important

此功能在 Beta 版中。

获取目录的警报配置。

返回目录的警报投递配置。

databricks lakewatch get-alert-config NAME [flags]

Arguments

NAME

    配置的资源名称,格式 catalogs/{catalog}/alertConfig为 。

全球旗帜

DataBricks LakeWatch get-Common-config

Important

此功能在 Beta 版中。

获取目录的通用配置。

返回目录的常见 Lakewatch 配置。

databricks lakewatch get-common-config NAME [flags]

Arguments

NAME

    配置的资源名称,格式 catalogs/{catalog}/commonConfig为 。

全球旗帜

DataBricks LakeWatch Get-DataSource

Important

此功能在 Beta 版中。

获取一个数据源。

通过资源名称返回单个数据源。

databricks lakewatch get-datasource NAME [flags]

Arguments

NAME

    数据源的资源名称,格式 datasources/{datasource_id}为 。

全球旗帜

DataBricks LakeWatch get-datasource-config

Important

此功能在 Beta 版中。

获取目录的数据源配置。

返回目录的数据源摄取配置。

databricks lakewatch get-datasource-config NAME [flags]

Arguments

NAME

    配置的资源名称,格式 catalogs/{catalog}/datasourceConfig为 。

全球旗帜

DataBricks LakeWatch Get-rule

Important

此功能在 Beta 版中。

获取规则。

通过资源名称返回一条规则。

databricks lakewatch get-rule NAME [flags]

Arguments

NAME

    检测规则的完整资源名称,格式为 rules/{rule_id}。

全球旗帜

DataBricks Lakewatch get-rule-config

Important

此功能在 Beta 版中。

获取目录的规则配置。

返回目录的检测规则配置。

databricks lakewatch get-rule-config NAME [flags]

Arguments

NAME

    配置的资源名称,格式 catalogs/{catalog}/ruleConfig为 。

全球旗帜

Databricks lakewatch 列表-数据源

Important

此功能在 Beta 版中。

列出数据源。

列出 Unity 目录目录中的数据源,可选择缩小至一个架构或按名称筛选。 结果以分页方式显示。 仍在创建或删除的数据源不会被列出。

databricks lakewatch list-datasources CATALOG_NAME [flags]

Arguments

CATALOG_NAME

    用于列出数据源的 Unity 目录目录名称。 必填;每个请求列出单个目录的数据源。

选项

--filter string

    将结果限制为具有指定名称的数据源的过滤表达式, datasource_name 例如 = “my_source”。

--limit int

    要返回的最大结果数。

--page-size int

    单页返回的结果最大数量。

--schema-name string

    Unity 目录架构 catalog_name的名称。

--view DatasourceView

    每个数据源要返回哪些字段。 支持值: DATASOURCE_VIEW_BASIC, DATASOURCE_VIEW_FULL。

全球旗帜

Databricks lakewatch list-rules

Important

此功能在 Beta 版中。

列出规则。

列出规则,并可选择筛选和分页。

databricks lakewatch list-rules CATALOG_NAME [flags]

Arguments

CATALOG_NAME

    用于列出规则的 Unity 目录目录名称。 Required.

选项

--filter string

    使用限制结果的过滤表达式,例如 rule_name = “my_rule” 只返回该名称的规则。

--limit int

    要返回的最大结果数。

--page-size int

    返回的规则数量上限。

--schema-name string

    Unity 目录架构 catalog_name的名称。

--view RuleView

    每条规则要退多少。 支持值: RULE_VIEW_BASIC, RULE_VIEW_FULL。

全球旗帜

DataBricks LakeWatch 更新-警报-配置

Important

此功能在 Beta 版中。

更新目录的警报配置。

更新目录的警报投递配置。

databricks lakewatch update-alert-config NAME UPDATE_MASK [flags]

Arguments

NAME

    配置的资源名称,格式 catalogs/{catalog}/alertConfig为 。

UPDATE_MASK

    字段掩码必须是单个字符串,多个字段用逗号分隔(无空格)。 字段路径相对于资源对象,使用点(.)导航子字段(例如 author.given_name)。 不允许对序列或映射字段中的元素进行规范,因为只能指定整个集合字段。 字段名称必须与资源字段名称完全匹配。

     * 字段掩码表示完全替换。 建议始终明确列出正在更新的字段,避免使用 * 通配符,因为如果未来 API 发生变化,这可能会导致意外结果。

选项

--default-security-alert-collation-window string

    用于将信号汇总为安全警报的窗口。

--default-system-alert-collation-window string

    用于将 SystemEvents 整理为系统警报的窗口。

--etag string

    乐观并发前提条件:如果设置且与资源当前 etag 不匹配,则该更新将作为冲突被拒绝(HTTP 409)。

--json JSON

    要么是内联JSON字符串,要么 @path/to/file.json 是请求正体。

全球旗帜

DataBricks LakeWatch Update-Common-config

Important

此功能在 Beta 版中。

更新目录的通用配置。

更新目录的常用 Lakewatch 配置。

databricks lakewatch update-common-config NAME UPDATE_MASK [flags]

Arguments

NAME

    配置的资源名称,格式 catalogs/{catalog}/commonConfig为 。

UPDATE_MASK

    字段掩码必须是单个字符串,多个字段用逗号分隔(无空格)。 字段路径相对于资源对象,使用点(.)导航子字段(例如 author.given_name)。 不允许对序列或映射字段中的元素进行规范,因为只能指定整个集合字段。 字段名称必须与资源字段名称完全匹配。

     * 字段掩码表示完全替换。 建议始终明确列出正在更新的字段,避免使用 * 通配符,因为如果未来 API 发生变化,这可能会导致意外结果。

选项

--custom-content-pack-path string

    Unity 目录卷路径,用于存储用户创作的自定义内容包,例如 /Volumes/{catalog}/{schema}/{volume}。 没有默认值。 未设置时,仅应用内置内容包。

--custom-presets-path string

    Unity 目录卷路径,用于存储用户创作的自定义预设,例如 /Volumes/{catalog}/{schema}/{volume}。 没有默认值。 未设置时,仅会应用内置预设。

--etag string

    乐观并发前提条件:如果设置且与资源当前 etag 不匹配,则该更新将作为冲突被拒绝(HTTP 409)。

--json JSON

    要么是内联JSON字符串,要么 @path/to/file.json 是请求正体。

--per-resource-permissions-enabled

    用户是否可以对单个资源授予权限,而不仅仅是在文件夹级别。

全球旗帜

Databricks LakeWatch 更新-数据源

Important

此功能在 Beta 版中。

更新数据源。

更新现有数据源。

databricks lakewatch update-datasource NAME UPDATE_MASK CATALOG_NAME SCHEMA_NAME DATASOURCE_NAME SCHEDULE [flags]

Arguments

NAME

    数据源的资源名称,格式 datasources/{datasource_id}为 。 与数据源在 Unity 目录中的位置catalog_name(、、 schema_name和 datasource_name)不同,当数据源或其目录或架构在 Unity 目录中重命名时,名称不会改变。

UPDATE_MASK

    字段掩码必须是单个字符串,多个字段用逗号分隔(无空格)。 字段路径相对于资源对象,使用点(.)导航子字段(例如 author.given_name)。 不允许对序列或映射字段中的元素进行规范,因为只能指定整个集合字段。 字段名称必须与资源字段名称完全匹配。

     * 字段掩码表示完全替换。 建议始终明确列出正在更新的字段,避免使用 * 通配符,因为如果未来 API 发生变化,这可能会导致意外结果。

CATALOG_NAME

    包含数据源的 Unity 目录目录名称。 创建时必须更改,之后无法更改。 读取返回提供的值;目录当前名称在 中报告 effective_catalog_name。

SCHEMA_NAME

    包含数据源的 Unity 目录架构的名称。 创建时必须更改,之后无法更改。 读取返回提供的值;架构当前名称在 中报告 effective_schema_name。

DATASOURCE_NAME

    Unity 目录中数据源的名称,在其架构中唯一。 创建时必需,且可在同一目录和架构内更新。 Get 会将此字段与当前 Unity 目录名称同步,该名称也在 effective_datasource_name中报告。

SCHEDULE

    数据源摄取作业运行的时间表。 数据源无法暂停,因此设置为 false 的请求 schedule.enabled 会被拒绝。 Unity 目录连接数据源不支持连续计划。

选项

--compute-mode DatasourceComputeMode

    数据源摄取作业的计算模式。 支持值: DS_COMPUTE_PERFORMANCE_OPTIMIZED, DS_COMPUTE_STANDARD。

--description string

    数据源的自由格式描述。

--etag string

    乐观并发前提条件:如果设置为非空值且与资源当前 etag 不匹配,则该更新将作为冲突被拒绝(HTTP 409)。

--json JSON

    要么是内联JSON字符串,要么 @path/to/file.json 是请求正体。

--name string

    数据源的资源名称,格式 datasources/{datasource_id}为 。

--run-as-principal string

    数据源运行的用户或服务主体,以用户邮箱或服务主体应用程序 ID 的形式给出。

--warehouse-id string

    运行 Lakewatch 验证创建或更新请求(如源和目标访问检查)检查的 SQL 仓库的 ID。

全球旗帜

DataBricks LakeWatch 更新-数据源-配置

Important

此功能在 Beta 版中。

更新目录的数据源配置。

更新目录的数据源摄取配置。

databricks lakewatch update-datasource-config NAME UPDATE_MASK [flags]

Arguments

NAME

    配置的资源名称,格式 catalogs/{catalog}/datasourceConfig为 。

UPDATE_MASK

    字段掩码必须是单个字符串,多个字段用逗号分隔(无空格)。 字段路径相对于资源对象,使用点(.)导航子字段(例如 author.given_name)。 不允许对序列或映射字段中的元素进行规范,因为只能指定整个集合字段。 字段名称必须与资源字段名称完全匹配。

     * 字段掩码表示完全替换。 建议始终明确列出正在更新的字段,避免使用 * 通配符,因为如果未来 API 发生变化,这可能会导致意外结果。

选项

--default-compute-mode DatasourceComputeMode

    当单个数据源未覆盖数据源导入作业时,应用默认计算模式。 支持值: DS_COMPUTE_PERFORMANCE_OPTIMIZED, DS_COMPUTE_STANDARD。

--default-folder string

    当请求未指定架构时,将新数据源放入此目录中的注册文件夹的架构名称。

--etag string

    乐观并发前提条件:如果设置且与资源当前 etag 不匹配,则该更新将作为冲突被拒绝(HTTP 409)。

--json JSON

    要么是内联JSON字符串,要么 @path/to/file.json 是请求正体。

全球旗帜

Databricks lakewatch 更新规则

Important

此功能在 Beta 版中。

更新规则。

更新现有规则。

databricks lakewatch update-rule NAME UPDATE_MASK CATALOG_NAME SCHEMA_NAME RULE_NAME SEVERITY FIDELITY SCHEDULE OUTPUT [flags]

Arguments

NAME

    资源名称,格式为 rules/{rule_id}。 创建时由服务器分配;更新时必填。

UPDATE_MASK

    要更新的字段集合。 仅修改蒙版中指定的字段。

CATALOG_NAME

    包含该规则的 Unity 目录目录名称。 Required. 创建后无法更改。 读取返回提供的值;目录当前名称在 中报告 effective_catalog_name。

SCHEMA_NAME

    包含该规则的 Unity 目录架构的名称。 Required. 创建后无法更改。 读取返回提供的值;架构当前名称在 中报告 effective_schema_name。

RULE_NAME

    规则在其 Unity 目录架构中的名称。 创建时必填;可在同一目录和架构内更新。 Get 会将此字段与当前 Unity 目录名称同步,该名称也在 effective_rule_name中报告。

SEVERITY

    自由格式严重性标签,如信息性、中等、高或严重。

FIDELITY

    此规则的信号质量。 支持值:[FIDELITY_DEVELOPMENT、FIDELITY_HIGH、FIDELITY_INVESTIGATIVE、FIDELITY_MEDIUM]。

SCHEDULE

    规则执行时。

OUTPUT

    每个信号要记录什么。

选项

--category string

    自由格式规则类别。

--content-resource-id string

    不可变的 UUIDv4 标识作为此规则安装的已创作内容资源。

--deduplication RuleDeduplication

    信号去重模式。 支持的值:DEDUPLICATION_DEFAULT、DEDUPLICATION_DISABLED、DEDUPLICATION_ENABLED。

--deduplication-time-window string

    去重的时间窗口,如1小时、24小时、7天或自动。

--description string

    自由形式的描述。

--etag string

    来自最新读数的乐观并发令牌。

--json JSON

    要么是内联JSON字符串,要么 @path/to/file.json 是请求正体。

--name string

    资源名称,格式为 rules/{rule_id}。

--objective string

    此规则检测内容的详细说明。

--run-as-principal string

    此规则作业运行的主体身份,以用户邮箱或服务主体应用程序 ID 的形式提供。

--runbook string

    长篇操作指南,源自已编写的规则元数据。

--suppress-until-time string

    如果设置,该规则的信号在指定时间之前不会打开新的警报。

全球旗帜

DataBricks LakeWatch Update-rule-config

Important

此功能在 Beta 版中。

更新目录的规则配置。

更新目录的检测规则配置。

databricks lakewatch update-rule-config NAME UPDATE_MASK [flags]

Arguments

NAME

    配置的资源名称,格式 catalogs/{catalog}/ruleConfig为 。

UPDATE_MASK

    字段掩码必须是单个字符串,多个字段用逗号分隔(无空格)。 字段路径相对于资源对象,使用点(.)导航子字段(例如 author.given_name)。 不允许对序列或映射字段中的元素进行规范,因为只能指定整个集合字段。 字段名称必须与资源字段名称完全匹配。

     * 字段掩码表示完全替换。 建议始终明确列出正在更新的字段,避免使用 * 通配符,因为如果未来 API 发生变化,这可能会导致意外结果。

选项

--default-folder string

    当请求未指定架构时,将新规则放入的注册文件夹(在此目录中)的架构名称。

--default-signal-collation-window string

    当规则不设置自身重时,用于信号去重的默认持续时间,例如以紧凑的日、小时、分钟和秒分量5d1h表示,例如 。 没有默认值。 空值则清除该值。

--etag string

    乐观并发前提条件:如果设置且与资源当前 etag 不匹配,则该更新将作为冲突被拒绝(HTTP 409)。

--json JSON

    要么是内联JSON字符串,要么 @path/to/file.json 是请求正体。

全球旗帜

全局标志

--debug

  是否启用调试日志记录。

-h 或 --help

    显示 Databricks CLI、相关命令组或相关命令的帮助。

--log-file 弦

    一个字符串,表示要将输出日志写入到的文件。 如果未指定此标志,则默认会将输出日志写入到 stderr。

--log-format 节目形式

    日志格式类型,text 或 json。 默认值为 text。

--log-level 弦

    一个表示日志格式级别的字符串。 如果未指定,则禁用日志格式级别。

-o, --output 类型

    命令输出类型为 text 或 json。 默认值为 text。

-p, --profile 弦

    要用于运行命令的 ~/.databrickscfg 文件中的配置文件名称。 如果未指定此标志,并且存在命名为 DEFAULT 的配置文件,则使用该配置文件。

--progress-format 节目形式

    显示进度日志的格式: default、 append、 inplace或 json

-t, --target 弦

    如果适用,要使用的捆绑包目标