在 Databricks 市场中列出数据产品

本文介绍如何成为 Databricks 市场提供商,以及如何为数据产品创建 Databricks 市场列表。

开始之前

若要在 Databricks 市场中列出产品,必须同意提供商策略,并且帐户和工作区必须满足某些要求。

策略

若要在市场交易所中列出数据产品,必须同意市场提供商策略

帐户和工作区要求:

Databricks 市场使用增量共享来管理数据产品的安全共享。 反过来,增量共享要求为 Unity Catalog 启用 Databricks 工作区。 因此,Azure Databricks 帐户和工作区必须满足以下要求:

  • 高级计划上的 Azure Databricks 帐户。
  • 启用了 Unity Catalog 的 Azure Databricks 工作区。 请参阅为工作区启用 Unity Catalog。 无需为所有工作区启用 Unity Catalog。 只需创建一个即可管理市场列表。

如果工作区满足这些条件,则用户将能够查看市场主页。 创建和管理列表需要其他权限。 以下各节中枚举了这些内容。 如果根本不希望用户能够查看市场主页,请联系 Azure Databricks 帐户团队。

权限要求:

若要注册为仅限专用交换的提供商,你必须是 Azure Databricks 帐户管理员。请参阅申请成为 Databricks 市场提供商

申请成为 Databricks 市场提供商

注册成为 Databricks 市场提供商的方式取决于是打算在公共市场中创建列表还是仅通过专用交易所创建列表。 在专用交换中,只有属于交换成员的使用者才能浏览、查看和请求访问列表。 请参阅 在 Databricks 市场中创建和管理专用交换

若要成为仅限专用交换的提供商,可以使用提供商控制台进行注册。 若要创建公共列表,请通过 Databricks 数据合作伙伴计划应用。

申请成为可以创建公共列表的提供商

注意

如果你的组织已参与 Databricks 合作伙伴计划,并且你有兴趣成为市场提供商,请跳过以下说明并改为联系 partnerops@databricks.com

  1. “Databricks 数据合作伙伴计划”页上,单击“立即申请”。

  2. 在下一页上,单击“立即申请”。

  3. 输入你的电子邮件地址,然后单击“立即申请”。

  4. 填写申请表单。

    在应用程序表单的底部,系统会询问你感兴趣的 Databricks 合作伙伴计划。 选择市场。

Databricks 合作伙伴团队将与你联系以完成申请过程。 获得批准后,提供商控制台将在已启用 Unity-Catalog 的 Azure Databricks 工作区中可用。 若要访问提供商控制台,用户必须具有市场管理员角色。

注册为专用交换提供商

若要注册为仅限专用交换的提供商,请使用提供商控制台中的“提供商入门”页。

市场主页

若要注册为专用交换提供商,请执行以下操作:

  1. 作为 Azure Databricks 帐户管理员,登录到 Azure Databricks 工作区。

  2. 在边栏中,单击“市场图标 市场”

  3. 在“市场”页的右上角,单击“提供商控制台”。

  4. 如果你的帐户尚未载入为提供商,提供商控制台将显示“提供商入门”页,该页面将引导你完成将帐户启用为专用交换提供商的过程。

  5. 在“接受市场条款”下,单击“Databricks 市场专用提供商条款”链接以查看条款。

  6. 若要接受条款,请单击“接受专用提供商条款”按钮。

    这会将你转到新浏览器选项卡中的 Azure Databricks 帐户控制台,并打开“设置”>“功能启用”选项卡。如果尚未登录,可能需要登录到帐户控制台。

    注意

    如果有多个 Azure Databricks 帐户,则应确认你正在登录到包含在其中访问提供商控制台的工作区的帐户。

  7. 在“功能启用”选项卡上,启用“市场专用 Exchange 提供商”选项。

  8. 返回到工作区中的“提供商控制台”,然后单击“刷新页面”。 请勿使用浏览器的刷新页面功能。

  9. 几分钟后,将显示“分配市场管理员”按钮。 单击它以在帐户控制台中打开用户页面。 在“角色”选项卡上,启用“市场管理员”

    可以选择将市场管理员角色分配给其他用户或用户。 如果这样做,他们可以从此继续该过程。 如果将角色分配给自己,可以继续该过程。

  10. 返回到工作区中的“提供商控制台”,然后单击“刷新页面”。 请勿使用浏览器的刷新页面功能。

  11. 几分钟后,将显示“创建提供商配置文件”按钮。 单击它以打开“创建配置文件”页。

    注意

    系统可能需要几分钟时间才能完成市场管理员角色的分配。 如果继续创建提供商配置文件并看到一个错误,指示你没有市场管理员角色,请再等待几分钟,刷新页面,然后重试。

  12. 若要创建提供商配置文件,请按照“创建市场提供商配置文件”中的说明操作,从步骤 5 开始。

  13. 创建第一个专用交换。 请参阅 在 Databricks 市场中创建和管理专用交换

分配市场管理员角色

如果注册为专用交换提供商,则作为注册过程的一部分执行此任务。 可以跳过本部分中的说明,除非希望以市场管理员身份在 Azure Databricks 帐户中启用其他用户。

获批成为市场提供商后,必须至少向一个用户授予市场管理员角色。 此角色是访问市场提供商控制台以及创建和管理市场提供商配置文件和列表所必需的。 Azure Databricks 帐户管理员可以授予该角色。

  1. 作为帐户管理员,登录到帐户控制台
  2. 单击“帐户控制台用户管理图标 用户管理”
  3. 查找并单击用户名。
  4. 在“角色”选项卡上,启用“帐户管理员”。

创建市场提供商配置文件

提供商配置文件使你有机会告诉潜在使用者你是谁,并在单个品牌或标识下对数据产品进行分组。 通常,数据提供程序有一个配置文件,但可以列出多个数据产品。 如果需要多个配置文件,请联系 Azure Databricks 帐户团队。

如果你是公共提供商,可以在提供商应用程序获得批准后创建配置文件。 如果你是仅限专用交换的提供商,请创建配置文件作为注册过程的最后一步,从此处提供的过程的第 5 步开始。

需要权限:市场管理员角色

创建配置文件:

  1. 登录到将用于创建共享和列表的 Azure Databricks 工作区。
  2. 在边栏中,单击“市场图标 市场”
  3. 在“市场”页的右上角,单击“提供商控制台”。
  4. 在“提供商控制台”页的“配置文件”选项卡上,单击“创建配置文件”。
  5. 输入以下信息。 所有字段都是必填字段:
    • 提供商名称:使用使用者可识别的名称。 使用者可以按提供商名称筛选列表。
    • 徽标:拖放或浏览到要在列表中使用的徽标的图像文件。
    • 说明:清晰准确地描述组织。 包括详细信息,例如通常服务或代表的行业,以及通常列出的数据资产类型。 使用者在查看你的配置文件和所有商品时,可以看到此说明。
    • 组织网站:指向组织网站的链接。 使用者可按此链接详细了解你的组织。 此链接将显示在所有列表上。
    • 业务电子邮件:输入 Databricks 可用于向你发送通知的电子邮件地址。 使用者看不到此信息。
    • 支持电子邮件:输入使用者可用于请求支持的电子邮件地址。 此链接将显示在所有列表上。
    • 服务条款链接:此链接显示在你的所有列表上。 可以通过在列表级别输入其他链接来替代此链接。
    • 隐私策略:此链接显示在你的所有列表上。 可以通过在列表级别输入其他链接来替代此链接。
  6. 保存配置文件。

当你是市场提供商时,如果其中任何一个信息发生更改,请更新你的配置文件。 配置文件必须准确且保持最新。

创建共享

为增量共享启用 Azure Databricks 帐户并为 Unity Catalog 启用 Azure Databricks 工作区后,可以创建用于在市场中共享数据的共享

共享是增量共享对象。 它是作为一个单元可共享和安全保护的表、视图、卷和 AI 模型的集合。 表可与任何使用者共享。 卷、AI 模型和笔记本只能与有权访问为 Unity Catalog 启用的 Azure Databricks 工作区的使用者共享。

注意

若要列出免费且即时可供使用者使用的数据产品,必须在创建列表时包含共享。 另一方面,要求批准使用者请求的列表不要求在列表中包括共享。 可以在完成任何业务协议并批准使用者的请求后创建共享。 如果这是你想要执行的操作,请跳到创建列表

  1. 将数据表、视图或卷添加到 Unity Catalog 元存储。

    若要了解如何在 Unity Catalog 中创建这些数据资产,请参阅:

  2. 创建共享并将这些数据资产添加到共享。

    若要了解如何创建和更新共享,请参阅创建和管理增量共享的共享

    所需的权限:

    • 若要创建共享,你必须是元存储管理员,或者是对要从中注册共享数据的 Unity Catalog 元存储拥有 CREATE SHARE 特权的用户。
    • 若要将表、卷或视图添加到共享,你必须是共享所有者,对包含数据资产的架构拥有 USE SCHEMA 特权,并且对数据资产拥有 SELECT 特权。 必须保留 SELECT 特权才能继续共享资产。 如果失去该特权,则收件人无法通过共享访问资产。 因此,Databricks 建议使用组作为共享所有者。

    有关共享表、卷和视图的要求(包括计算和数据类型要求)的更多详细信息,请参阅创建和管理用于增量共享的共享

创建共享后,可以创建或更新引用该共享的市场列表。

笔记本示例:示例笔记本

除了表、卷和视图,Databricks 强烈建议还要共享 Azure Databricks 笔记本。 笔记本是演示示例用例和可视化表属性的好方法。 你的列表可以包含示例笔记本预览,使用者可以将其导入其工作区。

列表中的笔记本预览

有关创建笔记本的详细信息,请参阅 Databricks 笔记本简介。 如果需要有关创建有效示例笔记本的帮助,请联系 dataproviders@databricks.com

注意

示例笔记本在列表 UI 中的显示和预览无法 Chrome Incognito 模式下工作。

以下示例演示如何创建有效的示例笔记本。 它包含有关为列表创建有效示例笔记本的指南。

适用于数据提供商的市场入门笔记本

获取笔记本

创建列表

市场列表使使用者能够浏览、选择和访问你的数据产品。 所有数据集列表将自动可与 Azure Databricks 工作区上的使用者和第三方平台(如 Power BI、pandas 和 Apache Spark)上的使用者共享。

注意

某些数据资产(如 Databricks 卷)只能与有权访问已启用 Unity Catalog 的 Databricks 工作区的使用者共享。 但是,表可以与所有使用者共享。 如果在共享中包含表和卷,则无权访问启用了 Unity Catalog 的工作区的使用者只能访问表格数据。

所需权限市场管理员角色。 如果要创建和管理个性化列表(那些在完成之前需要提供商批准的列表),则还必须具有 CREATE RECIPIENTUSE RECIPIENT 权限。 请参阅 Unity Catalog 特权和安全对象

若要创建列表,请:

  1. 登录到你的 Azure Databricks 工作区。

  2. 在边栏中,单击 市场图标“市场”。

  3. 在“市场”页的右上角,单击“提供商控制台”。

  4. 在“提供商控制台”页的“列表”选项卡上,单击“创建列表”。

  5. 在“新建列表”页面上,输入你的列表信息。

    有关说明,请参阅列表字段和选项

可以在发布之前保存草稿并查看预览。 单击“发布”时,该列表会立即显示在市场中。

列表字段和选项

本部分介绍每个“新建列表”页字段和选项。 它还提供有关创建有效列表的建议。

  • 列表名称:每个列表都应具有唯一的名称,可帮助使用者了解其提供的内容。

    建议:

    • 少于 100 个字符。
    • 标题大小写(首字母大写)。

    示例

    2022 年美国人口普查

  • 简短说明:在列表名称上展开的数据集的简短信息性说明。 此字段显示在列出磁贴和使用者搜索结果中。

    建议:

    • 少于 100 个字符。 不能超过 160 个字符。
    • 使用句首大写形式(仅大写第一个单词和所有专有名词或首字母缩略词)。

    示例

    有关 2020 年美国人口统计和人口学的一般信息

  • 提供商配置文件:组织或公司名称。 从下拉菜单中选择。 作为合作伙伴组织审批过程的一部分,配置文件将由 Azure Databricks 创建。

  • 服务条款:链接到服务条款的 URL,以便正确使用共享数据资产。

    服务条款必须可公开访问,且无需登录。

  • 公共市场:所有使用者都可以在公共 Databricks 市场中浏览和查看列表。

  • 私人交易所:只有属于你或其他市场管理员创建的私人交易所成员的使用者才能浏览、查看和请求列表。 请参阅在 Databricks 市场中创建和管理私人交易所

    必须从下拉列表中选择至少一个私人交易所。

  • 数据立即可用:选择此选项可让使用者直接从市场访问共享数据,无需批准(但需要接受服务条款)。 从下拉菜单中选择一个共享。 此选项通常用于示例数据集和公共数据集。

    如果尚未创建要包含的共享,请单击下拉菜单底部的“+ 创建新共享”。 将转到“创建新共享”对话框。

    如果在此处选择或创建的共享不包含任何数据或资产,则会显示一条消息,其中包含“添加数据”按钮。 单击它以转到目录资源管理器,可在其中向共享添加表。

    有关创建共享和向共享添加表的详细信息(包括所需权限),请参阅创建和管理增量共享的共享

  • 要求批准使用者请求:选择此选项要求在使用者访问共享数据之前获得批准。 如果在向使用者提供数据产品之前需要业务协议,请使用此选项。 必须管理与 Databricks 市场外部使用者的业务协议。 可以使用使用者电子邮件地址启动通信。

    可以在“提供商控制台”>“使用者请求”选项卡上查看和处理使用者请求。请参阅在 Databricks 市场中管理数据产品的请求

  • 类别:最多选择五个可供使用者用来筛选列表的类别。 类别还会在列出磁贴和详细信息页上显示为标记。

  • 添加属性:属性是可选的。 它们包括地理覆盖范围、更新频率、时间范围、数据源和数据集大小等字段。 添加属性可帮助使用者详细了解数据产品。 根据需要选择多个属性。

  • 说明:数据的详细说明应包括列表中提供的数据和资产的摘要。

    使用 Markdown 语法(即粗体、斜体、项目符号和编号列表)支持富文本基本格式。 若要预览内容,请使用“说明”字段工具栏最右侧的按钮。

    建议:

    • 包括优势和用例。
    • 提供有关如何使用数据和示例用例的简短指导。
    • 包括示例数据集和字段名称。
    • 指定架构、表和列。
    • 使用一致的标点和语法。
    • 在段落之间添加换行符。
    • 检查拼写和语法。
    • 不要重复在“添加属性”下定义的属性。

    示例

    概述:

    美国人口和住宅普查是 2020 年美国人口和房屋的官方统计。 它提供了社会和经济快照。 2020 年人口普查于 2021 年 3 月 6 日举行,这是第 23 次人口普查。

    用例:

    • 根据年龄和性别等人口统计变量对客户进行分组。
    • 为特定使用者组自定义产品/服务。

    此数据集中包含的信息:

    • 人口估计
    • 人口构成(出生、死亡、移民)
    • 此数据可以按年龄、性别和种族等特征以及国家、州和县位置进行排序
  • 示例笔记本:Databricks 强烈建议共享示例笔记本,以演示如何最好地使用数据。 最多添加 10 个笔记本。 必须保存列表并返回到该列表,才能上传示例笔记本。

    有关创建笔记本的详细信息,请参阅笔记本示例:示例笔记本Databricks 笔记本简介

  • 文档:链接到文档的 URL,可帮助使用者使用或了解数据集(例如数据集字典)。

  • 隐私策略:链接到隐私策略的 URL。

    隐私策略必须可公开访问,且无需登录。

使用系统表分析使用者活动(公共预览版)和仪表板

如果已在帐户中启用系统表,则可以使用市场系统表来分析列表上的使用者活动。 有关详细信息,请参阅市场系统表引用

还可以使用提供程序分析仪表板监视商品浏览量、请求数和安装数。 仪表板从系统表中拉取数据。 请参阅使用仪表板监视商品使用指标

资源配额

Unity Catalog 对所有安全对象强制实施资源配额,包括每个元存储的商城列表和每个帐户的提供程序。 这些配额列在资源限制中。 如果预期超过这些资源限制,请联系 Azure Databricks 帐户团队。

可以使用 Unity Catalog 资源配额 API 来监视配额使用情况。 请参阅监视 Unity Catalog 资源配额的使用情况

后续步骤