Azure Databricks on Microsoft Azure 政府

Important

Azure Databricks on Azure 政府 目前处于 Beta 阶段。 要加入,请为 Azure Databricks New GovCloud environment 预览功能注册新的 Azure 政府 订阅。 参见 开始使用测试版。

本文介绍了 Microsoft Azure 政府 上的 Azure Databricks,包括合规控制、如何加入新 Azure 政府 环境的测试版、支持的区域和 URL、数据驻留状态以及支持的系统表。

Azure 政府 概览

Azure 政府 是专为 美国 政府机构及其合作伙伴打造的专用 Microsoft Azure 云。 它与全球 Azure 云在物理上隔离,由经过筛选的美国人员运营,以满足美国联邦、州、地方和部落政府的合规要求。 详情请参见 Microsoft Azure 政府。

Azure 政府 中部署的 Azure Databricks 提供具备合规和安全控制的 Azure Databricks 平台。 它在 Azure 政府 usgovva 和 usgovaz 区域中可用。

每个工作区默认开启合规安全配置文件和增强安全监控,前端和后端连接需要 Azure 专用链接,并且仅在美国政府云区域存储和处理客户内容。

Beta 工作区在 Azure 政府 的一个新环境中运行,该环境与现有的 Azure Databricks 工作区相互独立。 现有工作区不会被迁移。 不允许处理受控非机密信息(CUI)或其他受监管的数据。

Requirements

  • 一个从未包含 Azure Databricks 工作区的 Azure 政府 订阅。 不要注册包含 Azure Databricks 工作区、之前包含后来被删除的 Azure Databricks 工作区,或与 Azure 政府 中现有 Azure Databricks 环境关联的订阅。
  • 在订阅中注册预览功能的权限。

Important

你只负责验证客户定义的输入字段中是否从未输入敏感信息,例如工作区名称、计算资源名称、标记、作业名称、作业运行名称、网络名称、凭据名称、存储帐户名称和 Git 存储库 ID 或 URL。 这些字段可能在符合性边界之外存储、处理或访问。

Compliance

Microsoft Azure 政府 上的 Azure Databricks 还处于测试阶段。 Azure Databricks 正在争取获得这些合规体系的授权。 在授权完成之前,请勿处理受控非机密信息(CUI)或任何其他受这些标准监管的数据。

FedRAMP认证资料包概览

服务概述

  • 提供者:Databricks, Inc.
  • 云服务产品:政府云上的 Databricks(DBX-GC)
  • FedRAMP ID: FR2324740262
  • 认证类型:Rev5
  • 影响等级:D级(原为高)
  • 授权路径:机构
  • 阶段:持续认证,自2025-02-26起认证。 有关当前运营或使用授权数量(ATO/ATU),请参见 FedRAMP市场记录。
  • 服务模式:平台即服务(PaaS)/ 软件即服务(SaaS)
  • 部署模式:政府社区云
  • 业务类别:分析、人工智能(AI)、数据管理
  • 网站:面向联邦政府的 Databricks

Description

Databricks Data + AI 平台是一个统一的、由 AI 驱动的平台,基于湖屋架构构建,为所有数据和治理提供开放、统一的基础,并由数据智能引擎和 Apache Spark™ 驱动,充分理解您数据的独特性。 它使组织能够利用机器学习(ML)和生成式人工智能(包括大型语言模型(LLMs))来处理、治理并从所有数据中提取可操作的洞见。 它将数据工程、分析(SQL)和人工智能工作负载统一,通过自动提取、转换和加载(ETL)、高级查询优化以及AI驱动的数据编目等功能,简化数据管理并加速分析。 平台的数据智能引擎理解组织数据独特的语义和使用模式,提供自然语言访问、定制推荐以及强有力的治理和隐私控制。

认证数据与制品

  • 信任中心: Databricks 信任中心 托管 FedRAMP 认证数据、授权工件以及认证数据共享(CDS)访问。
  • 安全配置指导:安全性与合规。 Databricks 安全与合规文档及平台安全最佳实践/安全配置指导。

包含的服务

按地区划分的服务范围:

关于各项特征的区域差异,请参见 “区域性有限的特征”。

联系人

机器可读概述

政府云端 Databricks 的 FedRAMP 认证包概览也提供 JSON 格式。 下载该 JSON。

开始使用 Beta 版

在你注册之前

使用一个专用且从未用于创建 Azure Databricks 工作区的 Azure 政府 订阅。 请勿注册满足以下条件的订阅:

  • 包含一个现有的 Azure Databricks 工作区。
  • 之前包含一个 Azure Databricks 工作区,后来被删除。
  • 已与现有 Azure Databricks 环境在 Azure 政府 中关联。

测试版通过订阅级别的功能注册来决定哪个环境接收工作区操作。 注册新环境功能后,您在该订阅中创建的新 Azure Databricks 工作区会被路由到新环境。 要注册该功能,您需要获得在订阅中注册预览功能的权限。 详细信息,请参阅在 Azure 订阅中设置预览功能。

Important

在订阅中创建任何 Azure Databricks 工作区之前,您必须注册 Azure Databricks 新 GovCloud 环境功能。 在功能注册之前创建的工作区不是在新环境中创建的。

注册预览功能

  1. 登录 Azure 政府 门户。
  2. 打开 订阅。
  3. 选择您希望用于测试版的 Azure 政府 订阅。
  4. 在 设置中,选择 预览功能。
  5. 搜索 Azure Databricks 新 GovCloud 环境功能。
  6. 选择该功能,然后选择 “注册”。
  7. 等注册状态显示 已注册时再说。
  8. 使用标准的 Azure 政府 工作区创建体验创建新的 Azure Databricks 工作区。 请参阅 使用 Azure 门户 部署工作区。

Note

订阅只能关联 Azure 政府 中的一个 Azure Databricks 环境:现有环境或新环境。 当订阅用于创建 Azure Databricks 工作区,或在现有环境上注册了现有环境功能时,订阅就会与现有环境关联。 Azure 资源管理器 利用此关联来决定工作区操作的路由位置,因此需要一个单一且明确的目标。 如果您在已与现有环境关联的订阅上注册了 Azure Databricks 新 GovCloud 环境功能,则为保护现有资源,工作区创建和其他工作区操作将被阻止。

解决注册冲突

如果在 Azure 政府 中与现有 Azure Databricks 环境相关的订阅创建或其他工作区操作失败,该订阅也可能同时注册为 Azure Databricks 新 GovCloud 环境功能。 订阅不能同时关联两个环境。 Azure 资源管理器 要求工作区操作只有一个目标,因此它会阻止这些操作以保护现有资源。

不要重试创建工作区。 请改为删除冲突的注册项。

Warning

除非 Microsoft 支持部门 指示,否则不要从具有活跃测试版工作区的订阅中注销该功能。

  1. 在 Azure 政府 门户中,进入“订阅”>您的订阅>设置>预览功能,检查 Azure Databricks 新 GovCloud 环境是否已注册。 参见 列出预览功能。

  2. 将 Azure CLI 设置为 Azure 政府 并登录:

    az cloud set --name AzureUSGovernment
    az login
    
  3. 取消注册该功能。 将 <subscription-id> 替换为订阅 ID:

    az feature unregister --namespace Microsoft.Databricks --name UseEverGreenControlPlane --subscription <subscription-id>
    

    如需改用门户,请参阅 取消注册预览功能。

  4. 确认该功能已取消注册:

    az feature show --namespace Microsoft.Databricks --name UseEverGreenControlPlane --subscription <subscription-id>
    
  5. 重试工作区操作。

如果您无法确定该订阅是否曾用于 Azure Databricks,或者冲突仍然存在,请按照 获取支持 中的说明联系支持。

要加入测试版,请注册一个从未包含 Azure Databricks 工作区的新 Azure 政府 订阅。

Beta 限制

测试期间:

  • 访问权限在订阅级别启用。
  • 订阅不得有当前或之前的 Azure Databricks 工作区使用情况。
  • 注册订阅中的新工作区使用新环境。
  • 现有工作区不会被迁移。
  • 不支持生产和受控非机密信息(CUI)工作负载。

现有工作区

现有工作区仍与其创建时的环境关联。 Beta 注册不会迁移现有的工作区、笔记本、数据、配置或其他工作区资源。 注册新环境功能不是迁移方法:请不要在包含现有或之前删除的 Azure Databricks 工作区的订阅上启用该功能。

获取支持

使用标准的 Azure 政府 支持流程。 在支持请求中,请说明受影响的订阅或工作区正在参与新版 Azure Databricks on Microsoft Azure 政府 环境的测试版。 请包括订阅 ID、工作区名称、ID 和 URL、区域、功能注册状态、错误信息以及您尝试操作的操作。

合规安全概述

合规安全配置文件默认在 Azure 政府 上的所有 Azure Databricks 工作区上启用。 合规安全配置文件包含额外的监控功能、节点间加密的强制实例类型、加固的计算镜像以及其他有助于满足合规要求的功能。 自动集群更新 和 增强安全监控 也会自动启用。

合规安全配置文件强制使用支持Azure 虚拟网络加密的虚拟机实例类型,该加密在集群节点之间实现硬件实现的网络加密。 有关要求,请参见 合规性安全配置文件要求。

Azure Databricks on Azure 政府 区域和 URL

Azure Databricks on Azure 政府 可在 usgovaz 和 usgovva 区域中使用。 请参阅 Azure Databricks 区域。

Azure Databricks on Azure 政府 URL 与商业版 Azure Databricks URL 不同。 在 Azure 政府 上使用 Azure Databricks 的以下 URL:

  • 账户控制台 URL 及 REST API 的基础 URL: https://accounts.usgov.databricks.azure.us/
  • 工作区级 REST API 的 Workspace URL 和基础 URL: https://adb-<workspace-id>.<random-number>.usgov.databricks.azure.us/

创建工作区后,您可以在 Azure 政府 门户中的工作区概览页面确认其 URL。

使用账户控制台 URL 建立您的第一个账户管理员。有关步骤,请参阅“建立您的第一个账户管理员”。要完成这些步骤,您必须是具有提升访问权限的 Microsoft Entra ID 全局管理员。 详情请参阅 提升全局管理员访问权限。

数据驻留

Azure 政府工作区上的Azure Databricks始终强制执行数据驻留。 客户内容仅存储和处理在美国政府云区域内。 跨地理区域处理设置不适用于 Azure 政府 工作区,也无法用于处理美国政府云区域以外的数据。

支持的系统表

在全新的 Azure Databricks on Azure 政府 环境(Beta)中,以下系统表可用于监控、治理和成本管理:

  • system.access schema: assistant_events, audit, inbound_network, outbound_network, workspaces_latest
  • system.billing schema: list_prices, usage
  • system.compute schema: clusters, node_timeline,node_types,warehouse_events,warehouses
  • system.lakeflow 架构:job_run_timeline、job_tasks、jobs、pipeline_update_timeline、job_task_run_timeline、pipelines
  • system.mlflow 架构:experiments_latest,run_metrics_history,runs_latest
  • system.query 架构: history
  • system.storage schema: predictive_optimization_operations_history, table_auto_upgrade_operations_history

请参阅 系统表参考。