Compartilhar via

Atualizar um espaço de trabalho do Azure Databricks para o Catálogo do Unity

Esta página fornece uma visão geral de como atualizar um workspace sem o Unity Catalog para o Unity Catalog. Ele também fornece instruções para migrar do metastore do Hive local do espaço de trabalho legado.

Visão geral das etapas de atualização

Para atualizar para o Catálogo do Unity, você deve:

  1. Providencie identidades (usuários, grupos e entidades de serviço) diretamente para sua conta do Azure Databricks, se ainda não estiver fazendo isso. Desative qualquer provisionamento de identidade no nível do espaço de trabalho.
  2. Converta um grupo local de workspace em grupos de nível de conta. O Catálogo do Unity centraliza o gerenciamento de identidade no nível da conta.
  3. Anexe o espaço de trabalho a um metastore do Catálogo do Unity. Se não houver um metastore para a região do workspace, um administrador de conta deve criar um.
  4. Atualize tabelas e exibições gerenciadas no metastore do Hive para o Catálogo do Unity.
  5. Conceda aos usuários, grupos ou entidades de serviço no nível da conta acesso às tabelas atualizadas.
  6. Atualize as consultas e os trabalhos para fazer referência às novas tabelas do Catálogo do Unity em vez das antigas tabelas do metastore do Hive.
  7. Desabilite o metastore do Hive. Confira Desabilitar o acesso ao metastore do Hive usado pelo espaço de trabalho do Azure Databricks.

O UCX, um projeto do Databricks Labs, fornece ferramentas que ajudam você a atualizar seu espaço de trabalho que não é do Catálogo do Unity para o Catálogo do Unity. O UCX é uma boa opção para migrações de maior escala. Veja Usar os utilitários UCX para atualizar seu workspace para o Catálogo do Unity.

Antes de começar

Antes de começar, você deve se familiarizar com os conceitos básicos do Catálogo do Unity, incluindo metastores e armazenamento gerenciado. Veja O que é o Catálogo do Unity?.

Você também deve confirmar que atende aos seguintes requisitos:

  • Para a maioria das etapas de instalação, você deve ser um administrador de conta do Azure Databricks. Para qualquer tarefa a seguir para a qual há outros requisitos de permissão, eles são listados na documentação específica da tarefa.

    O primeiro administrador de conta do Azure Databricks deve ser um administrador global do Microsoft Entra ID no momento em que fizer logon no console da conta do Azure Databricks. Após o primeiro login, esse usuário se torna um administrador da conta do Azure Databricks e não precisa mais da função de Administrador Global do Microsoft Entra ID para acessar a conta do Azure Databricks. O primeiro administrador da conta pode atribuir usuários no locatário do Microsoft Entra ID como administradores de conta adicionais (que, por sua vez, podem atribuir mais administradores de conta). Administradores de conta adicionais não exigem funções específicas no Microsoft Entra ID.

  • Os espaços de trabalho anexados ao metastore devem estar no Plano Premium do Azure Databricks.

Provisionar usuários, grupos e entidades de serviço para sua conta

O Catálogo do Unity faz referência a identidades no nível da conta. Antes de anexar um metastore ao seu workspace, faça o seguinte:

  • Se você estiver usando o SCIM para provisionar usuários, grupos e entidades de serviço do seu IdP para seu workspace, desative-o e configure o provisionamento para sua conta do Azure Databricks. Consulte Atribuir usuários ao Azure Databricks e Identidades.

  • Atualize qualquer automação que tenha sido configurada para gerenciar usuários, grupos e entidades de serviço, como conectores de provisionamento do SCIM e automação do Terraform, para que eles se refiram a pontos de extremidade de conta em vez de pontos de extremidade de workspace. Confira Provisionamento do SCIM no nível da conta e do workspace.

Converter grupos locais de workspace em grupos no nível da conta

Veja Migrar grupos locais de workspace para grupos de contas.

Anexar um espaço de trabalho a um metastore

Se o workspace não estiver habilitado para o Catálogo do Unity (anexado a um metastore), a próxima etapa dependerá de você ter um metastore do Catálogo do Unity definido para sua região de workspace:

Atualizar tabelas em seu metastore do Hive para tabelas do Catálogo do Unity

Se o workspace estava operacional antes de ser habilitado para o Unity Catalog, ele possui um metastore do Hive que provavelmente contém dados que você deseja continuar a usar. O Databricks recomenda que você atualize as tabelas gerenciadas pelo metastore do Hive para o metastore do Catálogo do Unity.

Você pode atualizar gradualmente federando seu metastore do Hive. Veja a próxima seção.

Você pode atualizar tabelas diretamente usando as instruções em Atualizar um workspace do Azure Databricks para o Catálogo do Unity.

(Opcional) Federar-se ao seu metastore do Hive para continuar a trabalhar com ele

Se o workspace tiver um metastore do Hive que contenha dados que você deseja continuar a usar e optar por não seguir a recomendação para atualizar todas as tabelas gerenciadas pelo metastore do Hive para o metastore do Catálogo do Unity, você poderá continuar a trabalhar com dados no metastore do Hive federando-o como um catálogo estrangeiro no Catálogo do Unity. Confira Federação de metastore do Hive: habilite o Unity Catalog para gerenciar tabelas registradas em um metastore do Hive.

Conceder acesso a tabelas atualizadas ou federadas

Conceda aos usuários, grupos ou entidades de serviço no nível da conta acesso às novas tabelas. Consulte Gerenciar privilégios no Catálogo do Unity.

Atualizar consultas e trabalhos para operar com suas tabelas atualizadas e caminhos para os dados

Enquanto estiver fazendo a transição do metastore do Hive local do espaço de trabalho para o Catálogo do Unity, você pode continuar usando consultas e trabalhos que fazem referência aos dados registrados no metastore do Hive, usando a federação do metastore do Hive (recomendado) ou a sintaxe descrita em Trabalhar com o metastore do Hive legado junto com o Catálogo do Unity. No entanto, eventualmente, você deve atualizar todas as consultas e trabalhos para usar tabelas e sintaxe do Catálogo do Unity.

Da mesma forma, atualize consultas e trabalhos que usam acesso a arquivos baseado em caminho para que usem os volumes do Catálogo do Unity.

Para obter recomendações detalhadas, consulte Atualizar trabalhos ao atualizar espaços de trabalhos legados para o Catálogo do Unity.