Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Esse artigo descreve como configurar a Federação do Lakehouse para executar consultas federadas em dados do Databricks em outro workspace do Databricks. Para saber mais sobre a Federação do Lakehouse, consulte O que é a Federação do Lakehouse?.
Importante
O Databricks-to-Databricks Lakehouse Federation é uma ferramenta eficaz para executar consultas em dados que são gerenciados pelo metastore Hive ou AWS Glue de outro workspace do Databricks. Para a maioria dos outros cenários, outros fluxos de trabalho do Azure Databricks são mais eficientes:
- Se os workspaces do Azure Databricks compartilharem o mesmo metastore do Catálogo do Unity, você poderá gerenciar consultas entre workspaces usando consultas padrão do Catálogo do Unity e ferramentas de governança de dados.
- Se você quiser acesso somente leitura aos dados em um workspace do Databricks anexado a um metastore diferente do Catálogo do Unity, seja em sua conta do Azure Databricks ou não, o Compartilhamento Delta é uma opção melhor.
Não é necessário configurar a Federação Lakehouse em nenhum desses cenários.
Para se conectar a um catálogo do Data em outro workspace usando a Federação do Lakehouse, você precisa criar o seguinte no metastore do Catálogo do Unity no Azure Databricks:
- Um cluster ou SQL warehouse em um workspace do Databricks.
- Uma conexão com o cluster ou o SQL warehouse.
- Um catálogo estrangeiro no metastore do Catálogo do Unity que espelha o outro catálogo do Databricks acessível do cluster ou do SQL warehouse para que você possa usar a sintaxe de consulta do Catálogo do Unity e as ferramentas de governança de dados para gerenciar o acesso do usuário do Azure Databricks aos dados.
Antes de começar
Requisitos do workspace:
- Workspace habilitado para o Catálogo do Unity.
Requisitos de computação:
- Conectividade de rede do recurso de computação para os sistemas de banco de dados de destino. Confira Recomendações de rede para a Federação de Lakehouse.
- A computação do Azure Databricks deve usar o Databricks Runtime 13.3 LTS ou superior e modo de acesso Standard ou Dedicado.
- Os sql warehouses devem ser profissionais ou sem servidor e devem usar 2023.40 ou superior.
Permissões necessárias:
- Para criar uma conexão, você deve ser um administrador de metastore ou um usuário com o privilégio de
CREATE CONNECTION
no metastore do Catálogo do Unity anexado ao workspace. - Para criar um catálogo estrangeiro, você deve ter a permissão de
CREATE CATALOG
no metastore e ser o proprietário da conexão ou ter o privilégio deCREATE FOREIGN CATALOG
na conexão.
Requisitos de permissão adicionais são especificados em cada seção baseada em tarefa a seguir.
Você também deve ter um cluster ativo ou SQL warehouse no workspace do Azure Databricks que você está usando para configurar a conexão.
Criar uma conexão
Uma conexão especifica um caminho e credenciais para acessar um sistema de banco de dados externo. Para criar uma conexão, você pode usar o Explorador do Catálogo ou o comando SQL CREATE CONNECTION
em um notebook do Azure Databricks, ou o editor de consulta do Databricks SQL.
Observação
Você também pode usar a API REST do Databricks ou a CLI do Databricks para criar uma conexão. Consulte POST /api/2.1/unity-catalog/connections e Comandos do Catálogo do Unity.
Permissões necessárias: administrador ou usuário do metastore com o privilégio de CREATE CONNECTION
.
Explorador do Catálogo
No workspace do Azure Databricks, clique no
Catálogo.
Na parte superior do painel Catálogo, clique no ícone
Adicionar e selecione Adicionar uma conexão no menu.
Como alternativa, na página Acesso rápido, clique no botão Dados externos >, vá até a guia Conexões e clique em Criar conexão.
Na página Noções básicas sobre conexão do assistente Configurar conexão, insira um Nome de conexão amigável.
Selecione um Tipo de Conexão do Databricks.
(Opcional) Adicione um comentário.
Clique em Próximo.
Na página Autenticação , insira as seguintes propriedades de conexão para a outra instância do Databricks:
- Host: nome da instância do workspace. Para saber como obter o nome da instância do workspace, consulte Obter identificadores para objetos do workspace.
- Token de acesso pessoal: um token de acesso pessoal do Azure Databricks que permite o acesso ao workspace de destino. Para saber como criar um token, confira Autenticação de token de acesso pessoal do Azure Databricks. Para conexões, o Databricks recomenda usar um token de acesso pessoal para uma entidade de serviço.
- Caminho HTTP: o caminho HTTP para seu SQL warehouse. Para obter o caminho, vá para SQL > SQL Warehouses na barra lateral, selecione o SQL warehouse, vá para a guia Detalhes da conexão e copie o valor do caminho HTTP.
Clique em Criar conexão.
Na página de noções básicas do Catálogo, insira o nome do catálogo no outro workspace do Azure Databricks que pode ser mapeado para um objeto de catálogo neste metastore.
(Opcional) Clique em Testar conectividade para confirmar se está funcionando.
Clique em Criar catálogo.
Na página Access, selecione os workspaces nos quais os usuários podem acessar o catálogo que você criou. Você pode selecionar Todas as áreas de trabalho têm acesso ou clicar em Atribuir aos workspaces, selecionar as áreas de trabalho e então clicar em Atribuir.
Altere o Proprietário que poderá gerenciar o acesso a todos os objetos do catálogo. Comece a digitar uma entidade de segurança na caixa de texto e clique na entidade de segurança nos resultados retornados.
Conceda Privilégios no catálogo. Selecione o botão Conceder:
- Especifique as Entidades de segurança que terão acesso aos objetos do catálogo. Comece a digitar uma entidade de segurança na caixa de texto e clique na entidade de segurança nos resultados retornados.
- Selecione as Predefinições de privilégio a conceder a cada usuário. Todos os usuários da conta recebem
BROWSE
como padrão.- Selecione Leitor de Dados no menu suspenso para conceder privilégios
read
em objetos no catálogo. - Selecione Editor de Dados no menu suspenso para conceder os privilégios
read
emodify
em objetos no catálogo. - Selecione manualmente os privilégios a serem concedidos.
- Selecione Leitor de Dados no menu suspenso para conceder privilégios
- Selecione Conceder.
Clique em Próximo.
Na página Metadados, especifique os pares chave-valor dos rótulos. Para obter mais informações, consulte Aplicar etiquetas a objetos securitizáveis do Catálogo Unity.
(Opcional) Adicione um comentário.
Clique em Salvar.
SQL
Execute o seguinte comando em um bloco de anotações ou no editor de consultas SQL do Databricks, substituindo o seguinte:
-
<connection-name>
: nome amigável para a conexão que você está criando. -
<workspace-instance>
: a instância do workspace de destino. Para saber como obter o nome da instância do workspace, consulte Obter identificadores para objetos do workspace. -
<sql-warehouse-path>
: O caminho HTTP para seu SQL warehouse. Para obter o caminho, vá para SQL > SQL Warehouses na barra lateral, selecione o SQL warehouse, vá para a guia Detalhes da conexão e copie o valor do caminho HTTP. -
<personal-access-token>
: um token de acesso pessoal do Azure Databricks que permite o acesso ao workspace de destino. Para saber como criar um token, confira Autenticação de token de acesso pessoal do Azure Databricks. Para conexões, o Databricks recomenda que você use o token de acesso pessoal de uma entidade de serviço.
CREATE CONNECTION <connection-name> TYPE databricks
OPTIONS (
host '<workspace-instance>',
httpPath '<sql-warehouse-path>',
personalAccessToken '<personal-access-token>'
);
Recomendamos usar segredos do Azure Databricks em vez de cadeias de caracteres de texto não criptografado para valores confidenciais, como credenciais. Por exemplo:
CREATE CONNECTION <connection-name> TYPE databricks
OPTIONS (
host '<workspace-instance>',
httpPath '<sql-warehouse-path>',
personalAccessToken secret ('<secret-scope>','<secret-key-password>')
)
Para obter informações sobre configuração de segredos, confira Gestão de segredos.
Criar um catálogo estrangeiro
Observação
Se você usar a interface do usuário para criar uma conexão com a fonte de dados, a criação de catálogos estrangeiros será incluída e você poderá ignorar essa etapa.
Um catálogo estrangeiro espelha um catálogo no workspace externo do Databricks para que você possa consultar e gerenciar o acesso aos dados nesse catálogo externo do Databricks como se fosse um catálogo em seu próprio workpsace. Para criar um catálogo estrangeiro, use uma conexão com o workspace do Databricks que já foi definido.
Para criar um catálogo estrangeiro, você pode usar o Explorador do Catálogo ou o comando SQL CREATE FOREIGN CATALOG
em um notebook do Azure Databricks ou o editor de consulta do Databricks SQL. Além disso, é possível usar a API REST do Databricks ou a CLI do Databricks para criar um catálogo. Confira POST /api/2.1/unity-catalog/catalogs e Comandos do Unity Catalog.
Permissões necessárias: permissão de CREATE CATALOG
no metastore e a propriedade da conexão ou o privilégio de CREATE FOREIGN CATALOG
na conexão.
Explorador do Catálogo
No workspace do Azure Databricks, clique no
Catálogo para abrir o Gerenciador de Catálogos.
Na parte superior do painel Catálogo, clique no ícone
Adicionar e selecione Adicionar um catálogo no menu.
Como alternativa, na página Acesso rápido, clique no botão Catálogos e depois no botão Criar catálogo.
Siga as instruções para criar catálogos estrangeiros em Criar catálogos.
SQL
Execute o comando SQL a seguir em um notebook ou no editor de SQL do Databricks. Os itens entre colchetes são opcionais. Substitua os valores de espaço reservado:
-
<catalog-name>
: nome do catálogo estrangeiro que você está criando. -
<connection-name>
: o objeto de conexão que especifica a fonte de dados, o caminho e as credenciais de acesso. -
<external-catalog-name>
: nome do catálogo no workspace externo do Databricks que você está espelhando.
CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS (catalog '<external-catalog-name>');
Pushdowns com suporte
Os seguintes pushdowns são compatíveis com toda a computação:
- Filtros
- Projeções
- Limite
- Funções: somente expressões de filtro têm suporte (funções de cadeia de caracteres, funções Matemáticas, Dados, Hora e Carimbo de Data/Hora e outras funções diversas, como Alias, Conversão, SortOrder).
Os seguintes pushdowns são compatíveis com o Databricks Runtime 13.3 LTS e superior, e com computação de SQL warehouse:
- Agregações
- Os seguintes operadores boolianos: =, <, <=, >, >=, <=>
- As seguintes funções matemáticas (sem suporte se o ANSI estiver desabilitado): +, -, *, %, /
- Os seguintes operadores diversos: ^, |, ~
- Classificação, quando usada com limite
Não há suporte para os seguintes pushdowns:
- Junções
- Funções do Windows