Eventos
Junte-se a nós na FabCon Vegas
31 de mar., 23 - 2 de abr., 23
O melhor evento liderado pela comunidade Microsoft Fabric, Power BI, SQL e AI. 31 de março a 2 de abril de 2025.
Registre-se hoje mesmoNão há mais suporte para esse navegador.
Atualize o Microsoft Edge para aproveitar os recursos, o suporte técnico e as atualizações de segurança mais recentes.
Esse artigo descreve como configurar a Federação do Lakehouse para executar consultas federadas em dados do Databricks em outro workspace do Databricks. Para saber mais sobre a Federação do Lakehouse, consulte O que é a Federação do Lakehouse?.
Importante
A Federação de Lakehouse de Databricks para Databricks é uma boa ferramenta para executar consultas em dados gerenciados pelo metastore Hive ou AWS Glue de outro workspace do Databricks. Para a maioria dos outros cenários, outros fluxos de trabalho do Azure Databricks são mais eficientes:
Não é necessário configurar a Federação Lakehouse em nenhum desses cenários.
Para se conectar a um catálogo do Data em outro workspace usando a Federação do Lakehouse, você precisa criar o seguinte no metastore do Catálogo do Unity no Azure Databricks:
Requisitos do workspace:
Requisitos de computação:
Permissões necessárias:
CREATE CONNECTION
no metastore do Catálogo do Unity anexado ao workspace.CREATE CATALOG
no metastore e ser o proprietário da conexão ou ter o privilégio de CREATE FOREIGN CATALOG
na conexão.Requisitos de permissão adicionais são especificados em cada seção baseada em tarefa a seguir.
Você também deve ter um cluster ativo ou SQL warehouse no workspace do Azure Databricks que você está usando para configurar a conexão.
Uma conexão especifica um caminho e credenciais para acessar um sistema de banco de dados externo. Para criar uma conexão, você pode usar o Explorador do Catálogo ou o comando SQL CREATE CONNECTION
em um notebook do Azure Databricks, ou o editor de consulta do Databricks SQL.
Observação
Você também pode usar a API REST do Databricks ou a CLI do Databricks para criar uma conexão. Consulte POST /api/2.1/unity-catalog/connections e Comandos do Catálogo do Unity.
Permissões necessárias: administrador ou usuário do metastore com o privilégio de CREATE CONNECTION
.
No workspace do Azure Databricks, clique em Catálogo.
Na parte superior do painel Catálogo, clique no ícone Adicionar e selecione Adicionar uma conexão no menu.
Como alternativa, na página Acesso rápido, clique no botão Dados externos >, vá até a guia Conexões e clique em Criar conexão.
Insira um nome de conexão simples.
Selecione um Tipo de Conexão do Databricks.
Insira as propriedades de conexão a seguir para a outra instância do Databricks.
(Opcional) Clique em Testar conectividade para confirmar se está funcionando.
(Opcional) Adicione um comentário.
Clique em Criar.
Execute o seguinte comando em um bloco de anotações ou no editor de consultas SQL do Databricks, substituindo o seguinte:
<connection-name>
: nome amigável para a conexão que você está criando.<workspace-instance>
: a instância do workspace de destino. Para saber como obter o nome da instância do workspace, consulte Obter identificadores para objetos do workspace.<sql-warehouse-path>
: O caminho HTTP para seu SQL warehouse. Para obter o caminho, vá para SQL > SQL Warehouses na barra lateral, selecione o SQL warehouse, vá para a guia Detalhes da conexão e copie o valor do caminho HTTP.<personal-access-token>
: um token de acesso pessoal do Azure Databricks que permite o acesso ao workspace de destino. Para saber como criar um token, confira Autenticação de token de acesso pessoal do Azure Databricks. Para conexões, o Databricks recomenda que você use o token de acesso pessoal de uma entidade de serviço.CREATE CONNECTION <connection-name> TYPE databricks
OPTIONS (
host '<workspace-instance>',
httpPath '<sql-warehouse-path>',
personalAccessToken '<personal-access-token>'
);
Recomendamos usar segredos do Azure Databricks em vez de cadeias de caracteres de texto não criptografado para valores confidenciais, como credenciais. Por exemplo:
CREATE CONNECTION <connection-name> TYPE databricks
OPTIONS (
host '<workspace-instance>',
httpPath '<sql-warehouse-path>',
personalAccessToken secret ('<secret-scope>','<secret-key-password>')
)
Para obter informações sobre configuração de segredos, confira Gestão de segredos.
Um catálogo estrangeiro espelha um catálogo no workspace externo do Databricks para que você possa consultar e gerenciar o acesso aos dados nesse catálogo externo do Databricks como se fosse um catálogo em seu próprio workpsace. Para criar um catálogo estrangeiro, use uma conexão com o workspace do Databricks que já foi definido.
Para criar um catálogo estrangeiro, você pode usar o Explorador do Catálogo ou o comando SQL CREATE FOREIGN CATALOG
em um notebook do Azure Databricks ou o editor de consulta do Databricks SQL.
Observação
Além disso, é possível usar a API REST do Databricks ou a CLI do Databricks para criar um catálogo. Confira POST /api/2.1/unity-catalog/catalogs e Comandos do Unity Catalog.
Permissões necessárias: permissão de CREATE CATALOG
no metastore e a propriedade da conexão ou o privilégio de CREATE FOREIGN CATALOG
na conexão.
Em seu workspace do Azure Databricks, clique em Catálogo para abrir o Explorador de Catálogo.
Na parte superior do painel Catálogo, clique no ícone Adicionar e selecione Adicionar um catálogo no menu.
Como alternativa, na página Acesso rápido, clique no botão Catálogos e depois no botão Criar catálogo.
Siga as instruções para criar catálogos estrangeiros em Criar catálogos.
Execute o comando SQL a seguir em um notebook ou no editor de SQL do Databricks. Os itens entre colchetes são opcionais. Substitua os valores de espaço reservado:
<catalog-name>
: nome do catálogo estrangeiro que você está criando.<connection-name>
: o objeto de conexão que especifica a fonte de dados, o caminho e as credenciais de acesso.<external-catalog-name>
: nome do catálogo no workspace externo do Databricks que você está espelhando.CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS (catalog '<external-catalog-name>');
Os seguintes pushdowns são compatíveis com toda a computação:
Os seguintes pushdowns são compatíveis com o Databricks Runtime 13.3 LTS e superior, e com computação de SQL warehouse:
Não há suporte para os seguintes pushdowns:
Eventos
Junte-se a nós na FabCon Vegas
31 de mar., 23 - 2 de abr., 23
O melhor evento liderado pela comunidade Microsoft Fabric, Power BI, SQL e AI. 31 de março a 2 de abril de 2025.
Registre-se hoje mesmoTreinamento
Certificação
Microsoft Certified: Fabric Data Engineer Associate - Certifications
Como engenheiro de dados do Fabric, você deve ter experiência com padrões de carregamento de dados, arquiteturas de dados e processos de orquestração.