Importar e consultar dados usando o complemento Azure Databricks do Excel

Importante

Este recurso está no Public Preview.

Observação

O suplemento Azure Databricks Excel não está disponível nas regiões Azure Government ou Azure China.

O suplemento Azure Databricks Excel liga o seu espaço de trabalho Azure Databricks à Microsoft Excel, trazendo os dados governados do Lakehouse diretamente para as suas folhas de cálculo.

Esta página descreve como usar o suplemento Azure Databricks Excel para importar e analisar dados de Azure Databricks em Excel. Pode navegar e importar tabelas do Azure Databricks através de uma interface intuitiva onde não é necessário conhecimento de SQL. Embora o complemento ofereça a flexibilidade para executar consultas SQL personalizadas, é opcional.

Pré-requisitos

• Antes de utilizar o suplemento do Excel, verifique se o tem configurado.
• Tens acesso SQL ao Azure Databricks e pelo menos PODES USAR permissões num SQL warehouse.

Selecione um armazenamento SQL

Escolhe qual o SQL warehouse a usar:

1. No canto superior direito do painel do suplemento Azure Databricks no Excel, clique no menu pendente.
2. Seleciona qual o SQL warehouse que queres usar.

Importar dados de Azure Databricks

Importa dados do Azure Databricks no Excel selecionando uma tabela, escrevendo uma consulta SQL ou importando uma tabela dinâmica.

Observação

Pode importar vistas métricas do Unity Catalog usando tabelas dinâmicas, consultas SQL e funções personalizadas.

Criar tabelas dinâmicas

Para criar uma tabela dinâmica a partir de tabelas e visualizações do Catálogo Unity no Excel:

1. No painel Azure Databricks Excel Add-in, no separador Nova importação, selecione Select data como método Importar.

2. Em Catálogo, selecione a tabela a partir da qual quer criar uma tabela dinâmica e clique em Selecionar.

3. Selecione a caixa de seleção Dados Pivot.

4. Configure Linha, Coluna e Valor arrastando cada campo para a área correta.

5. (Opcional) Adiciona um filtro. Para mais informações sobre filtros, consulte Dados importados por filtros.

6. (Opcional) Para ver um exemplo da importação, clique em Pré-visualização.

7. (Opcional) Defina um limite de linhas para a sua importação.

8. Importa os teus resultados. Escolha uma das seguintes opções:

   • Clique em Guardar e importar para guardar a consulta para reutilização no Excel workbook e importar os resultados.
   • Clique na seta para baixo, depois clique em Importar resultados para importar os resultados sem guardar a consulta. Use esta opção quando quiser continuar a editar uma importação.

   Observação

   As tabelas dinâmicas só podem ser inseridas numa nova folha.

Ao trabalhar com métricas do Unity Catalog em tabelas dinâmicas, pode ver-se Sum(measure) nos resultados. Este é um comportamento esperado e não ocorre agregação adicional. O Excel exige que os valores tenham uma função de agregação, mas como os dados contêm valores únicos, não ocorre agregação.

Tabelas selecionadas

Os dados são importados como um objeto de Excel table. Podes mover a tabela ou renomear a folha, e o suplemento do Excel atualiza os dados na nova localização.

Para importar dados de uma tabela Azure Databricks, faça o seguinte:

1. No painel Azure Databricks Excel Add-in, no separador Nova importação, selecione Select data como método Importar.
2. Escolha uma tabela para importar do explorador de catálogo. Pode filtrar o catálogo por proprietário, estado de certificação e outras propriedades usando Filtre.
3. Clique em Selecionar.
4. Em Colunas, clique na seta para baixo e desmarque as colunas que não quer importar, ou deixe todas as colunas selecionadas para importar a tabela inteira.
5. (Opcional) Adiciona um filtro. Para mais informações sobre filtros, consulte Dados importados por filtros.
6. (Opcional) Para ver um exemplo da importação, clique em Pré-visualização.
7. (Opcional) Defina um limite de linhas para restringir o número de linhas importadas.
8. (Opcional) Para identificar os seus dados importados, introduza um nome de importação.
9. Em Destino de Saída, escolha importar os dados para uma nova folha ou para a folha atual. Se importares para a folha atual, os dados começam na referência da célula que introduziste (por defeito A1).
10. Importa os teus resultados. Escolha uma das seguintes opções:
    • Clique em Guardar e importar para guardar a consulta para reutilização no Excel workbook e importar os resultados.
    • Clique na seta para baixo, depois clique em Importar resultados para importar os resultados sem guardar a consulta. Use esta opção quando quiser continuar a editar uma importação.

Escrever consultas SQL

O método de importação Write SQL suporta funções SQL e procedimentos armazenados.

Para executar consultas SQL personalizadas no seu espaço de trabalho do Azure Databricks, faça o seguinte:

1. No painel Azure Databricks Excel Add-in, no separador Nova importação, selecione Write SQL como método Importação.

2. Insira um nome para a sua consulta para a identificar mais tarde.

3. Escreva uma nova consulta ou use uma consulta existente do seu espaço de trabalho no Azure Databricks.

   • Escreve a tua consulta SQL no editor. Pode consultar qualquer tabela no Unity Catalog à qual tenha permissões de acesso.

     • Clique Explorador de catálogos para visualizar os seus esquemas e tabelas.

   • Para usar uma consulta do seu espaço de trabalho de Azure Databricks ou uma consulta existente no Excel, clique em a pasta. Se usar uma consulta existente do seu espaço de trabalho do Azure Databricks, as edições feitas no Excel não são refletidas no Azure Databricks.

     Observação

     As consultas devem ser explicitamente guardadas em Azure Databricks usando o botão Save no canto superior direito do editor de consultas antes de aparecerem no Excel.

4. (Opcional) Para adicionar parâmetros de consulta, clique em +Adicionar ao lado de Parâmetros. Clique no parâmetro e introduza o Nome do Parâmetro e o Valor do Parâmetro.

   • Para o valor do parâmetro, pode inserir um valor específico ou clicar na caixa e no botão de seta para especificar uma referência de célula. Selecione uma célula ou um intervalo de células e clique na seta para preencher automaticamente o valor do parâmetro.

5. Em Destino de Saída, escolha importar os dados para uma nova folha ou para a folha atual. Se importares para a folha atual, os dados começam na referência da célula que introduziste (por defeito A1).

6. Para visualizar os resultados da sua consulta, clique em Executar.

7. Importa os teus resultados. Escolha uma das seguintes opções:

   • Clique em Guardar e importar para guardar a consulta para reutilização no Excel workbook e importar os resultados.
   • Clique na seta para baixo, depois clique em Importar resultados para importar os resultados sem guardar a consulta. Use esta opção quando quiser continuar a editar uma importação.

Também pode usar funções personalizadas para adicionar parâmetros de consulta. Veja Escrever SQL

Filtrar dados importados

Ao importar dados ao selecionar uma tabela ou ao criar uma tabela dinâmica, pode aplicar filtros para restringir os resultados.

Os filtros de corda são insensíveis a maiúsculas minúsculas e em cascata. Quando aplicas mais do que um filtro, os valores disponíveis para cada filtro dependem das escolhas nos filtros anteriores. Por exemplo, se filtrar por país e depois adicionar um filtro à cidade, o filtro da cidade oferece apenas cidades dentro do país selecionado.

Para definir filtros, clique + ao lado de Filtros, selecione a coluna onde quer aplicar um filtro e depois introduza a condição do filtro. Para filtros que requerem um valor, pode fazer uma das seguintes:

• Introduza o valor.
• Para gerar uma lista de até 5.000 valores distintos de filtro, pode usar:
  1. Clica em Valores, depois Obter valores de filtro.
  2. Clique na seta para baixo e selecione um ou mais valores da lista.
• Para usar uma referência de célula:
  1. Clique em Células.
  2. Selecione uma célula ou um conjunto de células.
  3. Clique no

A tabela seguinte descreve cada filtro disponível e a sua entrada esperada.

Filter	Entrada esperada	Descrição
IS NULL	Nenhum	Encontra linhas onde o valor da coluna é nulo.
IS NOT NULL	Nenhum	Encontra linhas onde o valor da coluna não é nulo.
EQUALS	Um número ou cadeia de texto	Encontra linhas onde o valor da coluna corresponde exatamente ao valor especificado.
NOT EQUALS	Um número ou cadeia de texto	Encontra linhas onde o valor da coluna não corresponde ao valor especificado.
STARTS WITH	Uma cadeia de texto	Encontra linhas onde o valor da coluna começa com o texto especificado.
ENDS WITH	Uma cadeia de texto	Encontra linhas onde o valor da coluna termina com o texto especificado.
CONTAINS	Uma cadeia de texto	Encontra linhas onde o valor da coluna contém o texto especificado em qualquer parte da cadeia.

Use funções personalizadas do Azure Databricks no Excel

O complemento Excel fornece funções personalizadas que pode usar em fórmulas do Excel para importar dados do Azure Databricks.

Selecione uma tabela

A DATABRICKS.Table função importa dados de uma tabela do Catálogo Unity.

Sintaxe:

=DATABRICKS.Table(catalog_name.schema_name.table_name, [column1, ...], [limit])

Parâmetros:

• catalog_name.schema_name.table_name (obrigatório): O nome da tabela totalmente qualificado.
• columns (opcional): Um array de nomes de colunas para importar. Omita este parâmetro para importar todas as colunas.
• limit (opcional): O número máximo de linhas a importar. Omita este parâmetro para importar todas as linhas, até ao limite de 10 MB.

Exemplo:

=DATABRICKS.Table("main.default.customers", {"customer_id", "customer_name"}, 100)

Esta fórmula importa as customer_id colunas e customer_name da main.default.customers tabela, limitada a 100 linhas.

Escrever SQL

A DATABRICKS.SQL função executa uma consulta SQL que utiliza parâmetros de consulta e devolve os resultados.

Sintaxe:

Especifique parâmetros usando valores.

=DATABRICKS.SQL("query_text", {parameter1_name, parameter1_value; ...})

Especifique parâmetros usando um intervalo de células. Defina os parâmetros de nome e valor nas células que estão na mesma linha.

=DATABRICKS.SQL("query_text", {param_name_cell: param_value_cell; ...})

Parâmetros:

• query_text (obrigatório): A consulta SQL a executar.
• parameters (obrigatório): Um mapeamento dos valores dos parâmetros a substituir na consulta.

Exemplo:

=DATABRICKS.SQL("SELECT * FROM samples.bakehouse.sales_suppliers WHERE longitude > :long_param AND latitude > :lat_param LIMIT 10", {"long_param",20; "lat_param",10})

=DATABRICKS.SQL("SELECT * FROM samples.bakehouse.sales_suppliers WHERE city = :city", M4:N4)

Esta fórmula executa uma consulta que filtra os dados de vendas por longitude e latitude, usando os valores dos parâmetros fornecidos.

Gerenciar consultas

Gerir as suas importações existentes a partir da página de Importações.

Editar uma importação existente

Para editar uma importação existente:

1. No painel Azure Databricks Add-in em Excel, clique no separador Imports.
2. Encontra a importação que queres editar.
3. Clique no menu de três pontos ao lado da importação.
4. Clique em Editar para editar a sua importação.

Dados de atualização

O suplemento Excel não atualiza os dados automaticamente. A forma como atualizas os dados depende de como os importaste. Os dados importados usando um método de importação (selecionar uma tabela, escrever uma consulta SQL ou criar uma tabela dinâmica) são atualizados a partir do separador Importações . Os dados importados usando uma função personalizada devem ser recalculados.

Atualize as importações com os valores mais recentes do Azure Databricks. O complemento executa novamente a consulta original ou seleção de tabela e atualiza a sua folha de cálculo com dados frescos:

• Para atualizar uma única importação:
  1. No painel Azure Databricks Add-in em Excel, clique no separador Imports.
  2. Clica Atualiza ao lado da importação que queres atualizar.
• Para atualizar todas as importações:
  1. Clique em Atualizar Tudo no painel Azure Databricks Add-in.

Importante

Ao atualizar dados, o suplemento Excel limpa todos os dados existentes na tabela especificada e recarrega os dados mais recentes do Azure Databricks. Quaisquer colunas personalizadas que adicionaste à tabela são eliminadas durante o processo de atualização.

Os dados importados de funções personalizadas, como DATABRICKS.Table e DATABRICKS.SQL, não são atualizados ao reabrir um livro. Para atualizar dados importados de funções personalizadas, inicie sessão no Azure Databricks Add-in e depois recalcule o livro de trabalho ou altere um valor referenciado pela função personalizada.

Implicações da Partilha

Quando partilha um livro de exercícios Excel que contém dados do Azure Databricks, considere as seguintes implicações de acesso e segurança aos dados:

Visibilidade dos dados importados

Quando um destinatário atualiza uma importação, o Add-in utiliza as permissões do Catálogo Unity do destinatário. Se não tiverem acesso aos dados subjacentes, a atualização falha.

Para cadernos onde a privacidade dos dados é uma preocupação, pode usar a seguinte solução alternativa:

1. Crie um livro de trabalho com todas as fórmulas e importações necessárias.
2. Apaga os dados importados da folha.
3. Partilhe o caderno de exercícios com o destinatário.
4. Peça ao destinatário para atualizar os dados.

O destinatário só vê os dados a que tem acesso com base nas permissões do Catálogo Unity.

Acesso a espaços de trabalho e ativos de dados

• Utilizadores sem acesso aos objetos do Catálogo Unity referenciados no livro de trabalho não podem atualizar os dados. Para atualizar dados, os utilizadores devem ter permissões de leitura nas tabelas e vistas subjacentes no Unity Catalog.
• Os utilizadores devem ter acesso à tabela subjacente no Azure Databricks para editar importações existentes.

Visibilidade da consulta

Os utilizadores com acesso de edição ao livro de trabalho podem visualizar as consultas usadas para gerar os dados através do Azure Databricks Add-in, mesmo que não tenham acesso aos dados subjacentes no Unity Catalog.

Alternativa a guardar como modelo

O suplemento Azure Databricks Excel não suporta guardar um livro de exercícios como modelo, mas pode partilhar um livro de exercícios para que outros utilizadores possam ver as consultas importadas. Veja Implicações de partilha para o acesso a dados e considerações de segurança.

Como solução alternativa para partilhar um livro de exercícios como modelo, faça uma das seguintes:

• Partilhe o ficheiro local com outro utilizador. O destinatário pode renomear o ficheiro e ver as consultas guardadas.
• No SharePoint, partilhe o livro de exercícios com outro utilizador. Quando outro utilizador descarrega o ficheiro, as importações guardadas são preservadas.

Limitações

• Funções personalizadas: Para funções personalizadas, os resultados das consultas são limitados a 25 MiB devido às limitações da API de execução SQL.
• Carregamento de dados: O carregamento de dados pode falhar se alguma célula do livro de exercícios estiver em modo de edição.
• Excel Limite de linhas no ambiente de trabalho: O Excel Desktop suporta um máximo de 1.048.576 linhas por folha.
• Excel na Web limite de tamanho de ficheiro: Excel na Web suporta um tamanho máximo de ficheiro de folha de aproximadamente 25 MB para visualização e edição.