Importar e consultar dados usando o complemento Azure Databricks Excel

Note

O suplemento Azure Databricks Excel não está disponível nas regiões Azure Governamental ou Azure China.

O Azure Databricks Excel Add-in conecta seu espaço de trabalho Azure Databricks ao Microsoft Excel, trazendo dados governados do Lakehouse diretamente para suas planilhas.

Esta página descreve como usar o Suplemento do Excel do Azure Databricks para importar e analisar dados do Azure Databricks no Excel. Você pode navegar e importar tabelas do Azure Databricks por meio de uma interface intuitiva em que nenhum conhecimento do SQL é necessário. Embora o suplemento ofereça flexibilidade para executar consultas SQL personalizadas, ele é opcional.

Pré-requisitos

Selecionar um sql warehouse

Escolha qual sql warehouse usar:

  1. No canto superior direito do painel do suplemento Azure Databricks no Excel, clique no menu suspenso.
  2. Selecione qual sql warehouse você deseja usar.

Importar dados do Azure Databricks

Importe dados do Azure Databricks no Excel selecionando uma tabela, escrevendo uma consulta SQL ou importando uma tabela dinâmica.

Note

Você pode importar exibições de métrica do Catálogo do Unity usando tabelas dinâmicas, consultas SQL e funções personalizadas.

Criar tabelas dinâmicas

Para criar uma tabela dinâmica a partir de tabelas e exibições do Unity Catalog em Excel:

  1. No painel Suplemento do Excel do Azure Databricks, na guia Nova importação, selecione Selecionar dados como o método de importação.

  2. Em Catálogo, selecione a tabela na qual você deseja criar uma tabela dinâmica e clique em Selecionar.

  3. Marque a caixa de seleção Dados Dinâmicos.

  4. (Opcional) Selecione Consulta em tempo real para executar a consulta e atualizar automaticamente uma nova planilha à medida que você cria a tabela dinâmica. Para mais informações, consulte Consulta ao vivo.

  5. Configure Linha, Coluna e Valor arrastando cada campo para a área correta.

  6. (Opcional) Adicionar um filtro. Para obter mais informações sobre filtros, consulte Filtrar dados importados.

  7. (Opcional) Defina um limite de linha para sua importação.

  8. Importe seus resultados. Escolha uma destas opções:

    • Clique em Salvar e importar para salvar a consulta para reutilização na pasta de trabalho do Excel e importar os resultados.
    • Clique na seta para baixo e clique em Importar resultados para importar os resultados sem salvar a consulta. Use essa opção quando quiser continuar editando uma importação.

    Note

    Tabelas dinâmicas só podem ser importadas para uma nova planilha.

Ao trabalhar com métricas do Unity Catalog em tabelas dinâmicas, você pode ver Sum(measure) exibido nos resultados. Esse é o comportamento esperado e nenhuma agregação adicional ocorre. O Excel exige que os valores tenham uma função de agregação, mas como os dados contêm valores exclusivos, nenhuma agregação ocorre.

Consulta ao vivo

A consulta ao vivo executa sua consulta de tabela dinâmica e atualiza a planilha automaticamente à medida que você edita a tabela dinâmica, para que veja os resultados conforme atualiza os campos, em vez de após clicar em Importar. A consulta ao vivo é reexecutada depois que você muda pelo menos uma linha ou coluna e um valor. Para retornar ao fluxo padrão, desative o recurso.

Quando a consulta ao vivo está ativada, a tabela dinâmica é sempre criada e atualizada em uma nova planilha. Além disso, o criador de tabela dinâmica mostra um botão Salvar importação no lugar de Importar.

Se o Excel fechar enquanto você estiver editando um pivot ao vivo, a guia Importações mostra uma opção de recuperação para que você possa restaurar a última configuração salva dessa importação.

Selecionar tabelas

Os dados são importados como um objeto de tabela do Excel. Você pode mover a tabela ou renomear a planilha e o Suplemento do Excel atualiza os dados no novo local.

Para importar dados de uma tabela do Azure Databricks, faça o seguinte:

  1. No painel Suplemento do Excel do Azure Databricks, na guia Nova importação, selecione Selecionar dados como o método de importação.
  2. Escolha uma tabela para importar do Gerenciador de Catálogos. Você pode filtrar o catálogo por proprietário, status de certificação e outras propriedades usando o filtro Ícone de Controles deslizantes..
  3. Clique em Selecionar.
  4. Em Colunas, clique na seta para baixo e desmarque as colunas que você não deseja importar ou deixe todas as colunas selecionadas para importar a tabela inteira.
  5. (Opcional) Adicionar um filtro. Para obter mais informações sobre filtros, consulte Filtrar dados importados.
  6. (Opcional) Para ver um exemplo da importação, clique em Visualizar.
  7. (Opcional) Defina um limite de linha para restringir o número de linhas importadas.
  8. (Opcional) Para identificar os dados importados, insira um nome de importação.
  9. Em Destino de Saída, escolha importar os dados para uma nova planilha ou a planilha atual. Se você importar para a planilha atual, os dados serão iniciados na referência da célula inserida (por padrão, A1).
  10. Importe seus resultados. Escolha uma destas opções:
    • Clique em Salvar e importar para salvar a consulta para reutilização na pasta de trabalho do Excel e importar os resultados.
    • Clique na seta para baixo e clique em Importar resultados para importar os resultados sem salvar a consulta. Use essa opção quando quiser continuar editando uma importação.

Gravar consultas SQL

O método de importação Write SQL dá suporte a funções SQL e procedimentos armazenados.

Para executar consultas SQL personalizadas no workspace do Azure Databricks, faça o seguinte:

  1. No painel Azure Databricks Excel Add-in, na guia Nova importação, selecione Write SQL como o método de Importação.

  2. Insira um nome para sua consulta para identificá-la mais tarde.

  3. Escreva uma nova consulta ou use uma consulta existente do workspace do Azure Databricks.

    • Escreva sua consulta SQL no editor. Você pode consultar qualquer tabela no Catálogo do Unity que tenha permissões para acessar.

      • Clique no ícone Dados. Gerenciador de catálogos para exibir seus esquemas e tabelas.

    • Para usar uma consulta do workspace do Azure Databricks ou de uma consulta existente no Excel, clique no ícone de pasta. na pasta. Se você usar uma consulta existente do workspace do Azure Databricks, as edições feitas no Excel não serão refletidas no Azure Databricks.

      Note

      As consultas devem ser salvas explicitamente em Azure Databricks usando o botão Save no canto superior direito do editor de consultas antes de aparecerem no Excel.

  4. (Opcional) Para adicionar parâmetros de consulta, clique em +Adicionar ao lado de Parâmetros. Clique no parâmetro e insira o nome do parâmetro e o valor do parâmetro.

    • Para o valor do parâmetro, você pode inserir um valor específico ou clicar no botão caixa e seta para especificar uma referência de célula. Selecione uma célula ou intervalo de células e clique na seta para preencher automaticamente o valor do parâmetro.

  5. Em Destino de Saída, escolha importar os dados para uma nova planilha ou a planilha atual. Se você importar para a planilha atual, os dados serão iniciados na referência da célula inserida (por padrão, A1).

  6. Para visualizar os resultados da consulta, clique em Executar.

  7. Importe seus resultados. Escolha uma destas opções:

    • Clique em Salvar e importar para salvar a consulta para reutilização na pasta de trabalho do Excel e importar os resultados.
    • Clique na seta para baixo e clique em Importar resultados para importar os resultados sem salvar a consulta. Use essa opção quando quiser continuar editando uma importação.

Você também pode usar funções personalizadas para adicionar parâmetros de consulta. Consulte Escrever SQL.

Filtrar dados importados

Ao importar dados selecionando uma tabela ou criando uma tabela dinâmica, você pode aplicar filtros para restringir os resultados.

Os filtros de texto não diferenciam maiúsculas de minúsculas e são aplicados em cascata. Quando você aplica mais de um filtro, os valores disponíveis para cada filtro dependem das seleções nos filtros anteriores. Por exemplo, se você filtrar por país e depois adicionar um filtro na cidade, o filtro da cidade oferece apenas cidades dentro do país selecionado.

Para definir filtros, clique + ao lado de Filtros, selecione a coluna à qual você deseja aplicar um filtro e, em seguida, insira sua condição de filtro. Para filtros que exigem um valor, você pode fazer um dos seguintes procedimentos:

  • Introduza o valor.
  • Para gerar uma lista de até 5.000 valores distintos de filtro, você pode usar:
    1. Clique em Valores e, em seguida, obter valores de filtro.
    2. Clique na seta para baixo e selecione um ou mais valores na lista.
  • Para usar uma referência de célula:
    1. Clique em Células.
    2. Selecione uma célula ou intervalo de células.
    3. Clique no cursor Ícone de clique do cursor..

A tabela a seguir descreve cada filtro disponível e sua entrada esperada.

Filter Entrada esperada Description
IS NULL Nenhum Localiza linhas em que o valor da coluna é nulo.
IS NOT NULL Nenhum Localiza linhas em que o valor da coluna não é nulo.
EQUALS Um número ou cadeia de texto Localiza linhas em que o valor da coluna corresponde exatamente ao valor especificado.
NOT EQUALS Um número ou cadeia de texto Localiza linhas em que o valor da coluna não corresponde ao valor especificado.
STARTS WITH Uma cadeia de caracteres de texto Localiza linhas em que o valor da coluna começa com o texto especificado.
ENDS WITH Uma cadeia de caracteres de texto Localiza linhas em que o valor da coluna termina com o texto especificado.
CONTAINS Uma cadeia de caracteres de texto Localiza linhas em que o valor da coluna contém o texto especificado em qualquer lugar da cadeia de caracteres.

Campos calculados

Um campo calculado é uma coluna derivada de dados existentes, como profit calculados a partir de revenue e cost. O suplemento do Excel não oferece suporte à criação de campos calculados usando o método de importação Select data. Para adicionar um campo calculado, use um dos seguintes métodos:

  • Write SQL: Use o método de importação Write SQL para calcular colunas calculadas com qualquer expressão SQL. Veja Escrever consultas SQL.
  • Genie One: Peça ao Genie One para devolver seus dados com as colunas calculadas que você precisa, então importe os resultados. Veja Use Genie One no Microsoft Excel.

O Databricks recomenda usar o Genie One para campos calculados.

Usar funções personalizadas do Azure Databricks no Excel

O Suplemento do Excel fornece funções personalizadas que você pode usar em fórmulas do Excel para importar dados do Azure Databricks.

Selecionar uma tabela

A DATABRICKS.Table função importa dados de uma tabela do Catálogo do Unity.

Sintaxe:

=DATABRICKS.Table(catalog_name.schema_name.table_name, [column1, ...], [limit])

Parâmetros:

  • catalog_name.schema_name.table_name (obrigatório): o nome totalmente qualificado da tabela.
  • columns (opcional): uma matriz de nomes de colunas para importação. Omita esse parâmetro para importar todas as colunas.
  • limit (opcional): o número máximo de linhas a serem importadas. Omita esse parâmetro para importar todas as linhas, até o limite de 10 MB.

Exemplo:

=DATABRICKS.Table("main.default.customers", {"customer_id", "customer_name"}, 100)

Essa fórmula importa as colunas customer_id e customer_name da tabela main.default.customers, limitadas a 100 linhas.

Escrever SQL

A DATABRICKS.SQL função executa uma consulta SQL que usa parâmetros de consulta e retorna os resultados.

Sintaxe:

Especifique parâmetros usando valores.

=DATABRICKS.SQL("query_text", {parameter1_name, parameter1_value; ...})

Especifique parâmetros usando um intervalo de células. Defina os parâmetros de nome e valor em células que estão na mesma linha.

=DATABRICKS.SQL("query_text", {param_name_cell: param_value_cell; ...})

Parâmetros:

  • query_text (obrigatório): a consulta SQL a ser executada.
  • parameters (obrigatório): um mapeamento de valores de parâmetro para substituir na consulta.

Exemplo:

=DATABRICKS.SQL("SELECT * FROM samples.bakehouse.sales_suppliers WHERE longitude > :long_param AND latitude > :lat_param LIMIT 10", {"long_param",20; "lat_param",10})

=DATABRICKS.SQL("SELECT * FROM samples.bakehouse.sales_suppliers WHERE city = :city", M4:N4)

Esta fórmula realiza uma consulta que filtra os dados de vendas por longitude e latitude, usando os valores de parâmetro fornecidos.

Gerenciar consultas

Gerencie suas importações existentes da página Importações.

Editar uma importação existente

Para editar uma importação existente:

  1. No painel do complemento Azure Databricks no Excel, clique na guia Imports.
  2. Localize a importação que você deseja editar.
  3. Clique no menu de três pontos ao lado da importação.
  4. Clique em Editar para editar sua importação.

Atualizar dados

O suplemento Excel não atualiza os dados automaticamente. A forma como você atualiza os dados depende de como você os importou. Os dados importados por meio de um método de importação (selecionar uma tabela, escrever uma consulta SQL ou criar uma tabela dinâmica) são atualizados a partir da guia Importações. Os dados importados usando uma função personalizada devem ser recalculados.

Atualize as importações com os valores mais recentes de Azure Databricks. O Suplemento executa a consulta original ou a seleção de tabela novamente e atualiza sua planilha com novos dados:

  • Para atualizar uma única importação:
    1. No painel do complemento Azure Databricks no Excel, clique na guia Imports.
    2. Clique no ícone Atualizar. Atualize ao lado da importação que você deseja atualizar.
  • Para atualizar todas as importações:
    1. Clique em Atualizar Tudo no painel do complemento Azure Databricks.

Importante

Ao atualizar dados, o Suplemento do Excel limpa todos os dados existentes na tabela especificada e recarrega os dados mais recentes do Azure Databricks. Todas as colunas personalizadas adicionadas à tabela são excluídas durante o processo de atualização.

Os dados importados de funções personalizadas, como DATABRICKS.Table e DATABRICKS.SQL, não são atualizados quando você reabre uma pasta de trabalho. Para atualizar os dados importados de funções personalizadas, entre no suplemento do Azure Databricks e recalcule a pasta de trabalho ou altere um valor ao qual a função personalizada faz referência.

Implicações de compartilhamento

Ao compartilhar uma pasta de trabalho do Excel que contém dados do Azure Databricks, considere as seguintes implicações de acesso a dados e segurança:

Visibilidade dos dados importados

Quando um destinatário atualiza uma importação, o Suplemento usa as permissões do Catálogo do Unity do destinatário. Se eles não tiverem acesso aos dados subjacentes, a atualização falhará.

Para pastas de trabalho em que a privacidade de dados é uma preocupação, você pode usar a seguinte solução alternativa:

  1. Crie uma pasta de trabalho que contenha todas as fórmulas e importações necessárias.
  2. Exclua os dados importados da planilha.
  3. Compartilhe a pasta de trabalho com o destinatário.
  4. Fazer com que o destinatário atualize os dados.

O destinatário vê apenas os dados aos quais tem acesso com base em suas permissões do Catálogo do Unity.

Acesso a espaços de trabalho e ativos de dados

  • Os usuários sem acesso aos objetos do Catálogo do Unity referenciados na pasta de trabalho não podem atualizar os dados. Para atualizar dados, os usuários devem ter permissões de leitura nas tabelas e exibições subjacentes no Catálogo do Unity.
  • Os usuários devem ter acesso à tabela subjacente no Azure Databricks para editar importações existentes.

Visibilidade da consulta

Os usuários com acesso de edição à pasta de trabalho podem exibir as consultas usadas para gerar os dados por meio do Suplemento Azure Databricks, mesmo que não tenham acesso aos dados subjacentes no Catálogo do Unity.

Alternativa para salvar como um modelo

O suplemento Azure Databricks Excel não dá suporte ao salvamento de uma pasta de trabalho como modelo, mas você pode compartilhar uma pasta de trabalho para que outros usuários possam ver as consultas importadas. Confira as implicações de compartilhamento para considerações sobre acesso a dados e segurança.

Como solução alternativa para compartilhar uma pasta de trabalho como modelo, siga um destes procedimentos:

  • Compartilhe o arquivo local com outro usuário. O destinatário pode renomear o arquivo e ver as consultas salvas.
  • Em SharePoint, compartilhe a pasta de trabalho com outro usuário. Quando outro usuário baixa o arquivo, as importações salvas são preservadas.

Limitations

  • Funções personalizadas: para funções personalizadas, os resultados da consulta são limitados a 25 MiB devido a limitações da API de execução do SQL.
  • Carregamento de dados: o carregamento de dados poderá falhar se qualquer célula na pasta de trabalho estiver no modo de edição.
  • Limite de linha do Excel Desktop: Excel Desktop dá suporte a um máximo de 1.048.576 linhas por planilha.
  • Excel para o limite de tamanho do arquivo Web: o Excel para a Web dá suporte a um tamanho máximo de arquivo de pasta de trabalho de aproximadamente 25 MB para exibição e edição.
  • Desempenho de consulta ao vivo: Com a consulta ao vivo ativada, cada edição de pivot executa uma nova consulta no seu SQL warehouse. Os resultados não são armazenados em cache localmente, então edições frequentes em grandes pivôs podem adicionar latência e custo de armazenamento.
  • Última atualização em