Notas sobre a versão do Databricks SQL 2021

A seguir, descreve as melhorias e atualizações no DATAbricks SQL de janeiro a dezembro de 2021.

15 de dezembro de 2021

• O SQL do Databricks está disponível em geral. Isso representa um marco importante para oferecer a primeira plataforma lakehouse que unifica cargas de trabalho de dados, Inteligência Artificial e BI em um só lugar. Com a GA, você pode esperar o nível mais alto de estabilidade, suporte e preparação empresarial do Databricks para cargas de trabalho críticas. Leia o blog de anúncios de GA para saber mais.
• Os alertas agora são agendados independentemente das consultas. Ao criar um novo alerta e criar uma consulta, você também será solicitado a criar um agendamento para o alerta. Se você tinha um alerta existente, duplicamos a programação da consulta original. Essa alteração também permite que você defina alertas para consultas Executar como Proprietário e Executar como Visualizador . As consultas Executar como Proprietário são executadas no agendamento de alerta designado com a credencial do proprietário da consulta. As consultas Executar como Visualizador são executadas no agendamento de alerta designado com a credencial do criador do alerta. Consulte os alertas do DATAbricks SQL e agende uma consulta.
• Agora você pode ordenar novamente os parâmetros no editor do SQL e nos painéis.
• A documentação para criar visualizações de mapa de calor foi expandida. Confira Opções de mapa de calor.

9 de dezembro de 2021

• Ao criar uma visualização de tabela, agora você pode definir a cor da fonte de uma coluna como um valor estático ou um intervalo de valores com base nos valores do campo da coluna. O valor literal é comparado ao limite. Por exemplo, para colorir resultados cujos valores excedem 500000, crie o limite > 500000, em vez de > 500,000. Confira Formatar condicionalmente cores de coluna.
• Agora, os ícones no navegador de esquema do editor SQL com guias permitem que você faça a distinção entre tabelas e exibições.

1º de dezembro de 2021

• Agora você pode aplicar parâmetros de configuração do SQL no nível do workspace. Esses parâmetros se aplicam automaticamente a todos os endpoints SQL existentes e novos no espaço de trabalho. Consulte Configurar parâmetros do SQL.

18 de novembro de 2021

• Ao exibir o histórico de uma consulta, agora você pode filtrar consultas na entidade de serviço que as executou. Veja Visualizar histórico de consultas.

• Agora você pode abrir o editor do SQL usando um atalho de barra lateral. Para abrir o editor do SQL, clique no Editor do SQL.
• Se você tiver permissão para criar clusters de Ciência e Engenharia de Dados, agora poderá criar pontos de extremidade do SQL clicando em Criar na barra lateral e clicando no Ponto de Extremidade do SQL.
• Os administradores agora podem transferir a propriedade de uma consulta, painel ou alerta para um usuário diferente por meio da interface do usuário. Consulte:
• Transferir a propriedade de uma consulta
• Transferir a propriedade de um painel herdado
• Transferir a propriedade de um alerta

4 de novembro de 2021

• Em uma visualização de Mapa (Choropleth), o número máximo de etapas de gradiente para as cores na legenda foi aumentado de 11 para 20. O padrão é 5 etapas de gradiente, incluindo a cor Mínima e a cor Máx.
• O editor de SQL com guias agora dá suporte ao gerenciamento de guias em massa. Se você clicar com o botão direito do mouse em uma guia, verá a opção Fechar outras abas, Fechar à esquerda, Fechar à direita e Fechar tudo. Observe que, se você clicar com o botão direito do mouse na primeira ou última guia, não verá as opções para Fechar à esquerda ou Fechar à direita.

28 de outubro de 2021

• Ao exibir uma tabela no Gerenciador de Catálogos, você tem duas opções para simplificar a interação com a tabela:
• Clique em Criar > Consulta para criar uma consulta que seleciona todas as colunas e retorna as primeiras 1000 linhas.
• Clique em Criar > Painel Rápido para abrir uma página de configuração em que você pode selecionar colunas de interesse e criar um dashboard e oferecer suporte a consultas que fornecem algumas informações básicas usando essas colunas e mostrar parâmetros no nível do painel e outros recursos.

19 de outubro de 2021

• Os novos atalhos de teclado agora estão disponíveis no editor com guias:
• Abrir nova guia:
  • Windows: Cmd+Alt+T
  • Mac: Cmd+Option+T
• Fechar guia atual
  • Windows: Cmd+Alt+W
  • Mac: Cmd+Option+W
• Abrir caixa de diálogo de consulta
  • Windows: Cmd+Alt+O
  • Mac: Cmd+Option+O

23 de setembro de 2021

• Agora você pode criar um novo painel clonando um painel existente, desde que tenha a permissão CAN RUN, CAN EDIT e CAN MANAGE no painel e em todas as consultas upstream. Confira Clonar um painel herdado.
• Agora você pode usar GROUP BY em uma visualização com várias colunas do eixo Y. Consulte o gráfico de dispersão.
• Agora você pode usar {{ @@yPercent}} para formatar rótulos de dados em um gráfico de barras empilhadas não normalizado. Consulte o gráfico de barras.
• Se você usar a autenticação SAML e sua credencial SAML expirar dentro de alguns minutos, você agora será solicitado de forma proativa a fazer login novamente antes de executar uma consulta ou atualizar um dashboard. Isso ajuda a evitar a interrupção devido a uma credencial que expira durante a execução da consulta.

20 de setembro de 2021

• Agora você pode transferir a propriedade de dashboards, consultas e alertas usando a API REST de Permissões. Consulte ACLs de consulta.

16 de setembro de 2021

• Nos resultados da consulta, BIGINT os resultados agora são serializados como cadeias de caracteres quando maiores que 9007199254740991. Isso corrige um problema em que os resultados BIGINT podem ficar truncados nos resultados da consulta. Outros resultados inteiros ainda são serializados como números. A formatação de número nos rótulos de eixo e dicas de ferramenta não se aplica aos resultados BIGINT serializados como cadeias de caracteres. Para obter mais informações sobre tipos de dados no Databricks SQL, consulte Tipo BIGINT.

7 de setembro de 2021

O Databricks lançará as mudanças a seguir ao longo de uma semana. Seu workspace pode não estar habilitado para essas alterações até depois de 7 de setembro.

• O Databricks SQL agora está em Versão Prévia Pública e está habilitado para todos os usuários em novos workspaces.

Observação

Se seu workspace tiver sido habilitado para o Databricks SQL durante a Visualização Pública, ou seja, antes da semana que começa em 07 de setembro de 2021, os usuários manterão o direito atribuído antes dessa data, a menos que você o altere. Em outras palavras, se um usuário não tiver acesso ao DATAbricks SQL durante a Visualização Pública, ele não o terá agora, a menos que um administrador o dê a ele.

• Os administradores podem gerenciar quais usuários têm acesso ao DATAbricks SQL atribuindo o direito de acesso do Databricks SQL (databricks-sql-access na API) a usuários ou grupos. Por padrão, novos usuários têm esse direito.

Os administradores podem limitar um usuário ou grupo a acessar apenas o DATAbricks SQL e impedi-los de acessar a IA do Data Science & Engineering ou do Databricks Mosaic removendo o direito do Acesso ao Workspace (workspace-access na API) do usuário ou do grupo. Por padrão, novos usuários têm esse direito.

Importante

Para fazer login e acessar o Azure Databricks, um usuário deve ter o acesso ao SQL do Databricks ou acesso ao workspace, ou ambos.

• Um pequeno ponto de extremidade clássico do SQL chamado Ponto de Extremidade Inicial é pré-configurado em todos os workspaces, para que você possa começar a criar dashboards, visualizações e consultas imediatamente. Para lidar com cargas de trabalho mais complexas, você pode aumentar facilmente seu tamanho (para reduzir a latência) ou o número de clusters subjacentes (para lidar com usuários mais simultâneos). Para gerenciar custos, o endpoint inicial é configurado para se encerrar após ficar 120 minutos ocioso.

2 de setembro de 2021

• Os usuários com a permissão CAN EDIT em um painel agora podem gerenciar a agenda de atualização e a lista de assinaturas do painel. Anteriormente, a permissão CAN MANAGE era necessária. Para obter mais informações, consulte Atualizar automaticamente um painel.

• Por padrão, as visualizações não redimensionam dinamicamente com base no número de resultados retornados, mas mantêm a mesma altura, independentemente do número de resultados. Para retornar ao comportamento anterior e configurar uma visualização para redimensionar dinamicamente, habilite Redimensionar dinamicamente a altura do painel nas configurações da visualização no painel. Para obter mais informações, consulte as opções de Tabela.
• Se você tem acesso a mais de um workspace na mesma conta, você pode alternar entre workspaces no SQL do Databricks. Clique no no canto inferior esquerdo do seu workspace do Azure Databricks e, em seguida, selecione um workspace para alternar para ele.

01 de julho de 2021

• O novo Gerenciador de Catálogos permite que você explore e gerencie facilmente permissões em bancos de dados e tabelas. Os usuários podem exibir detalhes do esquema, visualizar dados de exemplo e ver detalhes e propriedades da tabela. Os administradores podem exibir e alterar os proprietários de objetos de dados, e os proprietários de objetos de dados podem conceder e revogar permissões. Para obter detalhes, consulte o que é o Gerenciador de Catálogos?.
• Eixos Y em gráficos horizontais foram atualizados para refletir a mesma ordenação que em tabelas. Se você tiver selecionado anteriormente a ordenação inversa, poderá usar a alternância Ordem Inversa na guia eixo Y para reverter a nova ordenação.

23 de junho de 2021

• Configure facilmente os pontos de extremidade SQL com entidades de serviço. Agora há um controle que ajuda você a configurar uma entidade de serviço na configuração global de pontos de extremidade SQL. Confira Configurar uma entidade de serviço.
• Agora há suporte para exibições temporárias.

17 de junho de 2021

• Photon, novo mecanismo de execução vetorizado do Databricks, agora está ativado por padrão para endpoints SQL recém-criados (UI e API REST). O Photon se acelera de maneira transparente
  • Grava nas tabelas do Parquet e do Delta.
  • Muitas consultas SQL. Confira Limitações.
• Gerencie facilmente usuários e grupos com CREATE GROUP, DROP GROUP, ALTER GROUP, SHOW GROUPSe SHOW USERS comandos. Para obter detalhes, confira Instruções de Segurança e Instruções de exibição.
• O navegador de esquema do editor de consultas é mais rápido e rápido em esquemas com mais de 100 tabelas. Nesses esquemas, o navegador de esquema não carregará todas as colunas automaticamente; a lista de tabelas ainda é exibida como de costume, mas as colunas são carregadas somente quando você clica em uma tabela. Essa alteração afeta o preenchimento automático de consulta no editor de consultas, pois depende dessas informações para mostrar sugestões. Até que você expanda uma tabela e carregue suas colunas, essas sugestões não estarão disponíveis.

3 de junho de 2021

• Os administradores de workspaces do Azure Databricks recém-habilitados agora recebem por padrão o privilégio do Databricks SQL e não são mais obrigados a conceder a si mesmos o privilégio de acesso ao Databricks SQL usando o console de administração.
• O Photon já está em versão prévia pública e habilitado por padrão para novos pontos de extremidade SQL.
• O balanceamento de carga de vários clusters agora está em versão prévia pública.
• Agora você pode habilitar a colaboração em painéis e consultas com outros membros da sua organização usando a permissão CAN EDIT. Confira Listas de Controle de Acesso.

26 de maio de 2021

• A Análise de SQL foi renomeada para Databricks SQL. Essa alteração tem os seguintes impactos voltados para o cliente:

  • As referências na interface do usuário da Web foram atualizadas.

  • O direito de conceder acesso ao DATAbricks SQL foi renomeado:

    • Interface do usuário: Acesso ao Databricks SQL (anteriormente chamado de Acesso à Análise de SQL)
    • API SCIM: databricks-sql-access (anteriormente sql-analytics-access)

    Usuários, grupos e entidades de serviço com o direito anterior foram migrados para o novo direito.

  • As tags para eventos de log de auditoria relacionados ao Databricks SQL foram alteradas:

    • O prefixo para eventos SQL do Databricks agora é databrickssql.
    • changeSqlAnalyticsAcl agora é changeDatabricksSqlAcl.

• Atualizações de painel

  • O nome de arquivo de exportação do painel foi atualizado como o nome do painel + carimbo de data/hora, em vez de uma UUID.
  • O limite de registros de exportação foi elevado de 22k para 64k.

13 de maio de 2021

• O DATAbricks SQL não tenta mais adivinhar tipos de coluna. Anteriormente, uma coluna com o formato xxxx-yy-dd era tratada automaticamente como uma data, mesmo que fosse um código de identificação. Agora essa coluna não é mais tratada automaticamente como uma data. Você deve especificar isso na consulta, se assim desejar. Essa alteração pode fazer com que algumas visualizações que dependiam do comportamento anterior não funcionem mais. Nesta versão, você pode alterar a opção >Configurações>Compatibilidade com Versões Anteriores para retornar ao comportamento anterior. Em uma versão futura, removeremos essa funcionalidade.

• O editor de consultas agora tem um indicador de progresso da consulta. As alterações de estado agora estão visíveis em uma barra de progresso atualizada continuamente.

  

Problemas corrigidos

• Editor de SQL O editor de SQL agora persistirá o texto selecionado e a posição de rolagem ao alternar entre as guias de consulta.
• Editor de SQL Se você clicar em 'Executar' em uma consulta no editor do SQL, navegue até outra página e retorne enquanto a consulta ainda estiver em execução, o editor exibirá o estado de consulta correto. Se a consulta for concluída enquanto você estiver em outra página, os resultados da consulta estarão disponíveis no retorno à página do editor do SQL.
• Agora você pode usar o MySQL 8.0 como um metastore externo.
• DESCRIBE DETAIL comandos em tabelas Delta não falham mais com java.lang.ClassCastException: java.sql.Timestamp cannot be cast to java.time.Instant.
• A leitura de arquivos Parquet com carimbos de data/hora INT96 não falha mais.
• Quando um usuário tem a permissão CAN RUN em uma consulta e a executa, se a consulta foi criada por outro usuário, o histórico de consultas exibe o executor da consulta como o usuário.
• Os valores nulos agora são ignorados ao renderizar um gráfico, melhorando a usabilidade dos gráficos. Por exemplo, anteriormente, as barras em um gráfico de barras ficavam muito pequenas quando os valores nulos estavam presentes. Agora, os eixos são definidos com base apenas em valores não nulos.