Compartilhar via

Quais são as novidades nos arquivos do Azure Synapse Analytics

  • Artigo

Este artigo descreve as atualizações do mês anterior para o Azure Synapse Analytics. Para a versão mais recente do mês, confira Atualizações mais recentes do Azure Synapse Analytics. Cada atualização apresenta um link para o blog do Azure Synapse Analytics e para um artigo que fornece mais informações.

Recursos geralmente disponíveis

A tabela a seguir lista os recursos anteriores do Azure Synapse Analytics com transição da versão prévia para a GA (Disponibilidade Geral).

Mês Recurso Saiba mais
Julho de 2022 Apache Spark™ 3.2 para Synapse Analytics O Apache Spark™ 3.2 para Synapse Analytics já está em disponibilidade geral. Examine as notas oficiais sobre a versão e as diretrizes de migração entre o Spark 3.1 e 3.2 para avaliar as possíveis alterações nos aplicativos. Para saber mais, veja o suporte à versão do Apache Spark e o Azure Synapse Runtime para Apache Spark 3.2. Destaques sobre o que melhorou no Spark 3.2 na Atualização de julho de 2022 do Azure Synapse Analytics.
Julho de 2022 Apache Spark no Recurso de Cache Inteligente do Azure Synapse O Cache Inteligente para Spark armazena automaticamente cada leitura dentro do espaço de armazenamento em cache alocado, detectando alterações de arquivos subjacentes e atualizando os arquivos para fornecer os dados mais recentes. Para saber mais, veja como Habilitar/desabilitar o cache do pool do Apache Spark.
Junho de 2022 Ferramenta Map Data A ferramenta Map Data é um processo guiado para ajudar você a criar mapeamentos de ETL e fluxos de dados de mapeamento dos dados de origem para o Synapse sem gravar código. Para saber mais sobre a ferramenta Map Data, leia Map Data no Azure Synapse Analytics.
Junho de 2022 Funções definidas pelo usuário As UDFs (funções definidas pelo usuário) agora estão em disponibilidade geral. Para saber mais, leia Funções definidas pelo usuário em fluxos de dados de mapeamento.
Maio de 2022 Conector do Azure Synapse Data Explorer para Power Automate, Aplicativos Lógicos e Power Apps O conector do Azure Data Explorer para Power Automate permite orquestrar e agendar fluxos, enviar notificações e alertas, como parte de uma tarefa agendada ou disparada. Para saber mais, leia Conector do Azure Data Explorer para Microsoft Power Automate e Exemplos de uso da Microsoft para o conector do Azure Data Explorer para Power Automate.
Abril de 2022 Restauração entre assinaturas para SQL do Azure Synapse Com a atualização 3.8 do módulo Az.Sql do PowerShell, o cmdlet Restore-AzSqlDatabase pode ser usado para a restauração entre assinaturas de pools de SQL dedicados. Para saber mais, confira Blog: restaurar um pool de SQL dedicado (anteriormente SQL DW) para uma assinatura diferente. Esse recurso agora está em disponibilidade geral para pools de SQL dedicados (anteriormente SQL DW) e pools de SQL dedicados em um workspace do Synapse. Qual é a diferença?
Abril de 2022 Designer de Banco de Dados O designer de banco de dados permite que os usuários criem visualmente bancos de dados no Synapse Studio sem escrever uma única linha de código. Para sabre mais, confira Anúncio de disponibilidade geral do Designer de Banco de Dados. Leia mais sobre bancos de dados lake e saiba Como modificar um banco de dados lake existente usando o designer de banco de dados.
Abril de 2022 Modelos de base de dados Novos modelos de base de dados específicos do setor foram introduzidos no blog de Disponibilidade Geral de Modelos de Base de Dados do Synapse. Saiba mais sobre modelos de base de dados e a experiência de exploração aprimorada.
Abril de 2022 Função RBAC de Monitoramento do Synapse A função RBAC (controle de acesso baseado em função) de Monitoramento do Synapse permite que uma persona de usuário monitore a execução de pipelines do Synapse e aplicativos Spark sem a capacidade de executar ou cancelar a execução desses aplicativos. Para saber mais, confira as Funções RBAC do Synapse.
Março de 2022 Flowlets Flowlets ajudam você a criar partes da nova lógica de fluxo de dados ou a extrair partes de um fluxo de dados existente e salvá-las como artefato separado dentro do workspace do Synapse. Em seguida, é possível reutilizar esses Flowlets dentro de outros fluxos de dados. Para saber mais, examine a postagem no blog de anúncio de GA do Flowlets e leia Flowlets no fluxo de dados de mapeamento.
Março de 2022 Conectores do feed de alterações As transformações de fonte de fluxo de dados do feed de CDA (captura de dados de alterações) para o Azure Cosmos DB, o Armazenamento de Blobs do Azure, o ADLS Gen1, o ADLS Gen2 e o CDM (Common Data Model) já estão em disponibilidade geral. Simplesmente marcando uma caixa, você diz ao ADF para gerenciar um ponto de verificação automaticamente e ler apenas as linhas mais recentes que foram atualizadas ou inseridas desde a última execução de pipeline. Para saber mais, examine a postagem no blog da visualização de GA dos conectores do Feed de Alterações e leia Copiar e transformar dados no Azure Data Lake Storage Gen2 usando o Azure Data Factory ou o Azure Synapse Analytics.
Março de 2022 Criptografia no nível da coluna para pools de SQL dedicados A criptografia no nível da coluna agora está em disponibilidade geral para uso em servidores lógicos novos e existentes do SQL do Azure com pools de SQL dedicados do Azure Synapse, e pools de SQL dedicados em workspaces Azure Synapse. O suporte do SSDT (SQL Server Data Tools) para criptografia no nível da coluna para os pools de SQL dedicados está disponível a partir da versão prévia 17.2 build 2 do Visual Studio 2022.
Março de 2022 Conector CDM (Common Data Model) do Spark do Synapse O leitor/gravador de formato CDM permite que um programa Spark Leia e grave entidades CDM em uma pasta CDM por meio de quadros de dados do Spark. Para saber mais, veja como o conector do CDM dá suporte à leitura, gravação de dados, exemplos e problemas conhecidos.
Novembro de 2021 PREDICT A sintaxe PREDICT T-SQL agora está em disponibilidade geral para pools de SQL dedicados. Introdução ao Assistente de pontuação do modelo de machine learning para pools de SQL dedicados.
Outubro de 2021 Funções RBAC do Synapse funções RBAC (controle de acesso baseado em função) do Synapse agora estão em disponibilidade geral. Saiba mais sobre as funções RBAC do Synapse e o RBAC (controle de acesso baseado em função) do Azure Synapse usando o PowerShell.

Comunidade

Esta seção é um arquivo das oportunidades da comunidade do Azure Synapse Analytics e o programa de influenciadores do Azure Synapse da Microsoft.

Mês Recurso Saiba mais
Maio de 2022 Programa Influenciador do Azure Synapse Inscreva-se no programa gratuito Influenciadores do Azure Synapse e conecte-se com uma comunidade de usuários do Azure Synapse que se dedicam a ajudar outras pessoas a aproveitar mais a análise na nuvem. Registre-se agora na próxima sessão de Pergunte aos Especialistas do programa Influenciadores do Azure Synapse. A participação é gratuita e todos são bem-vindos para participar e ingressar na discussão sobre tópicos relacionados ao Synapse. Você pode assistir a eventos de Pergunte aos Especialistas gravados anteriormente no canal do Azure Synapse no YouTube.
Março de 2022 Série de vídeos no YouTube da Microsoft MVP sobre o Azure Synapse Analytics Uma atividade conjunta com a equipe de produtos Azure Synapse e a comunidade Microsoft MVP, uma nova série de vídeos da MVP no YouTube sobre os recursos do Azure Synapse foi lançada. Veja mais no canal do YouTube do Azure Synapse Analytics.

Apache Spark para Azure Synapse Analytics

Esta seção é um arquivo dos novos recursos e funcionalidades recentes do Apache Spark para Azure Synapse Analytics.

Mês Recurso Saiba mais
Maio de 2022 Conector de pool de SQL dedicado do Azure Synapse para Apache Spark agora disponível no Python Anteriormente, o Conector de Pool de SQL Dedicado do Azure Synapse para Apache Spark só estava disponível usando Scala. Agora, o conector de pool de SQL dedicado para Apache Spark pode ser usado com Python no Spark 3.
Maio de 2022 Gerenciar a configuração do Apache Spark no Azure Synapse Com o novo recurso de configurações do Apache Spark, é possível criar um artefato de configuração autônomo do Spark com sugestões automáticas e regras de validação internas. O artefato de configuração do Spark permite que você compartilhe sua configuração do Spark dentro de workspaces do Azure Synapse e entre eles. Você também pode associar facilmente sua configuração do Spark a um pool do Spark, um Notebook e uma definição de trabalho do Spark para reutilizar e minimizar a necessidade de copiar a configuração do Spark em vários lugares.
Abril de 2022 Apache Spark 3.2 para Synapse Analytics Apache Spark 3.2 para Synapse Analytics com disponibilidade de versão prévia. Examine as notas oficiais sobre a versão do Spark 3.2 e as diretrizes de migração entre o Spark 3.2 e 3.1 para avaliar as possíveis alterações nos aplicativos. Para saber mais, veja o suporte à versão do Apache Spark e o Azure Synapse Runtime para Apache Spark 3.2.
Abril de 2022 Parametrização para definição de trabalho do Spark Agora é possível atribuir parâmetros dinamicamente com base em variáveis, metadados ou definindo parâmetros específicos do Pipeline para a atividade de definição de trabalho do Spark. Para saber mais, veja Transformar dados com a definição de trabalho do Apache Spark.
Abril de 2022 Instantâneo do notebook do Apache Spark Você pode acessar um instantâneo do notebook quando há uma falha de execução do notebook do pipeline ou quando há um trabalho do notebook de longa execução. Para saber mais, veja Transformar dados executando um notebook do Synapse e Introdução aos utilitários do Microsoft Spark.
Março de 2022 Conector CDM (Common Data Model) do Spark do Synapse O leitor/gravador de formato CDM permite que um programa Spark Leia e grave entidades CDM em uma pasta CDM por meio de quadros de dados do Spark. Para saber mais, veja como o conector do CDM dá suporte à leitura, gravação de dados, exemplos e problemas conhecidos.
Março de 2022 Otimização de desempenho para o conector de pool de SQL dedicado do Synapse Spark As novas melhorias no Conector de Pool de SQL Dedicado do Azure Synapse para Apache Spark reduzem a movimentação de dados e aproveitam COPY INTO. Testes de desempenho indicaram melhoria de até 5x em relação à versão anterior. Nenhuma ação do usuário é necessária para aproveitar esses aprimoramentos. Para saber mais, confira Blog: Conector de Pool de SQL Dedicado (DW) do Synapse Spark: Melhorias de Desempenho.
Março de 2022 Suporte para todas as opções de SaveMode do Dataframe do Spark O Conector de Pool de SQL Dedicado Azure Synapse para Apache Spark agora dá suporte a todas as quatro opções de SaveMode do Dataframe do Spark: Acrescentar, Substituir, ErrorIfExists, Ignorar. Para obter mais informações sobre o SaveMode do Spark, leia a documentação oficial do Apache Spark.
Março de 2022 Apache Spark no Recurso de Cache Inteligente do Azure Synapse O Cache Inteligente para Spark armazena automaticamente cada leitura dentro do espaço de armazenamento em cache alocado, detectando alterações de arquivos subjacentes e atualizando os arquivos para fornecer os dados mais recentes. Para saber mais sobre essa versão prévia do recurso, confira como Habilitar/desabilitar o cache para o pool do Apache Spark ou veja a postagem no blog.

Integração de dados

Esta seção é um arquivo dos novos recursos e funcionalidades recentes da Integração de dados do Azure Synapse Analytics. Saiba como Carregar dados no Azure Synapse Analytics usando um pipeline do Synapse ou ADF (Azure Data Factory).

Mês Recurso Saiba mais
Junho de 2022 Versão prévia do conector de CDA da SAP Um novo conector de dados para CDC (captura de dados de alterações) da SAP agora está disponível em versão prévia. Para obter mais informações, consulte Anúncio da Visualização Pública da solução de CDA da SAP no Azure Data Factory e no Azure Synapse Analytics e solução de CDA da SAP no Azure Data Factory.
Junho de 2022 Opção de junção difusa na Transformação de Junção O uso de correspondência difusa com um controle deslizante de pontuação limite de similaridade foi adicionado à Transformação de Junção nos Fluxos de Dados de Mapeamento.
Junho de 2022 GA da ferramenta Map Data Temos o prazer de anunciar que a ferramenta Map Data agora estão Geralmente Disponíveis. A ferramenta Map Data é um processo guiado para ajudar você a criar mapeamentos de ETL e fluxos de dados de mapeamento dos dados de origem para o Synapse sem gravar código.
Junho de 2022 Executar novamente um pipeline com novos parâmetros Agora é possível alterar os parâmetros de pipelines ao executar novamente um pipeline na página de Monitoramento, sem precisar retornar ao editor de pipeline. Para saber mais, leia Executar novamente pipelines e atividades.
Junho de 2022 GA de Funções definidas pelo usuário As UDFs (funções definidas pelo usuário) nos fluxos de dados de mapeamento agora estão em GA (disponibilidade geral).
Maio de 2022 Exportar o monitoramento de pipeline como um CSV A capacidade de exportar o monitoramento de pipeline para CSV e outras melhorias de monitoramento foi introduzida no ADF.
Maio de 2022 Carregamento incremental automático de dados de origem do PostgreSQL e do MySQL O carregamento incremental automático de dados de origem do PostgreSQL e do MySQL para o SQL do Synapse e o Banco de Dados do Azure agora está disponível nativamente no ADF.
Maio de 2022 Tratamento de erro de transformação assert O tratamento de erro agora foi adicionado a coletores após uma transformação assert no fluxo de dados de mapeamento. Agora você pode escolher se deseja gerar as linhas com falha no coletor selecionado ou em um arquivo separado.
Maio de 2022 Edição de projeção de fluxos de dados de mapeamento Em fluxos de dados de mapeamento, agora é possível atualizar nomes e tipos de colunas de projeção de origem.
Abril de 2022 Conector Dataverse para Fluxo de Dados do Synapse O Dataverse agora é um conector de coletor e origem para Fluxos de Dados do Synapse. É possível Copiar e transformar dados do Dynamics 365 (Microsoft Dataverse) ou do Dynamics CRM usando o Azure Data Factory ou o Azure Synapse Analytics.
Abril de 2022 Tempo limite de resposta configurável de atividades da Web de Pipelines do Synapse Com a propriedade de tempo limite de resposta httpRequestTimeout, é possível definir o tempo limite da solicitação HTTP para até 10 minutos. As atividades da Web funcionam excepcionalmente bem com APIs que seguem o padrão assíncrono de solicitação-resposta, uma abordagem sugerida para a compilação de APIs Web/serviços escalonáveis.
Março de 2022 Conector sFTP para fluxos de dados do Synapse Há suporte para um conector sftp nativo em fluxos de dados do Synapse para ler e gravar dados de sFTP usando a interface visual de fluxos de dados com pouco código no Synapse. Para saber mais, confira Copiar e transformar dados no servidor SFTP por meio do Azure Data Factory ou do Azure Synapse Analytics.
Março de 2022 Melhorias no fluxo de dados para a Visualização de Dados Examine os recursos adicionados à Visualização de Dados e aprimoramentos de depuração em Fluxos de Dados de Mapeamento.
Março de 2022 Atividade de script de pipeline Agora é possível Transformar dados usando a atividade de Script para invocar comandos SQL para executar DDL e DML.
Dezembro de 2021 Partições personalizadas para o Link do Synapse para Azure Cosmos DB Melhore os tempos de execução de consulta para as consultas do Spark, criando partições personalizadas com base em campos frequentemente usados nas consultas. Para saber mais, confira Particionamento personalizado no Link do Azure Synapse para Azure Cosmos DB (versão prévia).

Modelos de base de dados e Designer de Banco de Dados

Esta seção é um arquivo dos recursos e funcionalidades recentes dos modelos de base de dados e do designer de banco de dados.

Mês Recurso Saiba mais
Abril de 2022 Designer de Banco de Dados O designer de banco de dados permite que os usuários criem visualmente bancos de dados no Synapse Studio sem escrever uma única linha de código. Para sabre mais, confira Anúncio de disponibilidade geral do Designer de Banco de Dados. Leia mais sobre bancos de dados lake e saiba Como modificar um banco de dados lake existente usando o designer de banco de dados.
Abril de 2022 Modelos de base de dados Novos modelos de base de dados específicos do setor foram introduzidos no blog de Disponibilidade Geral de Modelos de Base de Dados do Synapse. Saiba mais sobre modelos de base de dados e a experiência de exploração aprimorada.
Abril de 2022 Clonar banco de dados do lake No Synapse Studio, agora é possível clonar um banco de dados usando o menu de ação disponível no banco de dados do lake. Para saber mais, veja Como clonar um banco de dados baseado em data lake.
Abril de 2022 Usar curingas para especificar hierarquias de pastas personalizadas Os bancos de dados do lake ficam acima dos dados contidos no lake e esses dados podem residir em pastas aninhadas que não se encaixam em padrões de partição limpa. Agora é possível usar curingas para especificar hierarquias de pasta personalizadas. Para saber mais, veja Como modificar um data lake.
Janeiro de 2022 Novos modelos de base de dados Saiba mais sobre novos modelos automotivos, de genômica, manufatura e produtos farmacêuticos específicos do setor e introdução aos modelos de base de dados na galeria do Synapse Studio.

Experiência do desenvolvedor

Esta seção é um arquivo das melhorias de qualidade de vida e recursos recentes para desenvolvedores no Azure Synapse Analytics.

Mês Recurso Saiba mais
Maio de 2022 Relatório do Analisador do Azure Synapse atualizado Saiba mais sobre os novos recursos na versão 2.0 do relatório do Analisador do Synapse.
Abril de 2022 Relatório do Analisador do Azure Synapse O Relatório do Analisador do Azure Synapse ajuda a identificar problemas comuns que podem estar presentes no banco de dados e possivelmente causar problemas de desempenho.
Abril de 2022 Referenciar notebooks não publicados Agora, ao usar notebooks %run, é possível habilitar a 'referência de notebook não publicado', que permite referenciar notebooks não publicados. Quando a opção está habilitada, a execução do notebook busca o conteúdo atual no cache da Web dele, o que significa que as alterações no editor podem ser referenciadas imediatamente por outros notebooks sem que tenham sido publicadas (modo Dinâmico) ou confirmadas (modo Git).
Março de 2022 Células de código com exceção para mostrar a saída padrão Agora, nos notebooks Synapse, as mensagens de saída padrão e de exceção são mostradas quando uma instrução de código falha nas linguagens Python e Scala. Para obter exemplos, consulte Notebooks Synapse: células de código com exceção para mostrar a saída padrão.
Março de 2022 A saída parcial está disponível para execução de células de código do notebook Agora, nos notebooks Synapse, é possível ver qualquer coisa que você escreve (com comandos println, por exemplo) como a célula é executada, em vez de esperar até que ela termine. Para ver exemplos, confira Notebooks Synapse: a saída parcial está disponível para execução de células de código do notebook .
Março de 2022 Controlar dinamicamente a configuração de sessão do Spark com parâmetros de pipeline Agora, nos notebooks Synapse, é possível usar parâmetros de pipeline para configurar a sessão com o notebook %%configure magic. Para ver exemplos, confira notebooks Synapse: controlar dinamicamente a configuração de sessão do Spark com parâmetros de pipeline.
Março de 2022 Reutilizar e gerenciar sessões de notebook Agora, nos notebooks do Azure Synapse, é fácil reutilizar uma sessão ativa de maneira conveniente sem precisar iniciar uma nova, além de ver e gerenciar suas sessões ativas na lista Sessões ativas. Para exibir suas sessões, selecione os três pontos no notebook e selecione Gerenciar sessões. Para ver exemplos, confira Notebooks Synapse: reutilizar e gerenciar sessões de notebook.
Março de 2022 Suporte para registro em log do Python Agora nos notebooks Synapse, qualquer coisa gravada pelo módulo de log do Python é capturada, além dos logs de driver. Para ver exemplos, confira Notebooks Synapse: suporte para registro em log do Python.

Machine Learning

Esta seção é um arquivo dos recursos e aprimoramentos recentes para modelos de machine learning no Azure Synapse Analytics.

Mês Recurso Saiba mais
Junho de 2022 Treinamento distribuído de rede neural profunda (versão prévia) O runtime do Azure Synapse também inclui bibliotecas de suporte, como Petastorm e Horovod, que são comumente usadas para treinamento distribuído. Este recurso está disponível atualmente em versão prévia. Os runtimes do Azure Synapse Analytics para o Apache Spark 3.1 e 3.2 agora também incluem suporte para as bibliotecas de aprendizado profundo mais comuns, como TensorFlow e PyTorch. Para saber mais sobre como aproveitar essas bibliotecas nos pools acelerados por GPU do Azure Synapse Analytics, leia os Tutoriais sobre aprendizado profundo.
Novembro de 2021 PREDICT A sintaxe PREDICT T-SQL agora está em disponibilidade geral para pools de SQL dedicados. Introdução ao Assistente de pontuação do modelo de machine learning para pools de SQL dedicados.

Exemplos e diretrizes

Esta seção é um arquivo das diretrizes e recursos de projeto de exemplo para o Azure Synapse Analytics.

Mês Recurso Saiba mais
Junho de 2022 Análise do Azure Orbital com o Synapse Analytics Agora oferecemos uma solução de exemplo de análise do Azure Orbital que mostra uma implementação de ponta a ponta de extração, carregamento, transformação e análise de dados espaciais usando bibliotecas geoespaciais e modelos de IA com o Azure Synapse Analytics. A solução de amostra também demonstra como integrar modelos dos serviços de IA do Azure específicos geoespaciais, modelos de IA de parceiros e modelos do tipo "traga seus próprios dados".
Junho de 2022 Guias de migração para Oracle Um novo guia de migração criado pela Microsoft para Oracle para o Azure Synapse Analytics agora está disponível. Design e desempenho para migrações do Oracle.
Junho de 2022 Success by design do Azure Synapse O guia estratégico de prova de conceito do Azure Synapse fornece um guia para definição de escopo, design, execução e avaliação de uma prova de conceito para cargas de trabalho SQL ou Spark.
Junho de 2022 Guias de migração para Teradata Um novo guia de migração criado pela Microsoft para Teradata para o Azure Synapse Analytics agora está disponível. Design e desempenho para migrações do Teradata.
Junho de 2022 Guias de migração para o IBM Netezza Um novo guia de migração criado pela Microsoft para IBM Netezza para o Azure Synapse Analytics agora está disponível. Design e desempenho para migrações do IBM Netezza.

Segurança

Esta seção é um arquivo dos recursos e configurações de segurança recentes no Azure Synapse Analytics.

Mês Recurso Saiba mais
Abril de 2022 Função RBAC de Monitoramento do Synapse A função RBAC (controle de acesso baseado em função) de Operador de Monitoramento do Synapse permite que uma persona de usuário monitore a execução de pipelines do Synapse e aplicativos Spark sem a capacidade de executar ou cancelar a execução desses aplicativos. Para saber mais, confira as Funções RBAC do Synapse.
Março de 2022 Impor a versão mínima do TLS Agora é possível aumentar ou reduzir a versão mínima do TLS para pools de SQL dedicados em workspaces do Synapse. Para saber mais, confira Configurações de conectividade do SQL do Azure. A API do SQL gerenciada pelo workspace pode ser usada para modificar as configurações mínimas do TLS.
Março de 2022 O Azure Synapse Analytics agora dá suporte à autenticação única do Azure AD (Azure Active Directory) Agora é possível usar a autenticação do Azure Active Directory para gerenciar centralmente o acesso a todos os recursos Azure Synapse, incluindo pools de SQL. Também é possível desabilitar a autenticação no momento da criação ou após a criação de um workspace pelo portal do Azure.
Dezembro de 2021 Identidades gerenciadas atribuídas pelo usuário Agora é possível usar identidades gerenciadas atribuídas pelo usuário com serviços vinculados para autenticação em Pipelines e Fluxos de Dados do Synapse. Para saber mais, confira Credenciais no Azure Data Factory e no Azure Synapse.
Dezembro de 2021 Procurar pastas do ADLS Gen2 em um workspace do Azure Synapse Analytics Agora é possível procurar e proteger um contêiner ou uma pasta do ADLS Gen2 (Azure Data Lake Storage Gen2) no workspace do Azure Synapse Analytics conectando-se a um contêiner específico ou a uma pasta específica no Synapse Studio.
Dezembro de 2021 TLS 2.1 imposto para novos Workspaces do Synapse A partir de dezembro de 2021, um requisito para o TLS 1.2 será implementado somente para novos workspaces do Azure Synapse.

Azure Synapse Data Explorer

O Azure Data Explorer (ADX) é um serviço de exploração de dados rápido e altamente escalonável para dados de log e telemetria. Ele oferece ingestão de Hubs de Eventos, Hubs IoT, blobs gravados em contêineres de blob e trabalhos do Azure Stream Analytics. Esta seção é um arquivo dos novos recursos e funcionalidades recentes do Azure Synapse Data Explorer e da KQL (Linguagem de Consulta Kusto). Leia mais sobre Qual é a diferença entre o Azure Synapse Data Explorer e o Azure Data Explorer? (versão prévia)

Mês Recurso Saiba mais
Junho de 2022 Nova home page do Web Explorer A nova home page do Web Explorer facilitar ainda mais começar a usar o Synapse Web Explorer.
Junho de 2022 Galeria de amostras do Web Explorer A galeria de amostras do Web Explorer fornece exemplos completos de como os clientes aproveitam o Synapse Data Explorer em casos de uso populares, como Dados de Logs, Dados de Métricas, Dados de IoT e exemplos básicos de Big Data.
Junho de 2022 Funcionalidades de detalhamento de painéis do Web Explorer Agora é possível usar detalhamentos como parâmetros nos painéis do Synapse Web Explorer.
Junho de 2022 Configurações de fuso horário para o Web Explorer As Configurações de fuso horário do Web Explorer agora se aplicam aos resultados da Consulta e ao Painel. Ao alterar o fuso horário, os painéis serão atualizados automaticamente para apresentar os dados com o fuso horário selecionado.
Maio de 2022 Consulta dinâmica do Synapse Data Explorer no Excel Usando a novo recurso Abrir no Excel da experiência da Web do Data Explorer, agora é possível fornecer acesso aos resultados dinâmicos de sua consulta compartilhando a pasta de trabalho do Excel conectada com colegas e membros da equipe. Você pode abrir a consulta dinâmica em uma pasta de trabalho do Excel e atualizá-la diretamente do Excel para obter os resultados de consulta mais atualizados. Para criar uma pasta de trabalho do Excel conectada ao Synapse Data Explorer, comece executando uma consulta na experiência da Web.
Maio de 2022 Usar identidades gerenciadas para tabelas externas do SQL Server Com o suporte à Identidade Gerenciada, a definição de tabela do Data Explorer do Synapse agora é mais simples e segura. Agora é possível usar identidades gerenciadas em vez de inserir suas credenciais. Para saber mais sobre tabelas externas, leia Criar e alterar tabelas externas do SQL Server.
Maio de 2022 Conector do Azure Synapse Data Explorer para Microsoft Power Automate, Aplicativos Lógicos e Power Apps Os novos conectores do Azure Data Explorer para Power Automate estão em GA (disponibilidade geral). Para saber mais, leia o Conector do Azure Data Explorer para Microsoft Power Automate, o Aplicativo Lógico da Microsoft e o Azure Data Explorer e a capacidade de Criar um aplicativo do Power Apps para consultar dados no Azure Data Explorer.
Maio de 2022 Roteamento de eventos dinâmicos do hub de eventos para vários bancos de dados Agora, oferecemos suporte ao roteamento de dados de eventos do Hub de Eventos do Azure/Hub IoT do Azure/Grade de Eventos do Azure para vários bancos de dados hospedados em um único cluster do ADX. Para saber mais sobre o roteamento dinâmico, leia Ingestão do hub de eventos.
Maio de 2022 Configurar um banco de dados usando um script embutido de KQL como parte do modelo de implantação do ARM JSON A execução de um script de KQL (Linguagem de Consulta Kusto) para configurar o banco de dados agora pode ser feita usando um script embutido fornecido em linha como um parâmetro para um modelo do ARM JSON.

O Link do Azure Synapse é um sistema automatizado para replicar dados do SQL Server ou do Banco de Dados SQL do Azure, do Azure Cosmos DB ou do Dataverse no Azure Synapse Analytics. Esta seção é um arquivo de notícias sobre o recurso do Link do Azure Synapse.

Mês Recurso Saiba mais
Maio de 2022 Versão prévia do Link do Azure Synapse para SQL Server O Link do Azure Synapse está em versão prévia para ambos o SQL Server 2022 e o Banco de Dados SQL do Azure. O recurso Link do Azure Synapse oferece replicação de dados quase em tempo real com pouco e sem código dos repositórios operacionais baseados em SQL no Azure Synapse Analytics. Fornece relatórios de BI sobre dados operacionais quase em tempo real, com impacto mínimo no repositório operacional. A versão prévia do Link do Azure Synapse para SQL foi anunciada. Para saber mais, confira Blog: aprofundamento do Link do Azure Synapse para SQL.

SQL do Synapse

Esta seção é um arquivo dos aprimoramentos e recursos recentes em pools de SQL no Azure Synapse Analytics.

Mês Recurso Saiba mais
Junho de 2022 Aumento do limite de tamanho do conjunto de resultados O tamanho máximo dos conjuntos de resultados de consulta em pools de SQL sem servidor foi aumentado de 200 GB para 400 GB.
Maio de 2022 Cálculo automático do comprimento da coluna de caracteres para pools de SQL sem servidor Não é mais necessário definir comprimentos de colunas de caracteres para pools de SQL sem servidor no data lake. É possível obter o desempenho de consulta ideal sem precisar definir o esquema, pois o pool de SQL sem servidor usará comprimentos de coluna médios calculados automaticamente e estimativa de cardinalidade.
Abril de 2022 GA da restauração entre assinaturas para SQL do Azure Synapse Com a atualização 3.8 do módulo Az.Sql do PowerShell, o cmdlet Restore-AzSqlDatabase pode ser usado para a restauração entre assinaturas de pools de SQL dedicados. Para saber mais, confira Restaurar um pool de SQL dedicado para uma assinatura diferente. Esse recurso agora está em disponibilidade geral para pools de SQL dedicados (anteriormente SQL DW) e pools de SQL dedicados em um workspace do Synapse. Qual é a diferença?
Abril de 2022 Recuperar pool de SQL de workspace ou servidor descartado Com os cmdlets de restauração do PowerShell nos módulos Az.Sql e Az.Synapse, agora é possível fazer a restauração de um servidor ou workspace excluído sem preencher um tíquete de suporte. Para saber mais, confira Restaurar um pool de SQL dedicado de um workspace do Azure Synapse excluído ou restaurar um pool de SQL dedicado autônomo (anteriormente SQL DW) de um servidor excluído, dependendo do cenário.
Março de 2022 Criptografia no nível da coluna para pools de SQL dedicados A criptografia no nível da coluna agora está em disponibilidade geral para uso em servidores lógicos novos e existentes do SQL do Azure com pools de SQL dedicados do Azure Synapse, e pools de SQL dedicados em workspaces Azure Synapse. O suporte do SSDT (SQL Server Data Tools) para criptografia no nível da coluna para os pools de SQL dedicados está disponível a partir da versão prévia 17.2 build 2 do Visual Studio 2022.
Março de 2022 Execução paralela para CETAS Agora é possível obter um melhor desempenho para instruções CREATE TABLE AS SELECT (CETAS) e SELECT subsequentes usando planos de execução paralelos. Para obter exemplos, confira Melhor desempenho para CETAS e SELECTs subsequentes.

Atualizações mensais anteriores no Azure Synapse Analytics

Veja abaixo o formato anterior das atualizações mensais de notícias do Synapse Analytics.

Atualização de junho de 2022

Geral

  • Análise do Azure Orbital com o Synapse Analytics – Agora oferecemos uma solução de exemplo de análise do Azure Orbital que mostra uma implementação de ponta a ponta de extração, carregamento, transformação e análise de dados espaciais usando bibliotecas geoespaciais e modelos de IA com o Azure Synapse Analytics. A solução de amostra também demonstra como integrar modelos dos serviços de IA do Azure específicos geoespaciais, modelos de IA de parceiros e modelos do tipo "traga seus próprios dados".

  • Success by Design do Azure Synapse – O sucesso do projeto não ocorre por acaso e requer planejamento e execução criteriosos. Os guias estratégicos Success by Design do Synapse Analytics estão disponíveis. O guia estratégico de prova de conceito do Azure Synapse fornece um guia para definição de escopo, design, execução e avaliação de uma prova de conceito para cargas de trabalho SQL ou Spark. Esses guias contêm as melhores práticas das implementações de solução mais desafiadoras e complexas incorporadas no Azure Synapse. Para saber mais sobre o guia estratégico da prova de conceito do Azure Synapse, leia Success by Design.

SQL

Aumento do limite de tamanho do conjunto de resultados – Sabemos que você recorre ao Azure Synapse Analytics para trabalhar com grandes volumes de dados. Pensando nisso, o tamanho máximo dos conjuntos de resultados de consulta nos pools de SQL Sem Servidor foi aumentado de 200 GB para 400 GB. Esse limite é compartilhado entre consultas simultâneas. Para saber mais sobre esse aumento do limite de tamanho e outras restrições, leia Autoajuda para pool de SQL sem servidor.

Synapse data explorer

  • Nova página inicial do Web Explorer – A nova página inicial do Synapse Web Explorer torna ainda mais fácil começar a usar o Synapse Web Explorer. Agora a página inicial do Web Explorer inclui as seguintes seções:

    • Introdução – Galeria de exemplos que oferece consultas e painéis de exemplo para casos de uso populares do Synapse Data Explorer.
    • Recomendações – Módulos de aprendizado populares criados para ajudar você a dominar o Synapse Web Explorer e o KQL.
    • Documentação – Documentação básica e avançada do Synapse Web Explorer.

  • Galeria de exemplos do Web Explorer – Uma ótima maneira de aprender sobre um produto é ver como ele está sendo usado por outras pessoas. A galeria de exemplos do Web Explorer fornece exemplos de ponta a ponta de como os clientes utilizam os casos de uso populares do Synapse Data Explorer, como os exemplos de Dados de Logs, Dados de Métricas, Dados de IoT e Big Data Básico. Cada exemplo inclui o conjunto de dados, as consultas devidamente documentadas e um painel de exemplo. Para saber mais sobre a galeria de exemplos, leia Azure Data Explorer em 60 minutos com a nova galeria de exemplos.

  • Funcionalidades de detalhamento dos painéis do Web Explorer – Agora você pode adicionar funcionalidades de detalhamento aos painéis do Synapse Web Explorer. As novas funcionalidades de detalhamento permitem que você alterne facilmente entre as páginas do painel. Isso é possível usando um filtro contextual para conectar os painéis. Esses detalhamentos contextuais são definidos ao editar as interações visuais do bloco selecionado no painel. Para saber mais sobre as funcionalidades de detalhamento, leia Usar detalhamentos como parâmetros de painel.

  • Configurações de Fuso Horário do Web Explorer – A capacidade de exibir dados em fusos horários diferentes é muito eficiente. Agora você pode decidir exibir os dados no horário UTC, no fuso horário local ou no fuso horário do dispositivo/computador monitorado. Agora as configurações de Fuso Horário do Web Explorer se aplicam aos resultados da Consulta e ao Painel. Ao alterar o fuso horário, os painéis serão atualizados automaticamente para apresentar os dados com o fuso horário selecionado. Para obter mais informações sobre as configurações de fuso horário, leia Alterar datetime para o fuso horário específico.

Integração de dados

  • Opção Junção Difusa na Transformação de Junção – A correspondência difusa com uma opção de pontuação de similaridade deslizante foi adicionada à transformação de Junção nos Fluxos de Dados de Mapeamento. Você pode criar junções internas e externas em valores de dados semelhantes, em vez de correspondências exatas. Anteriormente, você teria que usar uma correspondência exata. O valor de escala deslizante inclui de 60% a 100%, facilitando o ajuste do limite de similaridade da correspondência. Para saber mais sobre junções difusas, leia Transformação de junção no fluxo de dados de mapeamento.

  • Map Data [Disponibilidade Geral] - Temos o prazer de anunciar que a ferramenta Map Data agora tem Disponibilidade Geral. A ferramenta Map Data é um processo guiado para ajudar você a criar mapeamentos de ETL e fluxos de dados de mapeamento dos dados de origem para o Synapse sem gravar código. Para saber mais sobre o Map Data, leia Map Data no Azure Synapse Analytics.

  • Executar novamente o pipeline com novos parâmetros – Agora você pode alterar os parâmetros de pipeline ao executar novamente um pipeline na página Monitoramento, sem precisar retornar ao editor de pipeline. Depois de executar um pipeline com novos parâmetros, você pode monitorar facilmente a nova execução em relação às antigas, sem precisar alternar entre páginas. Para saber mais sobre como executar novamente pipelines com novos parâmetros, leia Executar novamente pipelines e atividades.

  • Funções Definidas pelo Usuário [Disponibilidade Geral] - Temos o prazer de anunciar que as funções definidas pelo usuário (UDFs) agora têm Disponibilidade Geral. Com as funções definidas pelo usuário, você pode criar expressões personalizadas que podem ser reutilizadas em vários fluxos de dados de mapeamento. Você não precisa mais usar a mesma manipulação de cadeia de caracteres, cálculos matemáticos ou outras lógicas complexas várias vezes. As funções definidas pelo usuário serão agrupadas em bibliotecas para ajudar os desenvolvedores a agrupar conjuntos comuns de funções. Para saber mais sobre funções definidas pelo usuário, leia Funções definidas pelo usuário em fluxos de dados de mapeamento.

Aprendizado de máquina

Treinamento Distribuído de Rede Neural Profunda com Horovod e Petastorm [Visualização Pública] – Para simplificar o processo de criação e gerenciamento de pools acelerados por GPU, o Azure Synapse cuida da pré-instalação de bibliotecas de baixo nível e da configuração de todos os requisitos de rede complexos entre os nós de computação. Essa integração permite aos usuários comecem a trabalhar com pools acelerados por GPU em apenas alguns minutos.

Agora, o Azure Synapse Analytics fornece suporte interno para infraestrutura de aprendizado profundo. Os runtimes do Azure Synapse Analytics para o Apache Spark 3.1 e 3.2 incluem suporte para as bibliotecas de aprendizado profundo mais comuns, como TensorFlow e PyTorch. O runtime do Azure Synapse também inclui bibliotecas de suporte, como Petastorm e Horovod, que são comumente usadas para treinamento distribuído. Esse recurso está disponível atualmente em Visualização Pública.

Para saber mais sobre como aproveitar essas bibliotecas nos pools acelerados por GPU do Azure Synapse Analytics, leia os Tutoriais sobre aprendizado profundo.

Atualização de maio de 2022

As atualizações a seguir são novidades deste mês no Azure Synapse Analytics.

Geral

Conecte-se ao novo programa Azure Synapse Influencer!Junte-se a uma comunidade de influenciadores de Azure Synapse que estão ajudando uns aos outros a alcançar mais com a análise de nuvem! O programa Azure Synapse Influencer reconhece usuários e promotores do Azure Synapse Analytics que apoiam ativamente a comunidade compartilhando conteúdo, anúncios e notícias de produtos relacionados ao Synapse por meio das mídias sociais.

SQL

  • Guia de Migração do Data Warehouse para Pools de SQL Dedicados no Azure Synapse Analytics – Com os benefícios que a migração de nuvem oferece, ouvimos dizer que muitas vezes você procura etapas, processos ou diretrizes a seguir para migrações rápidas e fáceis de ambientes de data warehouse existentes. Acabamos de lançar um conjunto de Guias de migração do Data Warehouse para facilitar a transição para pools de SQL dedicados no Azure Synapse Analytics.

  • Cálculo automático do comprimento da coluna de caracteres – não é mais necessário definir comprimentos de coluna de caractere! Os pools de SQL sem servidor permitem consultar arquivos no data lake sem saber o esquema antecipadamente. A melhor prática era especificar os comprimentos das colunas de caracteres para obter o desempenho ideal. Agora, não é mais assim! Com esse novo recurso, você pode obter o desempenho de consulta ideal sem precisar definir o esquema. O pool de SQL sem servidor calculará o comprimento médio da coluna para cada coluna de caractere inferida ou coluna de caractere definida como maior que 100 bytes. O esquema permanecerá o mesmo, enquanto o pool de SQL sem servidor usará os comprimentos de coluna médio calculados internamente. Ele também calculará automaticamente a estimativa de cardinalidade no caso de não haver estatística criada anteriormente.

Apache Spark para o Synapse

  • Conector do Pool de SQL Dedicado do Azure Synapse para Apache Spark agora disponível em Python – anteriormente, o conector do pool de SQL dedicado do Azure Synapse só estava disponível usando o Scala. Agora, ele pode ser usado com Python no Spark 3. A única diferença entre as implementações do Scala e do Python é o identificador de retorno de chamada opcional do Scala, que permite que você receba métricas pós-gravação.

    Agora há suporte para o seguinte em Python no Spark 3:

    • Leitura usando a autenticação do Azure AD (Active Directory) ou autenticação básica
    • Gravação em tabela interna usando a Autenticação do Azure AD ou a autenticação básica
    • Gravação em tabela externa usando a Autenticação do Azure AD ou a autenticação básica

    Para saber mais sobre o conector no Python, leia Conector do Pool de SQL Dedicado do Azure Synapse para Apache Spark.

  • Gerenciar a configuração do Apache Spark no Azure Synapse – o gerenciamento de configuração do Apache Spark é sempre uma tarefa desafiadora porque o Spark tem centenas de propriedades. Também é desafiador para você saber o valor ideal para as configurações do Spark. Com o novo recurso de gerenciamento de configuração do Spark, você pode criar um artefato de configuração autônomo do Spark com sugestões automáticas e regras de validação internas. O artefato de configuração do Spark permite que você compartilhe sua configuração do Spark dentro de workspaces do Azure Synapse e entre eles. Você também pode associar facilmente sua configuração do Spark a um pool do Spark, um Notebook e uma definição de trabalho do Spark para reutilizar e minimizar a necessidade de copiar a configuração do Spark em vários lugares. Para saber mais sobre o novo recurso de gerenciamento de configuração do Spark, leia Gerenciar a configuração do Apache Spark.

Synapse Data Explorer

  • Consulta ao vivo do Synapse Data Explorer no Excel – usando o novo recurso Abrir no Excel da experiência da Web do Data Explorer, agora você pode fornecer acesso aos resultados dinâmicos de sua consulta compartilhando a pasta de trabalho do Excel conectada com colegas e membros da equipe.  Você pode abrir a consulta dinâmica em uma pasta de trabalho do Excel e atualizá-la diretamente do Excel para obter os resultados de consulta mais atualizados. Para saber mais sobre a consulta ao vivo do Excel, leia Abrir consulta ao vivo no Excel.

  • Usar identidades gerenciadas para tabelas externas do SQL Server – um dos principais benefícios do Azure Synapse é a capacidade de reunir integração de dados, armazenamento de dados corporativos e análise de Big Data. Com o suporte à Identidade Gerenciada, a definição de tabela do Data Explorer do Synapse agora é mais simples e segura. Agora você pode usar identidades gerenciadas em vez de inserir suas credenciais.

    Uma tabela externa do SQL é uma entidade de esquema que faz referência a dados armazenados fora do banco de dados do Data Explorer do Synapse. Usando o comando Criar e alterar tabelas externas do SQL Server, as tabelas externas do SQL podem ser facilmente adicionadas ao esquema de banco de dados do Data Explorer do Synapse.

    Você pode saber mais sobre identidades gerenciadas, leia Visão geral de identidades gerenciadas.

    Para saber mais sobre tabelas externas, leia Criar e alterar tabelas externas do SQL Server.

  • O novo módulo KQL Learn (2 de 3) está ativo. – O poder do KQL (Linguagem de Consulta Kusto) é a simplicidade dele para consultar conjuntamente dados estruturados, semiestruturados e não estruturados. Para facilitar o seu aprendizado de KQL, estamos lançando módulos do Learn. Anteriormente, lançamos Escreva sua primeira consulta com a Linguagem de Consulta Kusto. Este mês, foi lançado Obter insights de seus dados usando a Linguagem de Consulta Kusto.

    O KQL é a linguagem de consulta usada para consultar Big Data no Data Explorer do Synapse. O KQL tem uma comunidade de usuários em rápido crescimento, com centenas de milhares de desenvolvedores, engenheiros de dados, analistas de dados e alunos.

    Confira o módulo de KQL do Learn mais recente e veja por si mesmo como é fácil se tornar um mestre em KQL.

    Para saber mais sobre KQL, confira Visão geral do KQL (Linguagem de Consulta Kusto).

  • O conector do Data Explorer do Azure Synapse para Microsoft Power Automate, Aplicativos Lógicos e Power Apps [em disponibilidade geral] – o conector do Azure Data Explorer para Power Automate permite orquestrar e agendar fluxos, enviar notificações e alertas, como parte de uma tarefa agendada ou disparada. Para saber mais, leia Conector do Azure Data Explorer para Microsoft Power Automate e Exemplos de uso da Microsoft para o conector do Azure Data Explorer para Power Automate.

  • Roteamento de eventos dinâmicos do hub de eventos para vários bancos de dados – o roteamento de eventos do Hub de Eventos/Hub IoT/Grade de Eventos é uma atividade comumente executada pelos usuários do AdX (Azure Data Explorer). Anteriormente, você podia rotear eventos para apenas um banco de dados por conexão definida. Se você quisesse rotear os eventos para vários bancos de dados, precisaria criar várias conexões de cluster do ADX.

    Para simplificar a experiência, agora damos suporte ao roteamento de dados de eventos para vários bancos de dados hospedados em apenas um cluster do ADX. Para saber mais sobre o roteamento dinâmico, leia Ingestão do hub de eventos.

  • Configurar um banco de dados usando um script embutido em KQL como parte do modelo de implantação do ARM JSON – anteriormente, o Azure Data Explorer dava suporte à execução de um script em Linguagem de Consulta Kusto (KQL) para configurar seu banco de dados durante a implantação de modelo do Azure Resource Manager (ARM). Agora, isso pode ser feito usando um script embutido fornecido como um parâmetro para um modelo do ARM JSON. Para saber mais sobre como usar um script KQL embutido, leia Configurar um banco de dados usando um script da Linguagem de Consulta Kusto.

Integração de dados

  • Exportar o monitoramento de pipeline como um CSV – A capacidade de exportar o monitoramento de pipeline para CSV foi adicionada depois de receber muitas solicitações da comunidade para o recurso. Basta filtrar a tela de execuções do Pipeline para os dados desejados e selecionar Exportar para CSV*. Para saber mais sobre como exportar o monitoramento de pipeline e outros aprimoramentos de monitoramento, leia Aprimoramentos de monitoramento do Azure Data Factory.

  • Carregamento de dados facilitado para Synapse e Banco de Dados do Azure para PostgreSQL e MySQL – em uma solução de integração de dados, o carregamento incremental de dados após um carregamento de dados inicial completo é um cenário amplamente usado. O carregamento automático incremental de dados de origem agora está disponível nativamente para o SQL do Synapse e o Banco de Dados do Azure para PostgreSQL e MySQL. O usuários podem "habilitar extração incremental" e somente linhas inseridas ou atualizadas serão lidas pelo pipeline. Para saber mais sobre o carregamento incremental de dados, leia Copiar dados incrementalmente de um armazenamento de dados de origem para um armazenamento de dados de destino.

  • Funções definidas pelo usuário para fluxos de dados de mapeamento [versão prévia pública] – ouvimos que pode acontecer de você realizar a mesma manipulação de cadeia de caracteres, cálculos matemáticos ou outra lógica complexa várias vezes. Agora, com o novo recurso de função definida pelo usuário, você pode criar expressões personalizadas que podem ser reutilizadas em vários fluxos de dados de mapeamento. As funções definidas pelo usuário serão agrupadas em bibliotecas para ajudar os desenvolvedores a agrupar conjuntos comuns de funções. Depois de criar uma biblioteca de fluxo de dados, você pode adicionar suas funções definidas pelo usuário. Você pode até adicionar vários argumentos para tornar sua função mais reutilizável. Para saber mais sobre funções definidas pelo usuário, leia funções definidas pelo usuário em fluxos de dados de mapeamento.

  • Tratamento de erro de assert – o tratamento de erro agora foi adicionado aos coletores após uma transformação assert. Transformações assert permitem que você crie regras personalizadas para a qualidade de dados e a validação de dados. Agora você pode escolher se deseja gerar as linhas com falha no coletor selecionado ou em um arquivo separado. Para saber mais sobre o tratamento de erros, leia Transformação de dados assert no fluxo de dados de mapeamento.

  • Mapeamento de edição de projeção de fluxos de dados – novas atualizações de interface do usuário foram feitas na edição de projeção de origem em fluxos de dados de mapeamento. Agora é possível atualizar nomes e tipos de colunas de projeção de origem. Para saber mais sobre a edição de projeção de origem, leia a Transformação de origem no fluxo de dados de mapeamento.

Link do Azure Synapse para SQL Server – No Microsoft Build 2022, anunciamos a disponibilidade da versão prévia pública do Link do Azure Synapse para SQL, para o SQL Server 2022 e o Banco de Dados SQL do Azure. Insights de qualidade controlados por dados são essenciais para que as empresas permaneçam competitivas. A velocidade de obtenção desses insights pode fazer toda a diferença. A natureza dispendiosa e demorada dos pipelines ETL e ELT tradicionais não é mais suficiente. Com esta versão, agora você pode aproveitar a replicação de dados quase em tempo real com pouco e sem nenhum código de seus repositórios operacionais baseados em SQL para o Azure Synapse Analytics. Isso facilita a execução de relatórios de BI sobre dados operacionais quase em tempo real, com impacto mínimo no seu repositório operacional. Para saber mais, leia Anúncio da Visualização Pública do Link do Azure Synapse para SQL e assista ao nosso vídeo no YouTube.

Atualização de abril de 2022

As atualizações a seguir são novidades deste mês no Azure Synapse Analytics.

SQL

Designer e modelos de banco de dados do Synapse

  • Com base nos comentários populares dos clientes, fizemos melhorias significativas na experiência de exploração ao criar um banco de dados baseado em data lake com um modelo do setor. Para saber mais, confira Início Rápido: Criar um banco de dados baseado em data lake com modelos de banco de dados.

  • Foi adicionada a opção de clonar um banco de dados baseado em data lake. Com isso, você tem mais oportunidades de gerenciar novas versões de bancos de dados ou dar suporte a esquemas que evoluem em etapas discretas. É possível clonar rapidamente um banco de dados pelo menu de ação disponível no banco de dados baseado em data lake. Para saber mais, veja Como clonar um banco de dados baseado em data lake.

  • Agora é possível usar curingas para especificar hierarquias de pasta personalizadas. Os bancos de dados do Lake ficam acima dos dados contidos no lake e esses dados podem residir em pastas aninhadas que não se encaixam em padrões de partição limpa. Anteriormente, a consulta de bancos de dados baseados em data lake exigia que seus dados existissem em uma estrutura de diretório simples que poderia ser consultada por meio do ícone de pasta sem capacidade de especificar manualmente a estrutura de diretório ou usar caracteres curinga. Para saber mais, veja Como modificar um data lake.

Apache Spark para o Synapse

  • É um prazer anunciar a disponibilidade prévia do Apache Spark™ 3.2 no Synapse Analytics. A nova versão incorpora aprimoramentos solicitados pelos usuários e resolve mais de 1.700 tíquetes Jira. Veja as notas oficiais sobre a versão para obter a lista completa de correções e recursos e as diretrizes de migração entre o Spark 3.1 e 3.2 para avaliar possíveis alterações em seus aplicativos. Para saber mais, veja o suporte à versão do Apache Spark e o Azure Synapse Runtime para Apache Spark 3.2.

  • Uma das principais solicitações de recurso era a possibilidade de atribuir parâmetros dinamicamente com base em variáveis ou metadados ou especificar parâmetros específicos do pipeline. Agora, com a versão da parametrização para a atividade de definição de trabalho do Spark, é possível fazer exatamente isso. Para saber mais, veja Transformar dados com a definição de trabalho do Apache Spark.

  • Geralmente, recebemos solicitações dos clientes sobre o acesso ao instantâneo do Notebook quando há uma falha de execução do Notebook do Pipeline ou um trabalho de Notebook de longa execução. Com o lançamento do recurso de instantâneo do Notebook do Synapse, agora é possível exibir o instantâneo da execução da atividade do Notebook com o código original do Notebook, a saída da célula e os parâmetros de entrada. Também será possível acessar o instantâneo do Notebook na saída da célula de referência do Notebook se você se referir a outros Notebooks por meio de utilitários do Spark. Para saber mais, veja Transformar dados executando um notebook do Synapse e Introdução aos utilitários do Microsoft Spark.

Segurança

  • A função RBAC do Operador de Monitoramento do Synapse agora conta com disponibilidade geral. Desde a GA do Synapse, os clientes tem pedido uma função RBAC (controle de acesso baseado em função) com alta granularidade que permita que uma persona de usuário monitore a execução de aplicativos Spark e Pipelines do Synapse sem a capacidade de executar ou cancelar a execução desses aplicativos. Agora, os clientes podem atribuir a função de Operador de Monitoramento do Synapse a essas personas de monitoramento. Isso permite que as organizações permaneçam em conformidade, tendo flexibilidade na delegação de tarefas para pessoas ou equipes. Saiba mais em Funções RBAC do Synapse.

Integração de dados

  • A Microsoft adicionou o Dataverse como um conector de origem e coletor aos Fluxos de Dados do Synapse para que seja possível criar trabalhos de ETL de transformação de dados com pouca codificação no próprio Synapse acessando diretamente o ambiente do Dataverse. Para saber como usar esse novo conector, veja Propriedades do fluxo de dados de mapeamento.

  • Os clientes fizeram comentários sobre o tempo limite de um minuto para a atividade da Web e sobre como ele não era longo o suficiente, especialmente em casos de APIs síncronas. Agora, com a propriedade de tempo limite de resposta 'httpRequestTimeout', é possível definir o tempo limite da solicitação HTTP para até 10 minutos. Saiba mais em Melhorias no tempo limite de resposta da atividade da Web.

Experiência do desenvolvedor

  • Anteriormente, para fazer referência a um notebook em outro, somente conteúdos publicados ou confirmados poderiam ser referenciados. Agora, ao usar notebooks %run, é possível habilitar a 'referência de notebook não publicado', que permite referenciar notebooks não publicados. Quando a opção está habilitada, a execução do notebook busca o conteúdo atual no cache da Web dele, o que significa que as alterações no editor podem ser referenciadas imediatamente por outros notebooks sem que tenham sido publicadas (modo Dinâmico) ou confirmadas (modo Git). Para saber mais, veja Referência a notebooks não publicados.

Atualização de março de 2022

As atualizações a seguir são novidades deste mês no Azure Synapse Analytics.

Experiência do desenvolvedor

  • Células de código em notebooks do Synapse que resultam em exceção agora exibirão a saída padrão junto com a mensagem de exceção. Esse recurso é compatível com as linguagens Python e Scala. Para saber mais, confira o exemplo de saída quando uma instrução de código falhar.

  • Os notebooks do Synapse agora dão suporte à saída parcial ao executar células de código. Para saber mais, confira os exemplos nesta postagem no blog

  • Agora você pode ter o controle dinâmico da configuração de sessão do Spark para a atividade do notebook com parâmetros de pipeline. Para saber mais, consulte o recurso de gerenciador de variáveis de notebooks do Synapse.

  • Agora você pode reutilizar e gerenciar sessões de notebook sem precisar iniciar uma nova. Você pode conectar facilmente um notebook selecionado a uma sessão ativa na lista iniciada a partir de outro notebook. Você pode desanexar uma sessão de um notebook, interromper a sessão e monitorá-la. Para saber mais, confira como gerenciar suas sessões de notebook ativas.

  • Os notebooks do Synapse agora capturam qualquer coisa gravada pelo módulo de registro em log do Python, além dos logs de driver. Para saber mais, confira o suporte para registro em log do Python.

SQL

  • A Criptografia de Nível de Coluna para pools de SQL dedicados do Azure Synapse agora está disponível para o público geral. Com a criptografia de nível de coluna, você pode usar chaves de proteção diferentes para cada coluna com cada chave tendo suas próprias permissões de acesso. Os dados em colunas impostas por CLE são criptografados em disco e permanecem criptografados na memória até que a função DECRYPTBYKEY seja usada para descriptografá-los. Para saber mais, confira como criptografar uma coluna de dados.

  • Os pools de SQL sem servidor agora dão suporte a um melhor desempenho para CETAS (Create External Table as Select) e consultas SELECT subsequentes. As melhorias de desempenho incluem um plano de execução paralela que resulta em uma execução mais rápida do CETAS e na saída de vários arquivos. Para saber mais, consulte o artigo CETAS com SQL do Synapse e a postagem no blog

Apache Spark para o Synapse

  • O Conector do CDM (Common Data Model) do Synapse Spark agora está disponível para o público geral. O leitor/gravador de formato CDM permite que um programa Spark Leia e grave entidades CDM em uma pasta CDM por meio de quadros de dados do Spark. Para saber mais, veja como o conector do CDM dá suporte à leitura, gravação de dados, exemplos e problemas conhecidos.

  • O Conector do Pool de SQL Dedicado (DW) do Synapse Spark agora dá suporte a um desempenho aprimorado. A nova arquitetura elimina a movimentação de dados redundante e usa COPY-INTO em vez do PolyBase. Você pode autenticar pela autenticação básica de SQL ou aceitar o método de autenticação baseado no Azure Active Directory/Azure AD. Agora ele tem aproximadamente cinco vezes mais melhorias em relação à versão anterior. Para saber mais, confira Conector do Pool de SQL Dedicado do Azure Synapse para Apache Spark

  • O Conector do Pool de SQL Dedicado (DW) do Synapse Spark agora dá suporte a todas as opções do SaveMode do Dataframe do Spark. Ele dá suporte aos modos Append, Overwrite, ErrorIfExists e Ignore. Append e Overwrite são essenciais para gerenciar a ingestão de dados em escala. Para saber mais, confira suporte a SaveMode de gravação do DataFrame

  • Acelere a velocidade de execução do Spark usando o novo recurso de Cache Inteligente. Esse recurso está atualmente em visualização pública. O Cache Inteligente armazena automaticamente cada leitura dentro do espaço de armazenamento em cache alocado, detectando alterações de arquivo subjacentes e atualizando os arquivos para fornecer os dados mais recentes. Para saber mais, confira como Habilitar/desabilitar o cache do Pool do Apache Spark ou ver a postagem no blog

Segurança

Integração de dados

Atualização de fevereiro de 2022

As atualizações a seguir são novidades deste mês no Azure Synapse Analytics.

SQL

Integração de dados

Atualização de janeiro de 2022

As atualizações a seguir são novidades deste mês no Azure Synapse Analytics.

Apache Spark para o Synapse

Você já pode usar quatro novos modelos de banco de dados no Azure Synapse. Saiba mais sobre os modelos Automotivo, Genômica, Manufatura e Produtos Farmacêuticos na postagem no blog ou no artigo sobre modelos de banco de dados. Atualmente, esses modelos estão em versão prévia pública e estão disponíveis na galeria do Synapse Studio.

Machine Learning

Aprimoramentos da biblioteca do Synapse Machine Learning v0.9.5 (antiga MMLSpark). Essa versão simplifica a criação de pipelines de machine learning amplamente escalonáveis com o Apache Spark. Para saber mais, leia a postagem no blog sobre as novas funcionalidades desta versão ou confira as notas completas sobre a versão

Segurança

  • A visão geral de segurança do Azure Synapse Analytics: um white paper que aborda as cinco camadas de segurança. As camadas de segurança incluem autenticação, controle de acesso, proteção de dados, segurança de rede e proteção contra ameaças. Entenda cada recurso de segurança em detalhes para implementar uma linha de base de segurança padrão do setor e proteger seus dados na nuvem.

  • O TLS 1.2 agora é necessário para workspaces recém-criados do Azure Synapse. Para saber mais, veja como o TLS 1.2 fornece segurança aprimorada usando este artigo ou a postagem no blog. As tentativas de logon em um workspace recém-criado do Azure Synapse em conexões que usam uma versão inferior ao TLS 1.2 falharão.

Integração de dados

SQL do Synapse

Atualização de dezembro de 2021

As atualizações a seguir são novidades deste mês no Azure Synapse Analytics.

Apache Spark para o Synapse

  • Artigo de blog Acelerar cargas de trabalho do Spark com aceleração de GPU NVIDIA
  • Artigo de blog Montar um armazenamento remoto em um pool do Spark no Synapse
  • Artigo de blog Leia e grave dados em ADLS nativamente com o Pandas
  • Artigo de blog Alocação dinâmica de executores para Spark

Machine Learning

  • Artigo de blog A biblioteca de Machine Learning do Synapse
  • Artigo de blog Introdução a modelos inteligentes pré-criados de última geração
  • Artigo de blog Criando sistemas de IA responsáveis com a biblioteca de ML do Synapse
  • Artigo de blog PREDICT agora é GA para pools de SQL dedicados do Synapse
  • Artigo de blog Pontuação simples e escalonável com PREDICT e MLFlow para Apache Spark do Synapse
  • Artigo de blog Soluções de IA de varejo

Segurança

  • Artigo de blog Identidades gerenciadas atribuídas pelo usuário agora com suporte no Synapse Pipelines em versão prévia
  • Artigo de blog Procurar pastas do ADLS Gen2 em um workspace do Azure Synapse Analytics em versão prévia

Integração de dados

  • Artigo de blog Atividade de falha de pipeline
  • Artigo de blog O fluxo de dados de mapeamento obtém novos conectores nativos
  • Mais formatos de exportação de bloco de anotações: HTML, Python e LaTeX blog
  • Três novos tipos de gráfico na exibição de bloco de anotações: gráfico de caixa, histograma e tabela dinâmica blog
  • Reconectar a uma sessão de notebook perdido blog

Integração

  • Artigo de blog Link do Azure Synapse para Dataverse
  • Artigo de blog Partições personalizadas para o Link do Azure Synapse para o Azure Cosmos DB em versão prévia
  • Ferramenta de mapeamento de dados (versão prévia pública), uma experiência guiada de ETL sem código artigo deblog
  • Reutilização rápida de um cluster do Spark artigo deblog
  • Transformação de chamada externa artigo deblog
  • Flowlets (versão prévia pública) artigo deblog

Atualização de novembro de 2021

As atualizações a seguir são novidades deste mês no Azure Synapse Analytics.

Synapse Data Explorer

  • Artigo de blogO Synapse Data Explorer agora está disponível em versão prévia

Trabalhar com bancos de dados e data lakes

  • Artigo de blog Introdução aos bancos de dados Lake (anteriormente conhecidos como bancos de dados Spark)
  • Artigo de blog O designer de banco de dados do lake agora está disponível em versão prévia
  • Artigo de blog Modelos de Banco de Dados e Designer de Banco de Dados

SQL

  • Artigo de blog O suporte do Delta Lake para SQL sem servidor está em disponibilidade geral
  • Artigo de blog Consultar vários caminhos de arquivo usando OPENROWSET no SQL sem servidor
  • Artigo de blog Agora, as consultas SQL sem servidor podem retornar até 200 GB de resultados
  • Artigo de blog Tratamento de linhas inválidas com OPENROWSET no SQL sem servidor

Apache Spark para o Synapse

  • Artigo de blog Acelerar cargas de trabalho do Spark com aceleração de GPU NVIDIA
  • Artigo de blog Montar um armazenamento remoto em um pool do Spark no Synapse
  • Artigo de blog Leia e grave dados em ADLS nativamente com o Pandas
  • Artigo de blog Alocação dinâmica de executores para Spark

Machine Learning

  • Artigo de blog A biblioteca de Machine Learning do Synapse
  • Artigo de blog Introdução a modelos inteligentes pré-criados de última geração
  • Artigo de blog Criando sistemas de IA responsáveis com a biblioteca de ML do Synapse
  • Artigo de blog PREDICT agora é GA para pools de SQL dedicados do Synapse
  • Artigo de blog Pontuação simples e escalonável com PREDICT e MLFlow para Apache Spark do Synapse
  • Artigo de blog Soluções de IA de varejo

Segurança

  • Artigo de blog Identidades gerenciadas atribuídas pelo usuário agora com suporte no Synapse Pipelines em versão prévia
  • Artigo de blog Procurar pastas do ADLS Gen2 em um workspace do Azure Synapse Analytics em versão prévia

Integração de dados

  • Artigo de blog Link do Azure Synapse para Dataverse
  • Artigo de blog Partições personalizadas para o Link do Azure Synapse para o Azure Cosmos DB em versão prévia

Atualização de outubro de 2021

As atualizações a seguir são novidades deste mês no Azure Synapse Analytics.

Geral

  • Artigo de blog Gerenciar seu custo com planos de compra antecipada do Azure Synapse
  • Artigo de blog Mover seu workspace do Azure Synapse por regiões do Azure

Apache Spark para o Synapse

  • Otimizações de desempenho do Sparkblog

Segurança

  • Artigo de blog Todas as funções RBAC do Synapse estão agora em disponibilidade geral para uso em produção
  • Artigo de blog Aplicar identidades gerenciadas atribuídas por usuário para criptografia dupla
  • Artigo de blog Administradores do Synapse agora têm acesso elevado a pools de SQL dedicados

Governança

  • Artigo de blog Workspaces do Synapse agora podem transmitir automaticamente dados de linhagem ao Microsoft Purview

Integração

  • Artigo de blog Usar o Stringify em fluxos de dados para transformar com facilidade tipos de dados complexos em cadeias de caracteres
  • Artigo de blog Controlar TTL (vida útil) de sessão do Spark em fluxos de dados

CI/CD e Git

  • Artigo de blog Implantar workspaces do Synapse usando o GitHub Actions
  • Artigo de blog Mais controle ao criar GIT branches no Synapse Studio

Experiência do desenvolvedor

  • Artigo de blog Edição aprimorada de Markdown notebooks do Synapse (versão prévia)
  • Artigo de blog Dataframes do Pandas são renderizados automaticamente como tabelas HTML muito bem formatadas
  • Artigo de blog Usar widgets IPython em notebooks do Synapse
  • Artigo de blog Contexto de runtime do Mssparkutils agora disponível para Python e Scala

Próximas etapas

Introdução ao Azure Synapse Analytics