O que há de novo no Azure Synapse Analytics Archive

  • Artigo

Este artigo descreve as atualizações do mês anterior para o Azure Synapse Analytics. Para obter a versão do mês mais atual, confira as atualizações mais recentes do Azure Synapse Analytics. Cada atualização tem links para o blog do Azure Synapse Analytics e um artigo que fornece mais informações.

Recursos geralmente disponíveis

A tabela a seguir lista um histórico anterior dos recursos do Azure Synapse Analytics que passaram da visualização para a disponibilidade geral (GA).

Month Funcionalidade Mais informações
Julho de 2022 Apache Spark™ 3.2 para Synapse Analytics O Apache Spark™ 3.2 para Synapse Analytics já está disponível para o público em geral. Analise as notas de versão oficiais e as diretrizes de migração entre o Spark 3.1 e 3.2 para avaliar possíveis alterações em seus aplicativos. Para obter mais detalhes, leia Suporte à versão do Apache Spark e Azure Synapse Runtime for Apache Spark 3.2. Destaques do que melhorou no Spark 3.2 na Atualização de julho de 2022 do Azure Synapse Analytics.
Julho de 2022 Recurso Apache Spark no Azure Synapse Intelligent Cache O Intelligent Cache for Spark armazena automaticamente cada leitura dentro do espaço de armazenamento de cache alocado, detetando alterações de arquivos subjacentes e atualizando os arquivos para fornecer os dados mais recentes. Para saber mais, veja como ativar/desativar o cache para seu pool do Apache Spark.
Junho de 2022 Ferramenta Dados do Mapa A ferramenta Map Data é um processo guiado para ajudá-lo a criar mapeamentos ETL e mapear fluxos de dados de seus dados de origem para o Synapse sem escrever código. Para saber mais sobre a ferramenta Dados do Mapa, leia Dados do Mapa no Azure Synapse Analytics.
Junho de 2022 Funções definidas pelo usuário As funções definidas pelo utilizador (UDFs) estão agora geralmente disponíveis. Para saber mais, leia Funções definidas pelo usuário no mapeamento de fluxos de dados.
Maio de 2022 Conector do Azure Synapse Data Explorer para Power Automate, Aplicativos Lógicos e Power Apps O conector do Azure Data Explorer para Power Automate permite orquestrar e agendar fluxos, enviar notificações e alertas, como parte de uma tarefa agendada ou acionada. Para saber mais, leia Conector do Azure Data Explorer para Microsoft Power Automate e Exemplos de uso do conector do Azure Data Explorer para Power Automate.
Abril de 2022 Restauração entre assinaturas para o Azure Synapse SQL Com a atualização do módulo 3.8 do PowerShell Az.Sql , o cmdlet Restore-AzSqlDatabase pode ser usado para restauração entre assinaturas de pools SQL dedicados. Para saber mais, consulte Blog: Restaurar um pool SQL dedicado (anteriormente SQL DW) para uma assinatura diferente. Esse recurso agora está disponível para pools SQL dedicados (anteriormente SQL DW) e pools SQL dedicados em um espaço de trabalho Synapse. Qual é a diferença?
Abril de 2022 Designer de Banco de Dados O designer de banco de dados permite que os usuários criem visualmente bancos de dados dentro do Synapse Studio sem escrever uma única linha de código. Para obter mais informações, consulte Anunciando a disponibilidade geral do Designer de Banco de Dados. Leia mais sobre bancos de dados lake e saiba como modificar um banco de dados lake existente usando o designer de banco de dados.
Abril de 2022 Modelos de banco de dados Novos modelos de banco de dados específicos do setor foram introduzidos no blog Synapse Database Templates General Availability. Saiba mais sobre modelos de banco de dados e a experiência de exploração aprimorada.
Abril de 2022 Função RBAC do Operador de Monitoramento Sinapse A função RBAC (controle de acesso baseado em função) do Synapse Monitoring Operator permite que uma persona do usuário monitore a execução de aplicativos Synapse Pipelines e Spark sem ter a capacidade de executar ou cancelar a execução desses aplicativos. Para obter mais informações, consulte Synapse RBAC Roles.
Março de 2022 Vazões Os Flowlets ajudam você a projetar partes da nova lógica de fluxo de dados ou extrair partes de um fluxo de dados existente e salvá-las como artefato separado dentro do espaço de trabalho Sinapse. Em seguida, você pode reutilizar esses Flowlets dentro de outros fluxos de dados. Para saber mais, leia a postagem do blog de anúncio do Flowlets GA e leia Flowlets no mapeamento do fluxo de dados.
Março de 2022 Alterar conectores de alimentação As transformações de fonte de fluxo de dados de feed de captura de dados alteradas (CDC) para Azure Cosmos DB, Azure Blob Storage, ADLS Gen1, ADLS Gen2 e Common Data Model (CDM) agora estão disponíveis ao público em geral. Simplesmente marcando uma caixa, você pode dizer ao ADF para gerenciar um ponto de verificação automaticamente para você e ler apenas as linhas mais recentes que foram atualizadas ou inseridas desde a última execução do pipeline. Para saber mais, revise a postagem do blog Change Feed connectors GA preview e leia Copiar e transformar dados no Azure Data Lake Storage Gen2 usando o Azure Data Factory ou o Azure Synapse Analytics.
Março de 2022 Criptografia em nível de coluna para pools SQL dedicados A criptografia de nível de coluna agora está disponível para uso em servidores lógicos SQL do Azure novos e existentes com pools SQL dedicados do Azure Synapse e pools SQL dedicados nos espaços de trabalho do Azure Synapse. O suporte do SSDT (SQL Server Data Tools) para criptografia no nível de coluna para os pools SQL dedicados está disponível a partir da compilação 17.2 Preview 2 do Visual Studio 2022.
Março de 2022 Conector Synapse Spark Common Data Model (CDM) O leitor/gravador de formato CDM permite que um programa Spark leia e escreva entidades CDM em uma pasta CDM através de dataframes Spark. Para saber mais, veja como o conector CDM suporta leitura, gravação de dados, exemplos, & problemas conhecidos.
Novembro de 2021 PREVER A sintaxe T-SQL PREDICT agora está disponível para pools SQL dedicados. Introdução ao assistente de pontuação de modelo de aprendizado de máquina para pools SQL dedicados.
Outubro de 2021 Synapse RBAC Funções As funções de controle de acesso baseado em função (RBAC) do Synapse agora estão geralmente disponíveis. Saiba mais sobre as funções RBAC do Synapse e o controle de acesso baseado em função (RBAC) do Azure Synapse usando o PowerShell.

Comunidade

Esta seção é um arquivo das oportunidades da comunidade do Azure Synapse Analytics e do programa Azure Synapse Influencer da Microsoft.

Month Funcionalidade Mais informações
Maio de 2022 Programa Azure Synapse Influencer Inscreva-se no nosso programa gratuito Azure Synapse Influencer e conecte-se a uma comunidade de usuários da Synapse que se dedicam a ajudar os outros a obter mais com a análise na nuvem. Registe-se agora para a nossa próxima sessão Synapse Influencer Ask the Experts. A participação é gratuita e todos são bem-vindos para participar e participar da discussão sobre tópicos relacionados à Sinapse. Você pode assistir a eventos anteriores gravados do Ask the Experts no canal do Azure Synapse no YouTube.
Março de 2022 Azure Synapse Analytics e Microsoft MVP YouTube série de vídeos Uma atividade conjunta com a equipe de produto do Azure Synapse e a comunidade Microsoft MVP, uma nova série de vídeos MVP do YouTube sobre os recursos do Azure Synapse foi lançada. Veja mais no canal do Azure Synapse Analytics no YouTube.

Apache Spark para Azure Synapse Analytics

Esta seção é um arquivo de recursos do Apache Spark for Azure Synapse Analytics.

Month Funcionalidade Mais informações
Maio de 2022 Conector de pool SQL dedicado do Azure Synapse para Apache Spark agora disponível em Python Anteriormente, o Azure Synapse Dedicated SQL Pool Connector for Apache Spark só estava disponível usando o Scala. Agora, o conector de pool SQL dedicado para Apache Spark pode ser usado com Python no Spark 3.
Maio de 2022 Gerenciar a configuração do Azure Synapse Apache Spark Com o novo recurso de configurações do Apache Spark, você pode criar um artefato de configuração independente do Spark com sugestões automáticas e regras de validação integradas. O artefato de configuração do Spark permite que você compartilhe sua configuração do Spark dentro e entre os espaços de trabalho do Azure Sinapse. Você também pode associar facilmente sua configuração do Spark a um pool do Spark, um Notebook e uma definição de trabalho do Spark para reutilização e minimizar a necessidade de copiar a configuração do Spark em vários locais.
Abril de 2022 Apache Spark 3.2 para Synapse Analytics Apache Spark 3.2 para Synapse Analytics com disponibilidade de visualização. Analise as notas de versão oficiais do Spark 3.2 e as diretrizes de migração entre o Spark 3.1 e 3.2 para avaliar possíveis alterações em seus aplicativos. Para obter mais detalhes, leia Suporte à versão do Apache Spark e Azure Synapse Runtime for Apache Spark 3.2.
Abril de 2022 Parametrização para definição de trabalho do Spark Agora você pode atribuir parâmetros dinamicamente com base em variáveis, metadados ou especificar parâmetros específicos do Pipeline para a atividade de definição de trabalho do Spark. Para obter mais detalhes, leia Transformar dados usando a definição de tarefa do Apache Spark.
Abril de 2022 Instantâneo do notebook Apache Spark Você pode acessar um instantâneo do Bloco de Anotações quando houver uma falha de execução do Bloco de Anotações de Pipeline ou quando houver um trabalho de Bloco de Anotações de longa duração. Para saber mais, leia Transformar dados executando um bloco de anotações Synapse e Introdução aos utilitários do Microsoft Spark.
Março de 2022 Conector Synapse Spark Common Data Model (CDM) O leitor/gravador de formato CDM permite que um programa Spark leia e escreva entidades CDM em uma pasta CDM através de dataframes Spark. Para saber mais, veja como o conector CDM suporta leitura, gravação de dados, exemplos, & problemas conhecidos.
Março de 2022 Otimização de desempenho para o conector de pool SQL dedicado Synapse Spark Novas melhorias no Azure Synapse Dedicated SQL Pool Connector for Apache Spark reduzem a movimentação de dados e a alavancagemCOPY INTO. Os testes de desempenho indicaram pelo menos ~5x de melhoria em relação à versão anterior. Nenhuma ação é necessária do usuário para aproveitar esses aprimoramentos. Para obter mais informações, consulte Blog: Synapse Spark Dedicated SQL Pool (DW) Connector: Performance Improvements.
Março de 2022 Suporte para todas as opções do Spark Dataframe SaveMode O Azure Synapse Dedicated SQL Pool Connector for Apache Spark agora oferece suporte a todas as quatro opções do Spark Dataframe SaveMode: Append, Overwrite, ErrorIfExists, Ignore. Para obter mais informações sobre o Spark SaveMode, leia a documentação oficial do Apache Spark.
Março de 2022 Recurso Apache Spark no Cache Inteligente do Azure Synapse Analytics O Intelligent Cache for Spark armazena automaticamente cada leitura dentro do espaço de armazenamento de cache alocado, detetando alterações de arquivos subjacentes e atualizando os arquivos para fornecer os dados mais recentes. Para saber mais sobre esse recurso de visualização, veja como ativar/desativar o cache para seu pool do Apache Spark ou consulte a postagem do blog.

Integração de dados

Esta seção é um arquivo de recursos e capacidades da integração de dados do Azure Synapse Analytics. Saiba como Carregar dados no Azure Synapse Analytics usando o Azure Data Factory (ADF) ou um pipeline Synapse.

Month Funcionalidade Mais informações
Junho de 2022 Pré-visualização do conector SAP CDC Um novo conector de dados para o SAP Change Data Capture (CDC) já está disponível na visualização. Para obter mais informações, consulte Anunciando a visualização pública da solução SAP CDC no Azure Data Factory e a solução Azure Synapse Analytics e SAP CDC no Azure Data Factory.
Junho de 2022 Opção de junção difusa na transformação de junção Usar correspondência difusa com um controle deslizante de pontuação de limiar de similaridade foi adicionado à transformação Join em Mapeando Fluxos de Dados.
Junho de 2022 Ferramenta de dados de mapa GA Temos o prazer de anunciar que a ferramenta Map Data está agora disponível para o público em geral. A ferramenta Map Data é um processo guiado para ajudá-lo a criar mapeamentos ETL e mapear fluxos de dados de seus dados de origem para o Synapse sem escrever código.
Junho de 2022 Execute novamente o pipeline com novos parâmetros Agora você pode alterar os parâmetros do pipeline ao executar novamente um pipeline na página Monitoramento sem precisar retornar ao editor de pipeline. Para saber mais, leia Executar pipelines e atividades novamente.
Junho de 2022 Funções definidas pelo usuário GA As funções definidas pelo usuário (UDFs) no mapeamento de fluxos de dados agora estão geralmente disponíveis (GA).
Maio de 2022 Monitoramento de pipeline de exportação como CSV A capacidade de exportar o monitoramento de pipeline para CSV e outras melhorias de monitoramento foram introduzidas no ADF.
Maio de 2022 Carregamento automático de dados de origem incremental a partir do PostgreSQL e MySQL O carregamento automático de dados de origem incremental do PostgreSQL e do MySQL para o Synapse SQL e o Banco de Dados do Azure agora está disponível nativamente no ADF.
Maio de 2022 Assert transformation error handling O tratamento de erros agora foi adicionado aos coletores após uma transformação assertiva no fluxo de dados de mapeamento. Agora você pode escolher se deseja enviar as linhas com falha para o coletor selecionado ou para um arquivo separado.
Maio de 2022 Mapeando fluxos de dados, edição de projeção No mapeamento de fluxos de dados, agora você pode atualizar nomes de colunas de projeção de origem e tipos de coluna.
Abril de 2022 Conector Dataverse para Synapse Data Flows O Dataverse agora é um conector de origem e coletor para Synapse Data Flows. Você pode copiar e transformar dados do Dynamics 365 (Microsoft Dataverse) ou do Dynamics CRM usando o Azure Data Factory ou o Azure Synapse Analytics.
Abril de 2022 Tempo limite de resposta da atividade da Web de pipelines Synapse configuráveis Com a propriedade httpRequestTimeoutde tempo limite de resposta, você pode definir um tempo limite para a solicitação HTTP de até 10 minutos. As atividades da Web funcionam excepcionalmente bem com APIs que seguem o padrão assíncrono de solicitação-resposta, uma abordagem sugerida para criar APIs/serviços da Web escaláveis.
Março de 2022 Conector sFTP para fluxos de dados Synapse Um conector sftp nativo em fluxos de dados Synapse é suportado para ler e gravar dados de sFTP usando a interface visual de fluxos de dados low-code no Synapse. Para saber mais, consulte Copiar e transformar dados no servidor SFTP usando o Azure Data Factory ou o Azure Synapse Analytics.
Março de 2022 Melhorias no fluxo de dados para a Pré-visualização de Dados Analise os recursos adicionados à visualização de dados e aprimore as melhorias de depuração no mapeamento de fluxos de dados.
Março de 2022 Atividade de script de pipeline Agora você pode Transformar dados usando a atividade Script para invocar comandos SQL para executar DDL e DML.
Dezembro de 2021 Partições personalizadas para o link Synapse para o Azure Cosmos DB Melhore os tempos de execução de consultas para suas consultas do Spark, criando partições personalizadas com base nos campos usados com freqüência em suas consultas. Para saber mais, consulte Particionamento personalizado no Azure Synapse Link para Azure Cosmos DB (Visualização).

Modelos de Banco de Dados & Designer de Banco de Dados

Esta seção é um arquivo de recursos e capacidades de modelos de banco de dados e do designer de banco de dados.

Month Funcionalidade Mais informações
Abril de 2022 Designer de Banco de Dados O designer de banco de dados permite que os usuários criem visualmente bancos de dados dentro do Synapse Studio sem escrever uma única linha de código. Para obter mais informações, consulte Anunciando a disponibilidade geral do Designer de Banco de Dados. Leia mais sobre bancos de dados lake e saiba como modificar um banco de dados lake existente usando o designer de banco de dados.
Abril de 2022 Modelos de banco de dados Novos modelos de banco de dados específicos do setor foram introduzidos no blog Synapse Database Templates General Availability. Saiba mais sobre modelos de banco de dados e a experiência de exploração aprimorada.
Abril de 2022 Banco de dados de lagos clonados No Synapse Studio, agora você pode clonar um banco de dados usando o menu de ação disponível no banco de dados lake. Para saber mais, leia Como fazer: clonar um banco de dados de lago.
Abril de 2022 Usar curingas para especificar hierarquias de pastas personalizadas Os bancos de dados do lago ficam sobre os dados que estão no lago e esses dados podem viver em pastas aninhadas que não se encaixam em padrões de partição limpos. Agora você pode usar curingas para especificar hierarquias de pastas personalizadas. Para saber mais, leia Instruções: Modificar um datalake.
Janeiro de 2022 Novos modelos de banco de dados Saiba mais sobre os novos modelos automotivos, genômicos, manufatura e farmacêuticos específicos do setor e comece a usar modelos de banco de dados na galeria do Synapse Studio.

Experiência de programador

Esta seção é um arquivo de melhorias de qualidade de vida e recursos para desenvolvedores no Azure Synapse Analytics.

Month Funcionalidade Mais informações
Maio de 2022 Relatório atualizado do Azure Synapse Analyzer Saiba mais sobre os novos recursos da versão 2.0 do relatório Synapse Analyzer.
Abril de 2022 Relatório do Azure Synapse Analyzer O Relatório do Azure Synapse Analyzer ajuda a identificar problemas comuns que podem estar presentes em seu banco de dados e que podem levar a problemas de desempenho.
Abril de 2022 Referenciar cadernos não publicados Agora, ao usar %executar blocos de anotações, você pode habilitar a 'referência de bloco de anotações não publicada', o que permitirá fazer referência a blocos de anotações não publicados. Quando ativada, a execução do bloco de anotações buscará o conteúdo atual no cache da Web do bloco de anotações, o que significa que as alterações no editor do bloco de anotações podem ser referenciadas imediatamente por outros blocos de anotações sem precisar ser publicadas (modo ao vivo) ou confirmadas (modo Git).
Março de 2022 Células de código com exceção para mostrar saída padrão Agora, nos blocos de anotações Synapse, as mensagens de saída padrão e de exceção são mostradas quando uma instrução de código falha para as linguagens Python e Scala. Para obter exemplos, consulte Blocos de anotações Sinapse: células de código com exceção para mostrar a saída padrão.
Março de 2022 A saída parcial está disponível para executar células de código do bloco de anotações Agora, nos cadernos Synapse, você pode ver qualquer coisa que escrever (com println comandos, por exemplo) enquanto a célula é executada, em vez de esperar até terminar. Para obter exemplos, consulte Blocos de anotações Sinapse: a saída parcial está disponível para a execução de células de código do bloco de anotações.
Março de 2022 Controle dinamicamente a configuração da sessão do Spark com parâmetros de pipeline Agora, nos blocos de anotações Sinapse, você pode usar parâmetros de pipeline para configurar a sessão com o bloco de anotações %%configure magic. Para obter exemplos, consulte Blocos de anotações Sinapse: controle dinamicamente a configuração da sessão do Spark com parâmetros de pipeline.
Março de 2022 Reutilizar e gerir sessões de blocos de notas Agora, nos blocos de anotações Sinapse, é fácil reutilizar uma sessão ativa convenientemente sem ter que iniciar uma nova e ver e gerenciar suas sessões ativas na lista Sessões ativas. Para ver as suas sessões, selecione os 3 pontos no bloco de notas e selecione Gerir sessões. Para obter exemplos, consulte Blocos de anotações Sinapse: reutilizar e gerenciar sessões de bloco de anotações.
Março de 2022 Suporte para registro em Python Agora, nos notebooks Synapse, qualquer coisa escrita através do módulo de log Python é capturada, além dos logs de driver. Para obter exemplos, consulte Synapse notebooks: Support for Python logging.

Machine Learning

Esta seção é um arquivo de recursos e melhorias para modelos de aprendizado de máquina no Azure Synapse Analytics.

Month Funcionalidade Mais informações
Junho de 2022 Treinamento de Rede Neural Profunda Distribuída (visualização) O tempo de execução do Azure Synapse também inclui bibliotecas de suporte como Petastorm e Horovod, que são comumente usadas para treinamento distribuído. Esta funcionalidade está atualmente disponível na pré-visualização. O tempo de execução do Azure Synapse Analytics para Apache Spark 3.1 e 3.2 agora também inclui suporte para as bibliotecas de aprendizado profundo mais comuns, como TensorFlow e PyTorch. Para saber mais sobre como aproveitar essas bibliotecas em seus pools acelerados por GPU do Azure Synapse Analytics, leia os tutoriais de aprendizado profundo.
Novembro de 2021 PREVER A sintaxe T-SQL PREDICT agora está disponível para pools SQL dedicados. Introdução ao assistente de pontuação de modelo de aprendizado de máquina para pools SQL dedicados.

Amostras e orientações

Esta seção é um arquivo de orientação e recursos de projeto de exemplo para o Azure Synapse Analytics.

Month Funcionalidade Mais informações
Junho de 2022 Azure Orbital analytics com Synapse Analytics Agora oferecemos uma solução de exemplo de análise do Azure Orbital mostrando uma implementação de ponta a ponta de extração, carregamento, transformação e análise de dados espaciais usando bibliotecas geoespaciais e modelos de IA com o Azure Synapse Analytics. A solução de exemplo também demonstra como integrar modelos de serviços de IA do Azure específicos geoespacialmente, modelos de IA de parceiros e modelos de trazer seus próprios dados.
Junho de 2022 Guias de migração para Oracle Um novo guia de migração criado pela Microsoft para Oracle para o Azure Synapse Analytics já está disponível. Design e desempenho para migrações Oracle.
Junho de 2022 Azure Synapse sucesso por design O manual de prova de conceito do Azure Synapse fornece um guia para escopo, projetar, executar e avaliar uma prova de conceito para cargas de trabalho SQL ou Spark.
Junho de 2022 Guias de migração para Teradata Um novo guia de migração criado pela Microsoft para Teradata para o Azure Synapse Analytics já está disponível. Design e desempenho para migrações Teradata.
Junho de 2022 Guias de migração para IBM Netezza Um novo guia de migração criado pela Microsoft para o IBM Netezza para o Azure Synapse Analytics já está disponível. Design e desempenho para migrações IBM Netezza.

Segurança

Esta seção é um arquivo de recursos e configurações de segurança no Azure Synapse Analytics.

Month Funcionalidade Mais informações
Abril de 2022 Função RBAC do Operador de Monitoramento Sinapse A função RBAC (controle de acesso baseado em função) do Synapse Monitoring Operator permite que uma persona do usuário monitore a execução de aplicativos Synapse Pipelines e Spark sem ter a capacidade de executar ou cancelar a execução desses aplicativos. Para obter mais informações, consulte Synapse RBAC Roles.
Março de 2022 Impor a versão mínima do TLS Agora você pode aumentar ou diminuir a versão mínima do TLS para pools SQL dedicados em espaços de trabalho Synapse. Para saber mais, consulte Configurações de conectividade SQL do Azure. A API SQL gerenciada pelo espaço de trabalho pode ser usada para modificar as configurações mínimas de TLS.
Março de 2022 O Azure Synapse Analytics agora suporta apenas a autenticação do Azure Ative Directory (Azure AD) Agora você pode usar a autenticação do Ative Directory do Azure para gerenciar centralmente o acesso a todos os recursos do Azure Synapse, incluindo pools SQL. Você pode desabilitar a autenticação local após a criação ou após a criação de um espaço de trabalho por meio do portal do Azure.
Dezembro de 2021 Identidades gerenciadas atribuídas pelo usuário Agora você pode usar identidades gerenciadas atribuídas pelo usuário em serviços vinculados para autenticação em Synapse Pipelines e Dataflows. Para saber mais, consulte Credenciais no Azure Data Factory e Azure Synapse.
Dezembro de 2021 Procurar pastas ADLS Gen2 no espaço de trabalho do Azure Synapse Analytics Agora você pode navegar e proteger um contêiner ou pasta do Azure Data Lake Storage Gen2 (ADLS Gen2) em seu espaço de trabalho do Azure Synapse Analytics conectando-se a um contêiner ou pasta específica no Synapse Studio.
Dezembro de 2021 TLS 2.1 imposto para novos espaços de trabalho Synapse A partir de dezembro de 2021, um requisito para TLS 1.2 foi implementado apenas para novos espaços de trabalho Synapse.

Azure Synapse Data Explorer

O Azure Data Explorer (ADX) é um serviço de exploração de dados rápido e altamente escalável para dados de log e telemetria. Ele oferece ingestão de Hubs de Eventos, Hubs IoT, blobs gravados em contêineres de blob e trabalhos do Azure Stream Analytics. Esta seção é um arquivo de recursos do Azure Synapse Data Explorer e do Kusto Query Language (KQL). Leia mais sobre Qual é a diferença entre o Azure Synapse Data Explorer e o Azure Data Explorer? (Pré-visualização)

Month Funcionalidade Mais informações
Junho de 2022 Nova página inicial do Web Explorer A nova página inicial do Azure Synapse Web Explorer torna ainda mais fácil começar a usar o Synapse Web Explorer.
Junho de 2022 Galeria de exemplos do Web Explorer A galeria de exemplos do Web Explorer fornece exemplos completos de como os clientes aproveitam os casos de uso populares do Synapse Data Explorer, como dados de logs, dados de métricas, dados de IoT e exemplos básicos de big data.
Junho de 2022 Os painéis do Web Explorer detalham os recursos Agora você pode usar detalhamentos como parâmetros em seus painéis do Synapse Web Explorer.
Junho de 2022 Configurações de fuso horário para o Web Explorer As configurações de Fuso Horário do Web Explorer agora se aplicam aos resultados da Consulta e ao Painel. Ao alterar o fuso horário, os painéis serão atualizados automaticamente para apresentar os dados com o fuso horário selecionado.
Maio de 2022 Synapse Data Explorer consulta ao vivo no Excel Usando o novo recurso Abrir no Excel da experiência Web do Data Explorer, agora você pode fornecer acesso aos resultados em tempo real da sua consulta compartilhando a Pasta de Trabalho do Excel conectada com colegas e membros da equipe. Você pode abrir a consulta dinâmica em uma pasta de trabalho do Excel e atualizá-la diretamente do Excel para obter os resultados de consulta mais atualizados. Para criar uma pasta de trabalho do Excel conectada ao Synapse Data Explorer, comece executando uma consulta na experiência da Web.
Maio de 2022 Usar identidades gerenciadas para tabelas externas do SQL Server Com o suporte a Identidade Gerenciada, a definição de tabela do Synapse Data Explorer agora é mais simples e segura. Agora você pode usar identidades gerenciadas em vez de inserir suas credenciais. Para saber mais sobre tabelas externas, leia Criar e alterar tabelas externas do SQL Server.
Maio de 2022 Conector do Azure Synapse Data Explorer para Microsoft Power Automate, Aplicativos Lógicos e Power Apps Novos conectores do Azure Data Explorer para Power Automate estão geralmente disponíveis (GA). Para saber mais, leia Conector do Azure Data Explorer para Microsoft Power Automate, o Microsoft Logic App e o Azure Data Explorer e a capacidade de Criar o aplicativo Power Apps para consultar dados no Azure Data Explorer.
Maio de 2022 Roteamento dinâmico de eventos do hub de eventos para vários bancos de dados Agora damos suporte ao roteamento de dados de eventos do Hub de Eventos do Azure/Hub IoT do Azure/Grade de Eventos do Azure para vários bancos de dados hospedados em um único cluster ADX. Para saber mais sobre roteamento dinâmico, leia Ingest do hub de eventos.
Maio de 2022 Configurar um banco de dados usando um script inline KQL como parte do modelo de implantação JSON ARM A execução de um script KQL (Kusto Query Language) para configurar seu banco de dados agora pode ser feita usando um script embutido fornecido embutido como parâmetro para um modelo JSON ARM.

O Azure Synapse Link é um sistema automatizado para replicar dados do SQL Server ou do Banco de Dados SQL do Azure, do Azure Cosmos DB ou do Dataverse no Azure Synapse Analytics. Esta seção é um arquivo de notícias sobre o recurso Azure Synapse Link.

Month Funcionalidade Mais informações
Maio de 2022 Azure Synapse Link para visualização SQL O Azure Synapse Link for SQL está em pré-visualização para o SQL Server 2022 e para a Base de Dados SQL do Azure. O recurso Azure Synapse Link fornece replicação de dados de baixo e nenhum código, quase em tempo real, de seus armazenamentos operacionais baseados em SQL para o Azure Synapse Analytics. Forneça relatórios de BI sobre dados operacionais quase em tempo real, com impacto mínimo em sua loja operacional. O Azure Synapse Link for SQL preview foi anunciado. Para obter mais informações, consulte Blog: Azure Synapse Link for SQL Deep Dive.

SQL do Synapse

Esta seção é um arquivo de melhorias e recursos em pools SQL no Azure Synapse Analytics.

Month Funcionalidade Mais informações
Junho de 2022 Aumento do limite de tamanho do conjunto de resultados O tamanho máximo dos conjuntos de resultados de consulta em pools SQL sem servidor foi aumentado de 200 GB para 400 GB.
Maio de 2022 Cálculo automático do comprimento da coluna de caracteres para pools SQL sem servidor Não é mais necessário definir comprimentos de coluna de caracteres para pools SQL sem servidor no data lake. Você pode obter o desempenho ideal da consulta sem precisar definir o esquema, porque o pool SQL sem servidor usará comprimentos médios de coluna calculados automaticamente e estimativa de cardinalidade.
Abril de 2022 Restauração entre assinaturas para o Azure Synapse SQL GA Com a atualização do módulo 3.8 do PowerShell Az.Sql , o cmdlet Restore-AzSqlDatabase pode ser usado para restauração entre assinaturas de pools SQL dedicados. Para saber mais, consulte Restaurar um pool SQL dedicado para uma assinatura diferente. Esse recurso agora está disponível para pools SQL dedicados (anteriormente SQL DW) e pools SQL dedicados em um espaço de trabalho Synapse. Qual é a diferença?
Abril de 2022 Recuperar pool SQL de servidor ou espaço de trabalho descartado Com os cmdlets e módulos de Restauração do Az.Sql PowerShell, agora você pode restaurar a partir de um servidor ou espaço de trabalho excluído sem preencher um tíquete Az.Synapse de suporte. Para obter mais informações, consulte Restaurar um pool SQL dedicado de um espaço de trabalho do Azure Synapse excluído ou Restaurar um pool SQL dedicado autônomo (anteriormente SQL DW) de um servidor excluído, dependendo do seu cenário.
Março de 2022 Criptografia em nível de coluna para pools SQL dedicados A criptografia de nível de coluna agora está disponível para uso em servidores lógicos SQL do Azure novos e existentes com pools SQL dedicados do Azure Synapse e pools SQL dedicados nos espaços de trabalho do Azure Synapse. O suporte do SSDT (SQL Server Data Tools) para criptografia no nível de coluna para os pools SQL dedicados está disponível a partir da compilação 17.2 Preview 2 do Visual Studio 2022.
Março de 2022 Execução paralela para o CETAS Melhor desempenho para CREATE TABLE AS SELECT (CETAS) e instruções SELECT subsequentes agora possibilitadas pelo uso de planos de execução paralela. Para exemplos, ver Melhor desempenho para CETAS e SELECTs subsequentes.

Atualizações mensais anteriores no Azure Synapse Analytics

O que se segue é o formato anterior de atualizações mensais de notícias para o Synapse Analytics.

Atualização de junho de 2022

Geral

  • Análise orbital do Azure com Synapse Analytics - Agora oferecemos uma solução de exemplo de análise orbital do Azure mostrando uma implementação de ponta a ponta de extração, carregamento, transformação e análise de dados espaciais usando bibliotecas geoespaciais e modelos de IA com o Azure Synapse Analytics. A solução de exemplo também demonstra como integrar modelos de serviços de IA do Azure específicos geoespacialmente, modelos de IA de parceiros e modelos de trazer seus próprios dados.

  • Sucesso do Azure Synapse por design - O sucesso do projeto não é acidental e requer planejamento e execução cuidadosos. Os playbooks Success by Design da Synapse Analytics já estão disponíveis. O manual de prova de conceito do Azure Synapse fornece um guia para escopo, projetar, executar e avaliar uma prova de conceito para cargas de trabalho SQL ou Spark. Estes guias contêm práticas recomendadas das implementações de solução mais desafiadoras e complexas que incorporam o Azure Synapse. Para saber mais sobre o manual de prova de conceito do Azure Synapse, leia Success by Design.

SQL

Aumento do limite de tamanho do conjunto de resultados - Sabemos que você recorre ao Azure Synapse Analytics para trabalhar com grandes quantidades de dados. Com isso em mente, o tamanho máximo dos conjuntos de resultados de consulta em pools SQL sem servidor foi aumentado de 200 GB para 400 GB. Esse limite é compartilhado entre consultas simultâneas. Para saber mais sobre esse aumento de limite de tamanho e outras restrições, leia Autoajuda para pool SQL sem servidor.

Explorador de dados Synapse

  • Nova página inicial do Web Explorer - A nova página inicial do Synapse Web Explorer torna ainda mais fácil começar a usar o Synapse Web Explorer. A página inicial do Web Explorer agora inclui as seguintes seções:

    • Introdução – Galeria de exemplos que oferece exemplos de consultas e painéis para casos de uso populares do Synapse Data Explorer.
    • Recomendado – Módulos de aprendizagem populares projetados para ajudá-lo a dominar o Synapse Web Explorer e o KQL.
    • Documentação – Synapse Web Explorer documentação básica e avançada.

  • Galeria de exemplos do Web Explorer - Uma ótima maneira de aprender sobre um produto é ver como ele está sendo usado por outras pessoas. A galeria de exemplos do Web Explorer fornece exemplos completos de como os clientes aproveitam os casos de uso populares do Synapse Data Explorer, como dados de logs, dados de métricas, dados de IoT e exemplos básicos de big data. Cada exemplo inclui o conjunto de dados, consultas bem documentadas e um painel de exemplo. Para saber mais sobre a galeria de exemplos, leia o Azure Data Explorer em 60 minutos com a nova galeria de exemplos.

  • Painéis do Web Explorer detalham os recursos - Agora você pode adicionar recursos de detalhamento aos painéis do Synapse Web Explorer. Os novos recursos de detalhamento permitem que você salte facilmente entre as páginas do painel. Isso é possível usando um filtro contextual para conectar seus painéis. A definição dessas detalhamentos contextuais é feita editando as interações visuais do bloco selecionado em seu painel. Para saber mais sobre os recursos de detalhamento, leia Usar detalhamento como parâmetros do painel.

  • Configurações de fuso horário para o Web Explorer - Ser capaz de exibir dados em diferentes fusos horários é muito poderoso. Agora você pode decidir visualizar os dados na hora UTC, seu fuso horário local ou o fuso horário do dispositivo/máquina monitorado. As configurações de Fuso Horário do Web Explorer agora se aplicam aos resultados da Consulta e ao Painel. Ao alterar o fuso horário, os painéis serão atualizados automaticamente para apresentar os dados com o fuso horário selecionado. Para obter mais informações sobre as configurações de fuso horário, leia Alterar datetime para fuso horário específico.

Integração de dados

  • Opção de junção difusa em Transformação de associação - A correspondência difusa com uma opção de pontuação de semelhança deslizante foi adicionada à transformação de junção em mapeamento de fluxos de dados. Você pode criar junções internas e externas em valores de dados que são semelhantes, em vez de correspondências exatas! Anteriormente, você teria que usar uma correspondência exata. O valor da escala deslizante vai de 60% a 100%, facilitando o ajuste do limiar de semelhança da partida. Para saber mais sobre junções difusas, leia Junte-se à transformação no mapeamento do fluxo de dados.

  • Dados do mapa [Geralmente disponíveis] - Temos o prazer de anunciar que a ferramenta Dados do mapa está agora disponível para o público em geral. A ferramenta Map Data é um processo guiado para ajudá-lo a criar mapeamentos ETL e mapear fluxos de dados de seus dados de origem para o Synapse sem escrever código. Para saber mais sobre Dados de Mapa, leia Dados de Mapa no Azure Synapse Analytics.

  • Executar pipeline novamente com novos parâmetros - Agora você pode alterar os parâmetros do pipeline ao executar novamente um pipeline na página Monitoramento sem precisar retornar ao editor de pipeline. Depois de executar um pipeline com novos parâmetros, você pode facilmente monitorar a nova execução em relação aos antigos sem ter que alternar entre páginas. Para saber mais sobre como executar pipelines novamente com novos parâmetros, leia Reexecutar pipelines e atividades.

  • Funções definidas pelo usuário [Geralmente disponíveis] - Temos o prazer de anunciar que as funções definidas pelo usuário (UDFs) agora estão geralmente disponíveis. Com funções definidas pelo usuário, você pode criar expressões personalizadas que podem ser reutilizadas em vários fluxos de dados de mapeamento. Você não precisa mais usar a mesma manipulação de cadeia de caracteres, cálculos matemáticos ou outra lógica complexa várias vezes. As funções definidas pelo usuário serão agrupadas em bibliotecas para ajudar os desenvolvedores a agrupar conjuntos comuns de funções. Para saber mais sobre funções definidas pelo usuário, leia Funções definidas pelo usuário no mapeamento de fluxos de dados.

Aprendizagem automática

Treinamento de Rede Neural Profunda Distribuída com Horovod e Petastorm [Visualização Pública] - Para simplificar o processo de criação e gerenciamento de pools acelerados por GPU, o Azure Synapse cuida da pré-instalação de bibliotecas de baixo nível e da configuração de todos os requisitos complexos de rede entre nós de computação. Essa integração permite que os usuários comecem a usar pools acelerados por GPU em apenas alguns minutos.

Agora, o Azure Synapse Analytics fornece suporte interno para infraestrutura de aprendizado profundo. O tempo de execução do Azure Synapse Analytics para Apache Spark 3.1 e 3.2 agora inclui suporte para as bibliotecas de aprendizado profundo mais comuns, como TensorFlow e PyTorch. O tempo de execução do Azure Synapse também inclui bibliotecas de suporte como Petastorm e Horovod, que são comumente usadas para treinamento distribuído. Esta funcionalidade está atualmente disponível na Pré-visualização Pública.

Para saber mais sobre como aproveitar essas bibliotecas em seus pools acelerados por GPU do Azure Synapse Analytics, leia os tutoriais de aprendizado profundo.

Atualização de maio de 2022

As atualizações a seguir são novas no Azure Synapse Analytics este mês.

Geral

Conecte-se com o novo programa Azure Synapse Influencer!Junte-se a uma comunidade de Azure Synapse Influencers que estão a ajudar uns aos outros a obter mais com a análise na nuvem! O programa Azure Synapse Influencer reconhece os usuários e defensores do Azure Synapse Analytics que apoiam ativamente a comunidade compartilhando conteúdo, anúncios e notícias de produtos relacionados ao Synapse por meio de mídia social.

SQL

  • Guia de migração do Data Warehouse para pools SQL dedicados no Azure Synapse Analytics - Com os benefícios que a migração para a nuvem oferece, ouvimos que você frequentemente procura etapas, processos ou diretrizes a serem seguidas para migrações rápidas e fáceis de ambientes de data warehouse existentes. Acabamos de lançar um conjunto de guias de migração do Data Warehouse para facilitar sua transição para SQL Pools dedicados no Azure Synapse Analytics.

  • Cálculo automático do comprimento da coluna de caracteres - Não é mais necessário definir comprimentos de coluna de caracteres! Os pools SQL sem servidor permitem consultar arquivos no data lake sem conhecer o esquema antecipadamente. A melhor prática era especificar os comprimentos das colunas de caracteres para obter o desempenho ideal. Já não! Com esse novo recurso, você pode obter um desempenho de consulta ideal sem precisar definir o esquema. O pool SQL sem servidor calculará o comprimento médio da coluna para cada coluna de caracteres inferidos ou coluna de caracteres definida como maior que 100 bytes. O esquema permanecerá o mesmo, enquanto o pool SQL sem servidor usará os comprimentos médios de coluna calculados internamente. Ele também calculará automaticamente a estimativa de cardinalidade no caso de não haver uma estatística criada anteriormente.

Apache Spark para Sinapse

  • Azure Synapse Dedicated SQL Pool Connector for Apache Spark Now Available in Python - Anteriormente, o conector do Azure Synapse Dedicated SQL Pool só estava disponível usando o Scala. Agora, ele pode ser usado com Python no Spark 3. A única diferença entre as implementações Scala e Python é o identificador de retorno de chamada opcional do Scala, que permite receber métricas pós-gravação.

    Os seguintes itens agora são suportados em Python no Spark 3:

    • Ler usando a Autenticação do Azure Ative Directory (AD) ou a Autenticação Básica
    • Gravar na Tabela Interna usando a Autenticação do Azure AD ou a Autenticação Básica
    • Gravar na Tabela Externa usando a Autenticação do Azure AD ou a Autenticação Básica

    Para saber mais sobre o conector em Python, leia Azure Synapse Dedicated SQL Pool Connector for Apache Spark.

  • Gerenciar a configuração do Azure Synapse Apache Spark - O gerenciamento de configuração do Apache Spark é sempre uma tarefa desafiadora porque o Spark tem centenas de propriedades. Também é um desafio para você saber o valor ideal para as configurações do Spark. Com o novo recurso de gerenciamento de configuração do Spark, você pode criar um artefato de configuração independente do Spark com sugestões automáticas e regras de validação integradas. O artefato de configuração do Spark permite que você compartilhe sua configuração do Spark dentro e entre os espaços de trabalho do Azure Sinapse. Você também pode associar facilmente sua configuração do Spark a um pool do Spark, um Notebook e uma definição de trabalho do Spark para reutilização e minimizar a necessidade de copiar a configuração do Spark em vários locais. Para saber mais sobre o novo recurso de gerenciamento de configuração do Spark, leia Gerenciar configuração do Apache Spark.

Sinapse Data Explorer

  • Synapse Data Explorer consulta ao vivo no Excel - Usando a nova experiência da Web do Data Explorer Abrir no recurso Excel, agora você pode fornecer acesso aos resultados em tempo real da sua consulta compartilhando a pasta de trabalho do Excel conectada com colegas e membros da equipe.  Você pode abrir a consulta dinâmica em uma pasta de trabalho do Excel e atualizá-la diretamente do Excel para obter os resultados de consulta mais atualizados. Para saber mais sobre a consulta ao vivo do Excel, leia Abrir consulta ao vivo no Excel.

  • Usar identidades gerenciadas para tabelas externas do SQL Server - Um dos principais benefícios do Azure Synapse é a capacidade de reunir integração de dados, armazenamento de dados corporativos e análise de big data. Com o suporte a Identidade Gerenciada, a definição de tabela do Synapse Data Explorer agora é mais simples e segura. Agora você pode usar identidades gerenciadas em vez de inserir suas credenciais.

    Uma tabela SQL externa é uma entidade de esquema que faz referência a dados armazenados fora do banco de dados Synapse Data Explorer. Usando o comando Criar e alterar tabelas externas do SQL Server, as tabelas SQL externas podem ser facilmente adicionadas ao esquema de banco de dados Synapse Data Explorer.

    Para saber mais sobre identidades gerenciadas, leia Visão geral de identidades gerenciadas.

    Para saber mais sobre tabelas externas, leia Criar e alterar tabelas externas do SQL Server.

  • Novo módulo KQL Learn (2 de 3) está no ar! - O poder da Kusto Query Language (KQL) é a sua simplicidade para consultar dados estruturados, semi-estruturados e não estruturados juntos. Para facilitar o aprendizado do KQL, estamos lançando módulos do Learn. Anteriormente, lançamos Escreva sua primeira consulta com Kusto Query Language. A novidade deste mês é Obter insights de seus dados usando a Linguagem de Consulta Kusto.

    KQL é a linguagem de consulta usada para consultar o Synapse Data Explorer big data. O KQL tem uma comunidade de usuários em rápido crescimento, com centenas de milhares de desenvolvedores, engenheiros de dados, analistas de dados e estudantes.

    Confira o mais novo módulo KQL Learn e veja por si mesmo como é fácil se tornar um mestre KQL.

    Para saber mais sobre o KQL, leia Visão geral da Kusto Query Language (KQL).

  • Conector do Azure Synapse Data Explorer para Microsoft Power Automate, Aplicativos Lógicos e Power Apps [Geralmente Disponível] - O conector do Azure Data Explorer para Power Automate permite orquestrar e agendar fluxos, enviar notificações e alertas, como parte de uma tarefa agendada ou acionada. Para saber mais, leia Conector do Azure Data Explorer para Microsoft Power Automate e Exemplos de uso do conector do Azure Data Explorer para Power Automate.

  • Roteamento de eventos dinâmicos do hub de eventos para vários bancos de dados - Roteamento de eventos do Hub de Eventos/Hub IOT/Grade de Eventos é uma atividade comumente executada por usuários do Azure Data Explorer (ADX). Anteriormente, era possível rotear eventos apenas para um único banco de dados por conexão definida. Se você quisesse rotear os eventos para vários bancos de dados, precisaria criar várias conexões de cluster ADX.

    Para simplificar a experiência, agora oferecemos suporte ao roteamento de dados de eventos para vários bancos de dados hospedados em um único cluster ADX. Para saber mais sobre roteamento dinâmico, leia Ingest do hub de eventos.

  • Configurar um banco de dados usando um script embutido KQL como parte do modelo de implantação JSON ARM - Anteriormente, o Azure Data Explorer dava suporte à execução de um script KQL (Kusto Query Language) para configurar seu banco de dados durante a implantação do modelo do Azure Resource Manager (ARM). Agora, isso pode ser feito usando um script embutido fornecido embutido como parâmetro para um modelo JSON ARM. Para saber mais sobre como usar um script inline KQL, leia Configurar um banco de dados usando um script Kusto Query Language.

Integração de Dados

  • Monitoramento de pipeline de exportação como CSV - A capacidade de exportar o monitoramento de pipeline para CSV foi adicionada depois de receber muitas solicitações da comunidade para o recurso. Basta filtrar a tela Pipeline runs para os dados desejados e selecionar Exportar para CSV*. Para saber mais sobre como exportar monitoramento de pipeline e outras melhorias de monitoramento, leia Aprimoramentos de monitoramento do Azure Data Factory.

  • Carregamento incremental de dados facilitado para Synapse e Banco de Dados do Azure para PostgreSQL e MySQL - Em uma solução de integração de dados, o carregamento incremental de dados após uma carga de dados completa inicial é um cenário amplamente utilizado. O carregamento automático de dados de origem incremental agora está disponível nativamente para Synapse SQL e Banco de Dados do Azure para PostgreSQL e MySQL. Os usuários podem "habilitar extração incremental" e somente linhas inseridas ou atualizadas serão lidas pelo pipeline. Para saber mais sobre o carregamento incremental de dados, leia Copiar dados incrementalmente de um armazenamento de dados de origem para um armazenamento de dados de destino.

  • Funções definidas pelo usuário para mapeamento de fluxos de dados [visualização pública] - Ouvimos que você pode se encontrar fazendo a mesma manipulação de cadeia de caracteres, cálculos matemáticos ou outra lógica complexa várias vezes. Agora, com o novo recurso de função definida pelo usuário, você pode criar expressões personalizadas que podem ser reutilizadas em vários fluxos de dados de mapeamento. As funções definidas pelo usuário serão agrupadas em bibliotecas para ajudar os desenvolvedores a agrupar conjuntos comuns de funções. Depois de criar uma biblioteca de fluxo de dados, você pode adicionar suas funções definidas pelo usuário. Você pode até adicionar vários argumentos para tornar sua função mais reutilizável. Para saber mais sobre funções definidas pelo usuário, leia Funções definidas pelo usuário no mapeamento de fluxos de dados.

  • Assert Error Handling - O tratamento de erros foi adicionado aos coletores após uma transformação de afirmação. As transformações de asserção permitem criar regras personalizadas para qualidade e validação de dados. Agora você pode escolher se deseja enviar as linhas com falha para o coletor selecionado ou para um arquivo separado. Para saber mais sobre o tratamento de erros, leia Assert data transformation in mapping data flow.

  • Edição de projeção de fluxos de dados de mapeamento - Novas atualizações de interface do usuário foram feitas para a edição de projeção de origem em fluxos de dados de mapeamento. Agora você pode atualizar os nomes das colunas de projeção de origem e os tipos de coluna. Para saber mais sobre a edição de projeção de origem, leia Transformação de origem no mapeamento de fluxo de dados.

Azure Synapse Link for SQL Server - No Microsoft Build 2022, anunciamos a disponibilidade do Public Preview do Azure Synapse Link for SQL, tanto para o SQL Server 2022 quanto para o Banco de Dados SQL do Azure. Insights de qualidade orientados por dados são essenciais para que as empresas se mantenham competitivas. A velocidade para alcançar esses insights pode fazer toda a diferença. A natureza dispendiosa e demorada dos gasodutos ETL e ELT tradicionais já não é suficiente. Com esta versão, agora você pode aproveitar a replicação de dados de baixo e nenhum código, quase em tempo real, de seus armazenamentos operacionais baseados em SQL para o Azure Synapse Analytics. Isso facilita a execução de relatórios de BI sobre dados operacionais quase em tempo real, com impacto mínimo em sua loja operacional. Para saber mais, leia Anunciando a visualização pública do Azure Synapse Link for SQL e assista ao nosso vídeo do YouTube.

Atualização de abril de 2022

As atualizações a seguir são novas no Azure Synapse Analytics este mês.

SQL

  • A restauração entre assinaturas para o Azure Synapse SQL agora está disponível para o público em geral. Anteriormente, eram necessárias muitas etapas não documentadas para restaurar um pool SQL dedicado para outra assinatura. Agora, com a atualização do módulo Az.Sql 3.8 do PowerShell, o cmdlet Restore-AzSqlDatabase pode ser usado para restauração entre assinaturas. Para saber mais, consulte Restaurar um pool SQL dedicado (anteriormente SQL DW) para uma assinatura diferente.

  • Agora é possível recuperar um pool SQL de um servidor ou espaço de trabalho descartado. Com os cmdlets PowerShell Restore nos módulos Az.Sql e Az.Synapse, agora você pode restaurar a partir de um servidor ou espaço de trabalho excluído sem preencher um tíquete de suporte. Para obter mais informações, leia Pools SQL do espaço de trabalho Synapse ou pools SQL autônomos (anteriormente SQL DW), dependendo do seu cenário.

Modelos de banco de dados Synapse e designer de banco de dados

  • Com base no feedback popular dos clientes, fizemos melhorias significativas em nossa experiência de exploração ao criar um banco de dados de lago usando um modelo do setor. Para saber mais, leia Guia de início rápido: criar um novo banco de dados Lake aproveitando modelos de banco de dados.

  • Adicionamos a opção de clonar um banco de dados lake. Isso desbloqueia oportunidades adicionais para gerenciar novas versões de bancos de dados ou esquemas de suporte que evoluem em etapas discretas. Você pode clonar rapidamente um banco de dados usando o menu de ação disponível no banco de dados lake. Para saber mais, leia Como fazer: clonar um banco de dados de lago.

  • Agora você pode usar curingas para especificar hierarquias de pastas personalizadas. Os bancos de dados do lago ficam sobre os dados que estão no lago e esses dados podem viver em pastas aninhadas que não se encaixam em padrões de partição limpos. Anteriormente, consultar bancos de dados de lago exigia que seus dados existissem em uma estrutura de diretório simples que você pudesse navegar usando o ícone de pasta sem a capacidade de especificar manualmente a estrutura de diretórios ou usar caracteres curinga. Para saber mais, leia Instruções: Modificar um datalake.

Apache Spark para Sinapse

  • Temos o prazer de anunciar a disponibilidade prévia do Apache Spark™ 3.2 no Synapse Analytics. Esta nova versão incorpora melhorias solicitadas pelo usuário e resolve 1.700+ tíquetes do Jira. Consulte as notas de versão oficiais para obter a lista completa de correções e recursos e revise as diretrizes de migração entre o Spark 3.1 e 3.2 para avaliar possíveis alterações em seus aplicativos. Para obter mais detalhes, leia Suporte à versão do Apache Spark e Azure Synapse Runtime for Apache Spark 3.2.

  • Atribuir parâmetros dinamicamente com base em variáveis, metadados ou especificar parâmetros específicos do Pipeline tem sido uma das suas principais solicitações de recursos. Agora, com o lançamento da parametrização para a atividade de definição de trabalho do Spark, você pode fazer exatamente isso. Para obter mais detalhes, leia Transformar dados usando a definição de tarefa do Apache Spark.

  • Muitas vezes, recebemos solicitações de clientes para acessar o instantâneo do Bloco de Anotações quando há uma falha na execução do Bloco de Anotações de Pipeline ou há um trabalho de Bloco de Anotações de longa duração. Com o lançamento do recurso de instantâneo Synapse Notebook, agora você pode visualizar o instantâneo da atividade do Notebook executada com o código original do Notebook, a saída da célula e os parâmetros de entrada. Você também pode acessar o instantâneo do Bloco de Anotações referenciado a partir da saída da célula do Bloco de Anotações de referência se fizer referência a outros Blocos de Anotações por meio do Spark utils. Para saber mais, leia Transformar dados executando um bloco de anotações Synapse e Introdução aos utilitários do Microsoft Spark.

Segurança

  • A função RBAC do Operador de Monitoramento de Sinapse agora está disponível em geral. Desde o GA da Synapse, os clientes têm solicitado uma função RBAC (controle de acesso baseado em função) refinada que permite que uma persona do usuário monitore a execução de aplicativos Synapse Pipelines e Spark sem ter a capacidade de executar ou cancelar a execução desses aplicativos. Agora, os clientes podem atribuir a função de Operador de Monitoramento Synapse a essas personas de monitoramento. Isso permite que as organizações permaneçam em conformidade enquanto têm flexibilidade na delegação de tarefas a indivíduos ou equipes. Saiba mais lendo Synapse RBAC Roles.

Integração de dados

  • A Microsoft adicionou o Dataverse como um conector de origem e coletor ao Synapse Data Flows para que agora você possa criar trabalhos ETL de transformação de dados low-code no Synapse acessando diretamente seu ambiente Dataverse. Para obter mais detalhes sobre como usar esse novo conector, leia Mapeando propriedades de fluxo de dados.

  • Ouvimos de você que um tempo limite de 1 minuto para a atividade da Web não era longo o suficiente, especialmente em casos de APIs síncronas. Agora, com a propriedade de tempo limite de resposta 'httpRequestTimeout', você pode definir o tempo limite para a solicitação HTTP de até 10 minutos. Saiba mais lendo Melhorias no tempo limite de resposta da atividade na Web.

Experiência de programador

  • Anteriormente, se você quisesse fazer referência a um bloco de anotações em outro bloco de anotações, só podia fazer referência a conteúdo publicado ou confirmado. Agora, ao usar %executar blocos de anotações, você pode habilitar a "referência de bloco de anotações não publicada", que permitirá fazer referência a blocos de anotações não publicados. Quando ativada, a execução do bloco de anotações buscará o conteúdo atual no cache da Web do bloco de anotações, o que significa que as alterações no editor do bloco de anotações podem ser referenciadas imediatamente por outros blocos de anotações sem precisar ser publicadas (modo ao vivo) ou confirmadas (modo Git). Para saber mais, leia Referenciar bloco de anotações não publicado.

Atualização de março de 2022

As atualizações a seguir são novas no Azure Synapse Analytics este mês.

Experiência do desenvolvedor

  • As células de código em blocos de anotações Synapse que resultam em exceção agora mostrarão a saída padrão junto com a mensagem de exceção. Este recurso é suportado para as linguagens Python e Scala. Para saber mais, consulte o exemplo de saída quando uma instrução de código falha.

  • Os blocos de anotações Synapse agora suportam saída parcial ao executar células de código. Para saber mais, veja os exemplos nesta postagem do blog

  • Agora você pode controlar dinamicamente a configuração da sessão do Spark para a atividade do bloco de anotações com parâmetros de pipeline. Para saber mais, consulte o recurso explorador de variáveis dos blocos de anotações Sinapse.

  • Agora você pode reutilizar e gerenciar sessões de bloco de anotações sem ter que iniciar uma nova. Pode ligar facilmente um bloco de notas selecionado a uma sessão ativa na lista iniciada a partir de outro bloco de notas. Você pode desanexar uma sessão de um bloco de anotações, interromper a sessão e monitorá-la. Para saber mais, veja como gerenciar suas sessões ativas do bloco de anotações.

  • Os notebooks Synapse agora capturam qualquer coisa escrita através do módulo de log do Python, além dos logs do driver. Para saber mais, consulte Suporte para registro em log do Python.

SQL

  • A Criptografia de Nível de Coluna para Pools SQL dedicados do Azure Synapse agora está disponível ao público em geral. Com a criptografia no nível da coluna, você pode usar chaves de proteção diferentes para cada coluna, com cada chave tendo suas próprias permissões de acesso. Os dados em colunas impostas por CLE são criptografados no disco e permanecem criptografados na memória até que a função DECRYPTBYKEY seja usada para descriptografá-los. Para saber mais, consulte como criptografar uma coluna de dados.

  • Os pools SQL sem servidor agora oferecem suporte a um melhor desempenho para CETAS (Create External Table as Select) e consultas SELECT subsequentes. As melhorias de desempenho incluem, um plano de execução paralela resultando em execução CETAS mais rápida e saída de vários arquivos. Para saber mais, consulte o artigo CETAS com Synapse SQL e a postagem no blog

Apache Spark para Sinapse

  • O conector Synapse Spark Common Data Model (CDM) agora está disponível ao público em geral. O leitor/gravador de formato CDM permite que um programa Spark leia e escreva entidades CDM em uma pasta CDM através de dataframes Spark. Para saber mais, veja como o conector CDM suporta leitura, gravação de dados, exemplos, & problemas conhecidos.

  • O Synapse Spark Dedicated SQL Pool (DW) Connector agora oferece suporte a um desempenho aprimorado. A nova arquitetura elimina a movimentação de dados redundantes e usa COPY-INTO em vez de PolyBase. Você pode autenticar por meio da autenticação básica do SQL ou optar pelo método de autenticação baseado no Azure Ative Directory/Azure AD. Ele agora tem ~ 5x melhorias em relação à versão anterior. Para saber mais, consulte Azure Synapse Dedicated SQL Pool Connector for Apache Spark

  • O Synapse Spark Dedicated SQL Pool (DW) Connector agora suporta todas as opções do Spark Dataframe SaveMode. Ele suporta os modos Append, Overwrite, ErrorIfExists e Ignore. O Acrescentar e Substituir são essenciais para gerenciar a ingestão de dados em escala. Para saber mais, consulte Suporte a SaveMode para gravação de DataFrame

  • Acelere a velocidade de execução do Spark usando o novo recurso Cache Inteligente. Esta funcionalidade está atualmente em pré-visualização pública. O Cache Inteligente armazena automaticamente cada leitura dentro do espaço de armazenamento de cache alocado, detetando alterações de arquivos subjacentes e atualizando os arquivos para fornecer os dados mais recentes. Para saber mais, veja como ativar/desativar o cache para seu pool do Apache Spark ou veja a postagem do blog

Segurança

  • O Azure Synapse Analytics agora dá suporte à autenticação do Azure Ative Directory (Azure AD). Você pode ativar a autenticação do Azure AD durante a criação do espaço de trabalho ou após a criação do espaço de trabalho. Para saber mais, veja como usar a autenticação do Azure AD com o Synapse SQL.

  • Suporte à API para aumentar ou reduzir a versão mínima do TLS para SQL Server dedicado gerenciado pelo espaço de trabalho. Para saber mais, veja como atualizar a configuração mínima de TLS ou leia a postagem do blog para obter mais detalhes.

Integração de Dados

Atualização de fevereiro de 2022

As atualizações a seguir são novas no Azure Synapse Analytics este mês.

SQL

Integração de dados

Atualização de janeiro de 2022

As atualizações a seguir são novas no Azure Synapse Analytics este mês.

Apache Spark para Sinapse

Agora você pode usar quatro novos modelos de banco de dados no Azure Synapse. Saiba mais sobre modelos automotivos, genômicos, manufatura e produtos farmacêuticos na postagem do blog ou no artigo de modelos de banco de dados. Esses modelos estão atualmente em visualização pública e estão disponíveis na galeria do Synapse Studio.

Machine Learning

Melhorias na biblioteca Synapse Machine Learning v0.9.5 (anteriormente chamada MMLSpark). Esta versão simplifica a criação de pipelines de aprendizado de máquina massivamente escaláveis com o Apache Spark. Para saber mais, leia a postagem no blog sobre os novos recursos desta versão ou veja as notas de versão completas

Segurança

  • Visão geral da segurança do Azure Synapse Analytics - Um whitepaper que abrange as cinco camadas de segurança. As camadas de segurança incluem autenticação, controle de acesso, proteção de dados, segurança de rede e proteção contra ameaças. Entenda cada recurso de segurança em detalhes para implementar uma linha de base de segurança padrão do setor e proteger seus dados na nuvem.

  • O TLS 1.2 agora é necessário para espaços de trabalho Synapse recém-criados. Para saber mais, veja como o TLS 1.2 fornece segurança aprimorada usando este artigo ou a postagem do blog. As tentativas de entrada em um espaço de trabalho Synapse recém-criado a partir de conexões usando versões TLS inferiores a 1.2 falharão.

Integração de Dados

  • Regras de validação de qualidade de dados usando a transformação Assert - Agora você pode adicionar facilmente qualidade de dados, validação de dados e validação de esquema aos seus trabalhos de ETL Synapse usando a transformação Assert em fluxos de dados Synapse. Para saber mais, consulte o artigo Assert transformation in mapping data flow ou a postagem do blog.

  • Conector de fluxo de dados nativo para Dynamics - Os fluxos de dados Synapse agora podem ler e gravar dados diretamente no Dynamics por meio do novo conector Dynamics de fluxo de dados. Saiba mais sobre como criar conjuntos de dados em fluxos de dados para ler, transformar, agregar, juntar, etc. usando este artigo ou a postagem do blog. Em seguida, você pode gravar os dados de volta no Dynamics usando a computação interna do Synapse Spark.

  • IntelliSense e preenchimento automático adicionados a expressões de pipeline - O IntelliSense facilita a criação de expressões, editando-as. Para saber mais, veja como verificar a sintaxe da expressão, localizar funções e adicionar código aos pipelines.

SQL do Synapse

  • Descoberta de esquema COPY para ingestão de dados complexos. Para saber mais, consulte a postagem do blog ou como o GitHub aproveitou essa funcionalidade em Introducing Automatic Schema Discovery with auto table creation for complex datatypes.

  • Os pools SQL sem servidor agora oferecem suporte à função HASHBYTES. HASHBYTES é uma função T-SQL, que hashes valores. Saiba como usar valores de hash na distribuição de dados usando este artigo ou a postagem do blog.

Atualização de dezembro de 2021

As atualizações a seguir são novas no Azure Synapse Analytics este mês.

Apache Spark para Sinapse

Machine Learning

  • O artigo do blogda biblioteca Synapse Machine Learning
  • Introdução ao artigo do blogde modelos inteligentes pré-construídos de última geração
  • Construindo sistemas de IA responsáveis com o artigo do blogda biblioteca Synapse ML
  • PREDICT agora é GA para Synapse Dedicated SQL pools artigo do blog
  • Pontuação simples e escalável com PREDICT e MLFlow para Apache Spark for Synapse artigo do blog
  • Artigo do blogSoluções de IA de varejo

Segurança

  • Identidades gerenciadas atribuídas pelo usuário agora suportadas no Synapse Pipelines no artigo do blogde visualização
  • Procurar pastas ADLS Gen2 em um espaço de trabalho do Azure Synapse Analytics no artigo do blogde visualização

Integração de Dados

  • Artigo do blogPipeline Fail activity
  • Mapeando o fluxo de dados obtém novos conectores nativos artigo do blog
  • Mais formatos de exportação de notebook: HTML, Python e LaTeX blog
  • Três novos tipos de gráficos no modo de exibição de bloco de anotações: gráfico de caixa, histograma e blog de tabela dinâmica
  • Reconectar-se ao blog de sessão de bloco de anotações perdido

Integrar

Atualização de novembro de 2021

As atualizações a seguir são novas no Azure Synapse Analytics este mês.

Sinapse Data Explorer

Trabalhar com bancos de dados e Data Lakes

SQL

  • O suporte do Delta Lake para SQL sem servidor está geralmente disponível no artigo do blog
  • Consultar vários caminhos de arquivo usando OPENROWSET no artigo do blogSQL sem servidor
  • Consultas SQL sem servidor agora podem retornar até 200 GB de resultados artigo do blog
  • Manipulando linhas inválidas com OPENROWSET no artigo do blogSQL sem servidor

Apache Spark para Sinapse

Machine Learning

  • O artigo do blogda biblioteca Synapse Machine Learning
  • Introdução ao artigo do blogde modelos inteligentes pré-construídos de última geração
  • Construindo sistemas de IA responsáveis com o artigo do blogda biblioteca Synapse ML
  • PREDICT agora é GA para Synapse Dedicated SQL pools artigo do blog
  • Pontuação simples e escalável com PREDICT e MLFlow para Apache Spark for Synapse artigo do blog
  • Artigo do blogSoluções de IA de varejo

Segurança

  • Identidades gerenciadas atribuídas pelo usuário agora suportadas no Synapse Pipelines no artigo do blogde visualização
  • Procurar pastas ADLS Gen2 em um espaço de trabalho do Azure Synapse Analytics no artigo do blogde visualização

Integração de Dados

Atualização de outubro de 2021

As atualizações a seguir são novas no Azure Synapse Analytics este mês.

Geral

Apache Spark para Sinapse

  • Blog de otimizações de desempenho do Spark

Segurança

Governação

  • Os espaços de trabalho Synapse agora podem enviar automaticamente dados de linhagem para o artigo do blogMicrosoft Purview

Integrar

  • Use o Stringify em fluxos de dados para transformar facilmente tipos de dados complexos em strings artigo de blog
  • Control Spark session time-to-live (TTL) no artigo do blogde fluxos de dados

CI/CD & Git

  • Implantar espaços de trabalho Synapse usando o artigo do blogAções do GitHub
  • Mais controle criando ramificações do Git no artigo do blogSynapse Studio

Experiência do desenvolvedor

Próximos passos

Introdução ao Azure Synapse Analytics