Quais são as novidades do Azure Synapse Analytics?

  • Artigo
  • 55 minutos para ler

Esta página é continuamente atualizada com uma revisão recente das novidades do Azure Synapse Analytics e também das funcionalidades que estão atualmente em pré-visualização. Para seguir as novidades e funcionalidades mais recentes do Azure Synapse, consulte o Blogue do Azure Synapse Analytics e vídeos complementares no YouTube.

Para obter atualizações mais antigas, veja publicações anteriores do Blogue do Azure Synapse Analytics ou atualizações anteriores no Azure Synapse Analytics.

Funcionalidades atualmente em pré-visualização

A tabela seguinte lista as funcionalidades do Azure Synapse Analytics que estão atualmente em pré-visualização. As funcionalidades de pré-visualização são ordenadas alfabeticamente.

Nota

As funcionalidades atualmente em pré-visualização estão disponíveis em termos suplementares de utilização, reveja os termos legais aplicáveis às funcionalidades do Azure que estão em versão beta, pré-visualização ou ainda não lançadas para disponibilidade geral. Azure Synapse Analytics fornece pré-visualizações para lhe dar a oportunidade de avaliar e partilhar comentários com o grupo de produtos sobre funcionalidades antes de ficarem disponíveis em geral (GA).

Funcionalidade Saiba mais
Assistente do Spark para Azure Synapse Notebook O Assistente do Spark para Azure Synapse Notebook analisa o código executado pelo Spark e apresenta conselhos em tempo real para Blocos de Notas. O assistente do Spark oferece recomendações para otimização de código com base em padrões comuns incorporados, realiza a análise de erros e localiza a causa principal das falhas. 
Tabelas do Apache Spark Delta Lake em conjuntos DE SQL sem servidor A capacidade de os conjuntos de SQL sem servidor acederem às tabelas do Delta Lake criadas nas bases de dados do Spark está em pré-visualização. Para obter mais informações, veja Azure Synapse Tabelas de metadados partilhados do Analytics.
Armazenamento de conjuntos elásticos do Apache Spark Azure Synapse conjuntos do Spark do Analytics suportam agora o armazenamento de conjuntos elásticos em pré-visualização. O armazenamento de conjuntos elásticos permite ao motor do Spark monitorizar o armazenamento temporário do nó de trabalho e anexar mais discos, se necessário. Não é necessária nenhuma ação e, consequentemente, deverá ver menos falhas no trabalho. Para obter mais informações, consulte Blogue: Azure Synapse o armazenamento do conjunto elástico Spark do Analytics está disponível para pré-visualização pública.
Escrita Otimizada do Apache Spark Otimizar Escrita é uma funcionalidade do Delta Lake no Azure Synapse reduz o número de ficheiros escritos pelo Apache Spark 3 (3.1 e 3.2) e tem como objetivo aumentar o tamanho de ficheiro individual dos dados escritos.
Suporte para idiomas do Apache Spark R O suporte R incorporado para o Apache Spark está agora em pré-visualização.
Azure Synapse Data Explorer O Azure Synapse Data Explorer fornece uma experiência de consulta interativa para desbloquear informações de dados de registo e telemetria. Os conectores do Azure Data Explorer estão disponíveis para o Synapse Data Explorer. Para obter mais notícias, consulte Azure Synapse Data Explorer (pré-visualização).
Procurar pastas do ADLS Gen2 na área de trabalho do Azure Synapse Analytics Agora, pode procurar um contentor ou pasta do Azure Data Lake Storage Gen2 (ADLS Gen2) na área de trabalho do Azure Synapse Analytics no Synapse Studio. Para saber mais, veja Procurar uma pasta do ADLS Gen2 com ACLs no Azure Synapse Analytics.
Pré-visualização do Synapse Link do Cosmos DB para Data Explorer do Azure O Azure Data Explorer suporta a ingestão de dados totalmente gerida do Azure Cosmos DB através de um feed de alterações. Para obter mais informações, veja Ingerir dados do Azure Cosmos DB para o Azure Data Explorer (Pré-visualização).
Melhorias do fluxo de dados na Pré-visualização de Dados Para saber mais, veja Melhorias na Pré-visualização de Dados e depuração nos Fluxos de Dados de Mapeamento.
Assistente de Distribuição O Assistente de Distribuição é uma nova funcionalidade de pré-visualização no Azure Synapse conjuntos de SQL dedicados Gen2 que analisa consultas e recomenda as melhores estratégias de distribuição para tabelas para melhorar o desempenho das consultas. Para obter mais informações, veja Distribution Advisor in Azure Synapse SQL (Assistente de Distribuição no SQL do Azure Synapse).
Formação de Rede Neural Profunda Distribuída Saiba mais sobre novas bibliotecas de formação distribuídas, como Horovod, Petastorm, TensorFlow e PyTorch em tutoriais de aprendizagem profunda.
Incorporar dashboards do ADX Os dashboards do Azure Data Explorer são incorporados num IFrame e alojados em aplicações de terceiros.
Distribuição de várias colunas em conjuntos de SQL dedicados Agora, pode Distribuir tabelas hash em múltiplas colunas para uma distribuição mais uniforme da tabela base, reduzindo a distorção de dados ao longo do tempo e melhorando o desempenho das consultas. Para obter mais informações sobre como optar ativamente por participar na pré-visualização, veja OPções de distribuição CREATE TABLE ou CREATE TABLE AS SELECT distribution options (Criar opções de distribuição TABELA COMO SELECT).
Rejeitar opções para ficheiros de texto delimitados As opções de rejeição para CRIAR TABELA EXTERNA em ficheiros delimitados estão em pré-visualização.
Time-To-Live na rede virtual gerida (VNet) Reserve a computação para o tempo de vida (TTL) no período TTL da rede virtual gerida, poupando tempo e melhorando a eficiência. Para obter mais informações sobre esta pré-visualização, consulte Anunciar a pré-visualização pública do Time-To-Live (TTL) na rede virtual gerida.
Identidades geridas atribuídas pelo utilizador Agora, pode utilizar identidades geridas atribuídas pelo utilizador em serviços ligados para autenticação em Pipelines do Synapse e Dataflows.To saber mais, consulte Credenciais em Azure Data Factory e Azure Synapse.

Funcionalidades disponíveis geralmente

A tabela seguinte lista as funcionalidades do Azure Synapse Analytics que transitaram da pré-visualização para a disponibilidade geral (GA) nos últimos 12 meses.

Mensal Funcionalidade Saiba mais
Março de 2023 Implementar o Synapse SQL sem servidor com o SSDT O aguardado suporte do SqlPackage para conjuntos de SQL sem servidor do Azure Synapse Analytics está agora disponível a partir do SqlPackage 161.8089.0. Os conjuntos de SQL sem servidor são suportados para as ações de extração e publicação.
Fevereiro de 2023 Suporte de agrupamentos UTF-8 e Japonês para conjuntos de SQL dedicados Tanto o suporte UTF-8 como os agrupamentos japoneses estão agora disponíveis geralmente para conjuntos de SQL dedicados.
Fevereiro de 2023 Azure Synapse Runtime para Apache Spark 3.3 O Azure Synapse Runtime para Apache Spark 3.3 está agora disponível em geral. Com base nos nossos testes com a referência da indústria TPC-H de 1 TB, é provável que veja até 77% de desempenho aumentado.
Dezembro de 2022 Injeção de rede virtual SSIS IR Express Os métodos padrão e expresso para injetar o seu SSIS Integration Runtime (IR) numa VNet estão disponíveis geralmente agora. Para obter mais informações, veja Disponibilidade Geral da injeção de Rede Virtual Express para SSIS no Azure Data Factory.
Novembro de 2022 Ingerir dados do Azure Stream Analytics no Synapse Data Explorer A capacidade de utilizar uma tarefa do Streaming Analytics para recolher dados de um hub de eventos e enviá-la para o cluster do Azure Data Explorer está agora disponível de forma geral. Para obter mais informações, veja Ingesting data from Azure Stream Analytics into Azure Data Explorer and ADX output from Azure Stream Analytics (Ingerir dados do Azure Stream Analytics para o Azure Data Explorer e saída do ADX a partir do Azure Stream Analytics).
Novembro de 2022 Azure Synapse Link para SQL Azure Synapse Link para SQL está agora disponível para SQL Server 2022 e para a Base de Dados SQL do Azure. A funcionalidade Azure Synapse Link para SQL fornece uma replicação de dados quase em tempo real, quase em tempo real, dos arquivos operacionais baseados em SQL para o Azure Synapse Analytics. Forneça relatórios de BI sobre dados operacionais em tempo quase real, com um impacto mínimo no seu arquivo operacional. Para saber mais, visite O que é Azure Synapse Link para SQL?
Outubro de 2022 GA do conector SAP CDC O conector de dados do SAP Change Data Capture (CDC) é agora GA. Para obter mais informações, consulte Anunciar a Pré-visualização Pública da solução DO SAP CDC na solução Azure Data Factory e Azure Synapse Analytics e SAP CDC no Azure Data Factory.
Setembro de 2022 Unir sintaxe T-SQL A sintaxe T-SQL MERGE tem sido uma adição altamente pedida à biblioteca T-SQL do Synapse. Tal como no SQL Server, a sintaxe MERGE encapsula INSERTs/UPDATEs/DELETEs numa única instrução de alto desempenho. Disponível em conjuntos de SQL dedicados na versão 10.0.17829 e posterior. Para obter mais informações, veja o blogue de anúncios T-SQL MERGE.
Julho de 2022 Apache Spark™ 3.2 para o Synapse Analytics O Apache Spark™ 3.2 para o Synapse Analytics está agora disponível globalmente. Reveja as notas de versão oficiais e as diretrizes de migração entre o Spark 3.1 e 3.2 para avaliar possíveis alterações às suas aplicações. Para obter mais detalhes, leia Suporte da versão do Apache Spark e Azure Synapse Runtime para Apache Spark 3.2. Destaques do que melhorou no Spark 3.2 na Atualização de Julho de 2022 do Azure Synapse Analytics.
Julho de 2022 Funcionalidade Apache Spark na Cache Inteligente Azure Synapse A Cache Inteligente para Spark armazena automaticamente cada leitura dentro do espaço de armazenamento de cache alocado, detetando alterações de ficheiro subjacentes e atualizando os ficheiros para fornecer os dados mais recentes. Para saber mais, veja Como Ativar/Desativar a cache do conjunto do Apache Spark.
Junho de 2022 Ferramenta Mapear Dados A ferramenta Mapear Dados é um processo orientado para o ajudar a criar mapeamentos etl e fluxos de dados de mapeamento a partir dos dados de origem para o Synapse sem escrever código. Para saber mais sobre a ferramenta Mapear Dados, leia Mapear Dados no Azure Synapse Analytics.
Junho de 2022 Funções Definidas pelo Utilizador As funções definidas pelo utilizador (UDFs) estão agora geralmente disponíveis. Para saber mais, leia Funções definidas pelo utilizador nos fluxos de dados de mapeamento.
Maio de 2022 Azure Synapse Data Explorer conector do Power Automate, Logic Apps e Power Apps O conector do Azure Data Explorer para o Power Automate permite-lhe orquestrar e agendar fluxos, enviar notificações e alertas, como parte de uma tarefa agendada ou acionada. Para saber mais, leia Conector do Azure Data Explorer para o Microsoft Power Automate e Exemplos de utilização para o conector do Azure Data Explorer para o Power Automate.
Abril de 2022 Restauro entre subscrições para Azure Synapse SQL Com a atualização do módulo 3.8 do PowerShell Az.Sql , o cmdlet Restore-AzSqlDatabase pode ser utilizado para o restauro entre subscrições de conjuntos de SQL dedicados. Para saber mais, veja Blogue: Restaurar um conjunto de SQL dedicado (anteriormente SQL DW) para uma subscrição diferente. Esta funcionalidade está agora disponível para conjuntos de SQL dedicados (anteriormente SQL DW) e conjuntos de SQL dedicados numa área de trabalho do Synapse. Qual é a diferença?
Abril de 2022 Estruturador de Bases de Dados O estruturador de bases de dados permite que os utilizadores criem visualmente bases de dados no Synapse Studio sem escrever uma única linha de código. Para obter mais informações, veja Announcing General Availability of Database Designer (Anunciar a Disponibilidade Geral do Estruturador de Bases de Dados). Leia mais sobre bases de dados lake e saiba Como modificar uma base de dados lake existente com o estruturador de bases de dados.
Abril de 2022 Modelos de Bases de Dados Foram introduzidos novos modelos de base de dados específicos do setor no blogue Disponibilidade Geral dos Modelos de Base de Dados do Synapse. Saiba mais sobre os Modelos de base de dados e a experiência de exploração melhorada.
Abril de 2022 Função RBAC do Operador de Monitorização do Synapse A função RBAC (controlo de acesso baseado em funções) do Operador de Monitorização do Synapse permite que um utilizador pessoal monitorize a execução de aplicações Synapse Pipelines e Spark sem ter a capacidade de executar ou cancelar a execução destas aplicações. Para obter mais informações, veja as Funções RBAC do Synapse.
Março de 2022 Flowlets Os flowlets ajudam-no a estruturar partes da nova lógica de fluxo de dados ou a extrair partes de um fluxo de dados existente e a guardá-las como artefactos separados dentro da área de trabalho do Synapse. Em seguida, pode reutilizar estes Flowlets dentro de outros fluxos de dados. Para saber mais, reveja a publicação de blogue de anúncio do Flowlets GA e leia Flowlets no fluxo de dados de mapeamento.
Março de 2022 Conectores do Feed de Alterações As transformações de origens de fluxos de dados de captura de dados (CDC) alteradas para o Azure Cosmos DB, Armazenamento de Blobs do Azure, ADLS Gen1, ADLS Gen2 e Common Data Model (CDM) estão agora geralmente disponíveis. Ao simplesmente selecionar uma caixa, pode indicar ao ADF para gerir automaticamente um ponto de verificação e ler apenas as linhas mais recentes que foram atualizadas ou inseridas desde a última execução do pipeline. Para saber mais, reveja a mensagem de blogue de pré-visualização dos conectores do Feed de Alterações e leia Copiar e transformar dados no Azure Data Lake Storage Gen2 com o Azure Data Factory ou o Azure Synapse Analytics.
Março de 2022 Encriptação ao nível da coluna para conjuntos de SQL dedicados A encriptação ao nível da coluna está agora disponível para utilização em servidores lógicos novos e existentes SQL do Azure com conjuntos de SQL dedicados Azure Synapse e conjuntos de SQL dedicados em áreas de trabalho Azure Synapse. SQL Server Data Tools (SSDT) para encriptação ao nível da coluna para os conjuntos de SQL dedicados está disponível a partir da compilação 17.2 Preview 2 do Visual Studio 2022.
Março de 2022 Conector do Common Data Model (CDM) do Synapse Spark O leitor/escritor de formato CDM permite que um programa Spark leia e escreva entidades de CDM numa pasta de CDM através de dataframes do Spark. Para saber mais, veja como o conector do CDM suporta a leitura, escrita de dados, exemplos, & problemas conhecidos.

Comunidade

Esta secção resume as novas oportunidades de comunidade do Azure Synapse Analytics e o programa Azure Synapse Influencer da Microsoft.

Mensal Funcionalidade Saiba mais
Janeiro de 2023 Área mvp do Azure Synapse Destaques de dezembro da série de blogues microsoft Azure Synapse MVP Azure Synapse MVP Corner.
Dezembro de 2022 Área mvp do Azure Synapse Destaques de novembro da série de blogues do MVP do Microsoft Azure Synapse na área de Azure Synapse MVP deste mês.
Novembro de 2022 programa influenciador de Azure Synapse O programa Azure Synapse Influencer fornece eventos exclusivos e sessões de Q&A, como Pergunte aos Especialistas à equipa de produtos da Microsoft, onde os membros podem interagir diretamente com especialistas em produtos ao fazer perguntas sobre vários tópicos rotativos. Obtenha feedback de membros da comunidade de influenciadores do Azure Synapse Analytics.
Outubro de 2022 Área mvp do Azure Synapse Destaques de outubro da série de blogues do MVP da Microsoft Azure Synapse na área de Azure Synapse MVP deste mês.
Setembro de 2022 Área mvp do Azure Synapse Destaques de setembro da série de blogues mvp do Microsoft Azure Synapse na área de Azure Synapse MVP deste mês.
Maio de 2022 programa influenciador de Azure Synapse Inscreva-se no nosso programa gratuito Azure Synapse Influencer e ligue-se a uma comunidade de utilizadores do Synapse que se dedicam a ajudar outras pessoas a alcançar mais com a análise da cloud. Registe-se agora para a nossa próxima sessão do Influenciador do Synapse Pergunte aos Especialistas. É gratuito participar e todos são bem-vindos para participar e participar no debate sobre tópicos relacionados com o Synapse. Pode ver eventos de Pergunte aos Especialistas gravados no canal do YouTube Azure Synapse.
Março de 2022 Azure Synapse Analytics e série de vídeos do YouTube do Microsoft MVP Foi lançada uma atividade conjunta com a equipa de produtos Azure Synapse e a comunidade MVP da Microsoft, uma nova Série de Vídeos MVP do YouTube sobre as funcionalidades Azure Synapse. Veja mais no canal do YouTube do Azure Synapse Analytics.

Apache Spark para análise de Azure Synapse

Esta secção resume as novas funcionalidades e funcionalidades recentes do Apache Spark para Azure Synapse Analytics.

Mensal Funcionalidade Saiba mais
Março de 2023 Aumentar o desempenho do Spark do Azure Synapse Analytics até 77% Mais regiões estão a receber o aumento de desempenho das cargas de trabalho Azure Synapse Spark, incluindo, mais recentemente, Coreia Central, Índia Central e Austrália Sudeste.
Março de 2023 Bloco de Notas do Azure Synapse Spark – Teste de Unidades Saiba como testar e criar casos de teste de unidades para tarefas do Spark desenvolvidas com o Synapse Notebook.
Março de 2023 Ciclo de descontinuação do Apache Spark 2.4 e 3.1 O Azure Synapse runtime para o Apache Spark 2.4 e 3.1 entrou no ciclo de descontinuação. O Apache Spark 2.4 será descontinuado a 29 de setembro de 2023 e o Apache Spark 3.1 será descontinuado a partir de 26 de janeiro de 2024. Deverá transferir as cargas de trabalho para um runtime mais recente do Apache Spark neste período. Leia mais em Runtimes do Apache Spark no Azure Synapse e veja o guia de migração do Spark.
Fevereiro de 2023 Azure Synapse Runtime para Apache Spark 3.3 O Azure Synapse Runtime para o Apache Spark 3.3 está agora disponível de forma geral. Com base nos nossos testes com a referência da indústria TPC-H de 1 TB, é provável que veja até 77% de desempenho aumentado.
Janeiro de 2023 Assistente do Spark para Azure Synapse Notebook O Assistente do Spark para Azure Synapse Notebook analisa o código executado pelo Spark e apresenta conselhos em tempo real para Blocos de Notas. O assistente do Spark oferece recomendações para otimização de código com base em padrões comuns incorporados, realiza a análise de erros e localiza a causa principal das falhas. 
Janeiro de 2023 Melhorar a utilização do conjunto do Spark com o Synapse Genie O Synapse Genie Framework melhora a utilização do conjunto do Spark ao executar vários blocos de notas do Synapse na mesma instância do conjunto do Spark. Leia mais sobre este utilitário baseado em metadados escrito em Python.
Novembro de 2022 Azure Synapse Runtime para Apache Spark 3.3 O Azure Synapse Runtime para Apache Spark 3.3 está atualmente em pré-visualização. Para obter mais informações, consulte a mensagem de blogue de pré-visualização do Apache Spark 3.3. Com base nos nossos testes com a referência da indústria TPC-H de 1 TB, é provável que veja até 77% de desempenho aumentado.
Setembro de 2022 Novos códigos de erro informativos do Livy Os códigos de erro mais precisos descrevem a causa da falha e substituem os códigos de erro genéricos anteriores. Anteriormente, todos os erros nas tarefas do Spark com falhas surgiram com um código de erro genérico a LIVY_JOB_STATE_DEADapresentar .
Setembro de 2022 Novas técnicas de otimização de consultas no Apache Spark para Azure Synapse Analytics Leia os resultados do trabalho da Microsoft para obter benefícios de desempenho consideráveis em todo o quadro na carga de trabalho TPC-DS de referência, bem como uma redução significativa no tempo de geração do plano de consulta.
Agosto de 2022 Armazenamento de conjuntos elásticos do Apache Spark Azure Synapse conjuntos do Spark do Analytics suportam agora o armazenamento de conjuntos elásticos em pré-visualização. O armazenamento de conjuntos elásticos permite que o motor do Spark monitorize o armazenamento temporário dos nós de trabalho e anexe discos adicionais, se necessário. Não é necessária nenhuma ação e, consequentemente, deverá ver menos falhas no trabalho. Para obter mais informações, consulte Blogue: Azure Synapse o armazenamento do conjunto elástico Spark do Analytics está disponível para pré-visualização pública.
Agosto de 2022 Escrita Otimizada do Apache Spark Otimizar Escrita é uma funcionalidade de pré-visualização do Delta Lake no Synapse que reduz o número de ficheiros escritos pelo Apache Spark 3 (3.1 e 3.2) e tem como objetivo aumentar o tamanho de ficheiro individual dos dados escritos. Para saber mais, veja A necessidade de otimizar a escrita no Apache Spark.
Maio de 2022 Azure Synapse conector do conjunto de SQL dedicado para o Apache Spark agora disponível no Python Anteriormente, o Conector do Conjunto de SQL dedicado Azure Synapse para o Apache Spark só estava disponível com o Scala. Agora, o conector do conjunto de SQL dedicado para o Apache Spark pode ser utilizado com o Python no Spark 3.
Maio de 2022 Gerir Azure Synapse configuração do Apache Spark Com a nova funcionalidade de configurações do Apache Spark , pode criar um artefacto de configuração do Spark autónomo com sugestões automáticas e regras de validação incorporadas. O artefacto de configuração do Spark permite-lhe partilhar a configuração do Spark dentro e em Azure Synapse áreas de trabalho. Também pode associar facilmente a configuração do Spark a um conjunto do Spark, a um Bloco de Notas e a uma definição de tarefa do Spark para reutilizar e minimizar a necessidade de copiar a configuração do Spark em vários locais.
Abril de 2022 Apache Spark 3.2 para o Synapse Analytics Apache Spark 3.2 para O Synapse Analytics com disponibilidade de pré-visualização. Reveja as notas de versão e as diretrizes de migração oficiais do Spark 3.2entre o Spark 3.1 e a 3.2 para avaliar potenciais alterações às suas aplicações. Para obter mais detalhes, leia Suporte da versão do Apache Spark e Azure Synapse Runtime para Apache Spark 3.2.
Abril de 2022 Parametrização da definição da tarefa do Spark Agora pode atribuir parâmetros dinamicamente com base em variáveis, metadados ou especificar parâmetros específicos do Pipeline para a atividade de definição de tarefas do Spark. Para obter mais detalhes, leia Transformar dados com a definição da tarefa do Apache Spark.
Abril de 2022 Instantâneo do bloco de notas do Apache Spark Pode aceder a um instantâneo do Bloco de Notas quando existe uma falha na execução do Bloco de Notas do Pipeline ou quando existe uma tarefa de Bloco de Notas de execução prolongada. Para saber mais, leia Transformar dados ao executar um bloco de notas do Synapse e Introdução aos utilitários do Microsoft Spark.
Março de 2022 Conector do Modelo de Dados Comuns (CDM) do Synapse Spark O leitor/escritor de formato CDM permite que um programa Spark leia e escreva entidades CDM numa pasta CDM através de dataframes do Spark. Para saber mais, veja como o conector CDM suporta a leitura, escrita de dados, exemplos, & problemas conhecidos.
Março de 2022 Otimização do desempenho do conector do conjunto de SQL dedicado do Synapse Spark As novas melhorias ao Conector do Conjunto de SQL dedicado do Azure Synapse para o Apache Spark reduzem o movimento de dados e tiram partido COPY INTOdo . Os testes de desempenho indicaram, pelo menos, uma melhoria de ~5x em face da versão anterior. Não é necessária nenhuma ação por parte do utilizador para tirar partido destes melhoramentos. Para obter mais informações, consulte Blogue: Conector do Conjunto de SQL Dedicado (DW) do Synapse Spark: Melhorias de Desempenho.
Março de 2022 Suporte para todas as opções do Spark Dataframe SaveMode O conector do Conjunto de SQL dedicado Azure Synapse para o Apache Spark suporta agora as quatro opções saveMode do Apache Dataframe do Spark: Acrescentar, Substituir, ErrorIfExists, Ignorar. Para obter mais informações sobre o Spark SaveMode, leia a documentação oficial do Apache Spark.
Março de 2022 Funcionalidade Cache Inteligente do Apache Spark no Azure Synapse Analytics A Cache Inteligente para Spark armazena automaticamente cada leitura dentro do espaço de armazenamento de cache alocado, detetando alterações de ficheiros subjacentes e atualizando os ficheiros para fornecer os dados mais recentes. Para saber mais sobre esta funcionalidade de pré-visualização, veja como Ativar/Desativar a cache do seu conjunto do Apache Spark ou ver a mensagem de blogue.

Integração de dados

Esta secção resume as novas funcionalidades e capacidades recentes da integração de dados do Azure Synapse Analytics. Saiba como Carregar dados para o Azure Synapse Analytics com Azure Data Factory (ADF) ou um pipeline do Synapse.

Mensal Funcionalidade Saiba mais
Janeiro de 2023 A extração incremental do SQL CDC suporta agora colunas numéricas Ativar a extração incremental do SQL Server CDC em fluxos de dados permite-lhe processar apenas linhas que foram alteradas desde a última vez que o pipeline foi executado. Os tipos de coluna incremental suportados incluem agora colunas de data/hora e numéricas.
Dezembro de 2022 Injeção de rede virtual express Os métodos padrão e expresso para injetar o seu SSIS Integration Runtime (IR) numa VNet estão disponíveis geralmente agora. Para obter mais informações, veja Disponibilidade Geral da injeção de Rede Virtual Express para SSIS no Azure Data Factory.
Outubro de 2022 GA do conector SAP CDC O conector de dados do SAP Change Data Capture (CDC) é agora GA. Para obter mais informações, consulte Anunciar a Pré-visualização Pública da solução DO SAP CDC na solução Azure Data Factory e Azure Synapse Analytics e SAP CDC no Azure Data Factory.
Setembro de 2022 Vista de gráfico Gantt Agora, pode ver as execuções de atividades com um gráfico Gantt na monitorização Azure Data Factory Integration Runtime.
Setembro de 2022 Melhorias na monitorização Lançámos um novo conjunto de melhorias à experiência de monitorização com base nos comentários da comunidade.
Setembro de 2022 Otimização máxima de colunas no fluxo de dados de mapeamento Para origens de dados de texto delimitadas, como CSVs, uma nova definição de colunas máximas permite-lhe definir o número máximo de colunas.
Setembro de 2022 Conversão NUMBER para número inteiro no conector de origem de dados Oracle Nova propriedade para converter o tipo oracle NUMBER num tipo de número inteiro correspondente na origem através da nova propriedade convertDecimalToInteger. Para obter mais informações, veja o conector de origem Oracle.
Setembro de 2022 Suporte para enviar um corpo com o método DELETE de pedido HTTP na atividade Web Novo suporte para enviar um corpo (opcional) ao utilizar o método DELETE na atividade Web. Para obter mais informações, veja as propriedades do Tipo disponíveis para a atividade Web.
Agosto de 2022 Os fluxos de dados de mapeamento suportam agora a transformação visual Cast Pode utilizar a transformação de conversão para modificar facilmente os tipos de dados de colunas individuais num fluxo de dados.
Agosto de 2022 O tempo limite da atividade predefinido foi alterado para 12 horas O tempo limite da atividade predefinido é agora de 12 horas.
Agosto de 2022 Melhorias de facilidade de utilização do construtor de expressões de pipeline Atualizámos a IU do construtor de expressões para facilitar a criação de pipelines.
Agosto de 2022 Nova IU para mapear tipos de conjuntos de dados inline do fluxo de dados Atualizámos a IU da origem do fluxo de dados para facilitar a localização do tipo de conjunto de dados inline.
Julho de 2022 Time-To-Live na rede virtual gerida (VNet) Reserve a computação para o time-to-live (TTL) no período TTL da rede virtual gerida, poupando tempo e melhorando a eficiência. Para obter mais informações sobre esta pré-visualização, veja Anunciar a pré-visualização pública do Time-To-Live (TTL) na rede virtual gerida.
Junho de 2022 Pré-visualização do conector SAP CDC Um novo conector de dados para a Captura de Dados Alterados do SAP (CDC) está agora disponível em pré-visualização. Para obter mais informações, veja Announcing Public Preview of the SAP CDC solution in Azure Data Factory and Azure Synapse Analytics and SAP CDC solution in Azure Data Factory (Anunciar a Pré-visualização Pública da solução SAP CDC na solução Azure Data Factory e Azure Synapse Analytics e SAP CDC no Azure Data Factory.
Junho de 2022 Opção de associação difusa na Transformação de Associação A utilização de correspondência difusa com um controlo de deslize de classificação de limiar de semelhança foi adicionada à transformação Associar em Fluxos de Dados de Mapeamento.
Junho de 2022 Ga da Ferramenta de Dados de Mapa Temos o entusiasmo em anunciar que a ferramenta Mapear Dados está agora Disponível Em Geral. A ferramenta Mapear Dados é um processo orientado para o ajudar a criar mapeamentos etl e fluxos de dados de mapeamento a partir dos dados de origem para o Synapse sem escrever código.
Junho de 2022 Executar novamente o pipeline com novos parâmetros Agora, pode alterar os parâmetros do pipeline ao executar novamente um pipeline a partir da página Monitorização sem ter de regressar ao editor de pipelines. Para saber mais, leia Voltar a executar pipelines e atividades.
Junho de 2022 Disponibilidade Geral das Funções Definidas pelo Utilizador As funções definidas pelo utilizador (UDFs) nos fluxos de dados de mapeamento estão agora disponíveis geralmente (GA).
Maio de 2022 Exportar a monitorização do pipeline como um CSV A capacidade de exportar a monitorização de pipelines para CSV e outras melhorias de monitorização foi introduzida no ADF.
Maio de 2022 Carregamento automático de dados de origem incremental a partir do PostgreSQL e do MySQL O carregamento automático de dados de origem incremental do PostgreSQL e do MySQL para o Synapse SQL e a Base de Dados do Azure está agora disponível nativamente no ADF.
Maio de 2022 Assert transformation error handling (Processamento de erros de transformação asserta O processamento de erros foi agora adicionado aos sinks após uma transformação asserta no fluxo de dados de mapeamento. Agora, pode escolher se pretende exportar as linhas falhadas para o sink selecionado ou para um ficheiro separado.
Maio de 2022 Edição da projeção de fluxos de dados de mapeamento Nos fluxos de dados de mapeamento, agora pode atualizar os nomes das colunas de projeção de origem e os tipos de coluna.
Abril de 2022 Conector Dataverse para Fluxos de Dados do Synapse O Dataverse é agora um conector de origem e sink para fluxos de dados do Synapse. Pode Copiar e transformar dados do Dynamics 365 (Microsoft Dataverse) ou do Dynamics CRM com o Azure Data Factory ou o Azure Synapse Analytics.
Abril de 2022 Tempo limite de resposta da atividade Web configurável do Synapse Pipelines Com a propriedade httpRequestTimeouttempo limite da resposta , pode definir um tempo limite para o pedido HTTP até 10 minutos. As atividades Web funcionam excepcionalmente bem com APIs que seguem o padrão assíncrono de pedido-resposta, uma abordagem sugerida para criar APIs/serviços Web dimensionáveis.
Março de 2022 Conector sFTP para fluxos de dados do Synapse Um conector sftp nativo nos fluxos de dados do Synapse é suportado para ler e escrever dados a partir de sFTP com a interface de fluxos de dados de baixo código visual no Synapse. Para saber mais, veja Copiar e transformar dados no servidor SFTP com o Azure Data Factory ou o Azure Synapse Analytics.
Março de 2022 Melhorias do fluxo de dados na Pré-visualização de Dados Reveja as funcionalidades adicionadas à Pré-visualização de Dados e melhoramentos de depuração em Fluxos de Dados de Mapeamento.
Março de 2022 Atividade de script de pipeline Agora pode Transformar dados com a atividade Script para invocar comandos SQL para executar DDL e DML.

Estruturador de Bases de Dados de Modelos & de Base de Dados

Esta secção resume as novas funcionalidades e capacidades recentes dos modelos de base de dados e do estruturador de bases de dados.

Mensal Funcionalidade Saiba mais
Julho de 2022 Procurar modelos do setor Procure modelos do setor e adicione tabelas para criar a sua própria base de dados lake. Saiba mais sobre as formas como pode procurar modelos do setor e começar a utilizar o Início Rápido: Criar uma nova base de dados lake ao tirar partido dos modelos de base de dados.
Abril de 2022 Estruturador de Bases de Dados O estruturador de bases de dados permite que os utilizadores criem visualmente bases de dados no Synapse Studio sem escrever uma única linha de código. Para obter mais informações, veja Announcing General Availability of Database Designer (Anunciar a Disponibilidade Geral do Estruturador de Bases de Dados). Leia mais sobre bases de dados lake e saiba Como modificar uma base de dados lake existente com o estruturador de bases de dados.
Abril de 2022 Modelos de Bases de Dados Foram introduzidos novos modelos de base de dados específicos do setor no blogue Disponibilidade Geral dos Modelos de Base de Dados do Synapse. Saiba mais sobre os Modelos de base de dados e a experiência de exploração melhorada.
Abril de 2022 Clonar base de dados lake No Synapse Studio, agora pode clonar uma base de dados com o menu de ação disponível na base de dados lake. Para saber mais, leia Procedimentos: Clonar uma base de dados lake.
Abril de 2022 Utilizar carateres universais para especificar hierarquias de pastas personalizadas As bases de dados lake estão sobre os dados que estão no lago e estes dados podem viver em pastas aninhadas que não se enquadram em padrões de partição limpos. Agora pode utilizar carateres universais para especificar hierarquias de pastas personalizadas. Para saber mais, leia Procedimentos: Modificar um datalake.
Janeiro de 2022 Novos modelos de base de dados Saiba mais sobre os novos modelos de Produtos Automóveis, Genómicos, Fabrico e Produtos Farmacêuticos específicos da indústria e comece a utilizar modelos de base de dados na galeria de Synapse Studio.

Experiência de programador

Esta secção resume os recentes melhoramentos de qualidade de vida e funcionalidades para programadores no Azure Synapse Analytics.

Mensal Funcionalidade Saiba mais
Dezembro de 2022 MSSparkUtils é a faca do Exército Suíço dentro de Synapse Spark O MSSparkUtils é um pacote incorporado que o ajuda a realizar facilmente tarefas comuns denominadas utilitários do Microsoft Spark, incluindo a capacidade de partilhar resultados entre blocos de notas.
Setembro de 2022 CICD do Synapse para publicar artefactos da área de trabalho A integração de Synapse Studio com um Sistema de Controlo de Origem, como o Git do Azure DevOps ou o GitHub, foi apresentada como uma das funcionalidades preferenciais da Synapse Studio para colaborar e fornecer controlo de origem para Azure Synapse. O Marketplace do Visual Studio tem uma tarefa de implementação da área de trabalho do Synapse para automatizar a publicação.
Julho de 2022 Compatibilidade dos Blocos de Notas do Synapse com o IPython O kernel oficial dos blocos de notas do Jupyter é IPython e agora é suportado nos Blocos de Notas do Synapse. Para obter mais informações, consulte O Synapse Notebooks é agora totalmente compatível com o IPython.
Julho de 2022 Mssparkutils agora tem o método spark.stop() Foi adicionada uma nova API mssparkutils.session.stop() ao pacote mssparkutils. Esta funcionalidade torna-se útil quando existem várias sessões em execução no mesmo conjunto do Spark. A nova API está disponível para Scala e Python. Para saber mais, consulte Parar uma sessão interativa.
Maio de 2022 Relatório analisador de Azure Synapse atualizado Saiba mais sobre as novas funcionalidades na versão 2.0 do relatório do Synapse Analyzer.
Abril de 2022 Relatório do Analisador de Azure Synapse O Azure Synapse Analyzer Report ajuda-o a identificar problemas comuns que podem estar presentes na base de dados que podem originar problemas de desempenho.
Abril de 2022 Referenciar blocos de notas não publicados Agora, ao utilizar blocos de notas %run, pode ativar a "referência de bloco de notas não publicado", o que lhe permitirá referenciar blocos de notas não publicados. Quando ativado, o bloco de notas obtém os conteúdos atuais na cache Web do bloco de notas, o que significa que outros blocos de notas podem referenciar imediatamente as alterações no seu editor de blocos de notas, sem ter de ser publicado (Modo em direto) ou consolidação (modo Git).
Março de 2022 Células de código com exceção para mostrar a saída padrão Agora, nos blocos de notas do Synapse, as mensagens de saída padrão e de exceção são apresentadas quando uma instrução de código falha para idiomas Python e Scala. Por exemplo, veja Blocos de notas do Synapse: Células de código com exceção para mostrar o resultado padrão.
Março de 2022 O resultado parcial está disponível para executar células de código do bloco de notas Agora, nos blocos de notas do Synapse, pode ver tudo o que escrever (com println comandos, por exemplo) à medida que a célula é executada, em vez de aguardar até que termine. Por exemplo, veja Blocos de notas do Synapse: a saída parcial está disponível para executar células de código do bloco de notas .
Março de 2022 Controlar dinamicamente a configuração da sessão do Spark com parâmetros de pipeline Agora, nos blocos de notas do Synapse, pode utilizar parâmetros de pipeline para configurar a sessão com o bloco de notas %%configure magic. Por exemplo, veja Blocos de notas do Synapse: controlar dinamicamente a configuração da sessão do Spark com parâmetros de pipeline.
Março de 2022 Reutilizar e gerir sessões de blocos de notas Agora, nos blocos de notas do Synapse, é fácil reutilizar uma sessão ativa convenientemente sem ter de iniciar uma nova e ver e gerir as suas sessões ativas na lista Sessões ativas . Para ver as suas sessões, selecione os 3 pontos no bloco de notas e selecione Gerir sessões. Por exemplo, veja Blocos de notas do Synapse: Reutilizar e gerir sessões de blocos de notas.
Março de 2022 Suporte para o registo do Python Agora, nos blocos de notas do Synapse, tudo o que estiver escrito através do módulo de registo do Python é capturado, além dos registos do controlador. Por exemplo, veja Blocos de notas do Synapse: Suporte para o registo do Python.

Machine Learning

Esta secção resume as novas funcionalidades e melhorias recentes aos modelos de machine learning no Azure Synapse Analytics.

Mensal Funcionalidade Saiba mais
Março de 2023 Utilizar o GPT openAI no Synapse Analytics A Microsoft oferece o Azure OpenAI como um Serviço Cognitivo do Azure e pode aceder aos modelos GPT do Azure OpenAI a partir do Synapse Spark.
Novembro de 2022 Suporte R (pré-visualização) Azure Synapse Analytics agora fornece suporte R incorporado para o Apache Spark, atualmente em pré-visualização. Por exemplo, instale uma biblioteca R a partir de instantâneos CRAN e CRAN.
Agosto de 2022 SynapseML v.0.10.0 Nova versão do SynapseML v0.10.0 (anteriormente MMLSpark), uma biblioteca open source que visa simplificar a criação de pipelines de machine learning dimensionáveis em massa. Saiba mais sobre as adições mais recentes ao SynapseML e comece a utilizar o SynapseML.
Agosto de 2022 Suporte para .NET O SynapseML v0.10 adiciona suporte total para idiomas .NET , como C# e F#. Para obter um exemplo de .NET SynapseML, veja Exemplo de .NET com LightGBMClassifier.
Agosto de 2022 Suporte do Serviço Azure Open AI O SynapseML agora permite que os utilizadores toquem em modelos de linguagem de parâmetros de 175 mil milhões (GPT-3) do OpenAI que podem gerar e concluir texto e código perto da paridade humana. Para obter mais informações, veja Azure OpenAI para Macrodados.
Agosto de 2022 Suporte da plataforma do MLflow Agora, os modelos SynapseML integram-se no MLflow com suporte total para guardar, carregar, implementar e registar automaticamente.
Agosto de 2022 SynapseML no Binder Sabemos que o Spark pode ser intimidante para os primeiros utilizadores, mas não temo porque, com o Binder de tecnologia, pode explorar e experimentar o SynapseML no Binder com zero configuração, instalação, infraestrutura ou conta do Azure necessária.
Junho de 2022 Formação de Rede Neural Profunda Distribuída (pré-visualização) O Azure Synapse runtime também inclui bibliotecas de suporte como Petastorm e Horovod, que são normalmente utilizadas para formação distribuída. Esta funcionalidade está atualmente disponível em pré-visualização. O runtime do Azure Synapse Analytics para o Apache Spark 3.1 e 3.2 também inclui agora suporte para as bibliotecas de aprendizagem profunda mais comuns, como o TensorFlow e o PyTorch. Para saber mais sobre como tirar partido destas bibliotecas nos seus conjuntos acelerados por GPU do Azure Synapse Analytics, leia os tutoriais de Aprendizagem profunda.

Exemplos e documentação de orientação

Esta secção resume novas orientações e recursos de projeto de exemplo para o Azure Synapse Analytics.

Mensal Funcionalidade Saiba mais
Março de 2023 Criar um plano de recuperação após desastre personalizado para a área de trabalho do Synapse Uma série de blogues em várias partes sobre como criar um plano de recuperação após desastre para a área de trabalho do Synapse.
Março de 2023 Azure Synapse conectividade: pontos finais públicos, pontos finais privados, VNet gerida e pontos finais privados geridos Uma série de blogues escritas por três partes sobre Azure Synapse conectividade para as várias opções de rede, incluindo conectividade do ponto final público do conjunto dedicado de entrada, Azure Synapse pontos finais privados e VNet gerida e pontos finais privados geridos.
Fevereiro de 2023 Dashboards de monitorização históricos para conjuntos de SQL dedicados Azure Synapse Instruções dos passos para ativar a monitorização histórica com modelos de Livros do Azure Monitor sobre as Métricas do Azure e o Azure Log Analytics.
Janeiro de 2023 Ler o Data Lake com conjuntos sem servidor do Synapse Um guia em duas partes sobre como utilizar OPENROWSET para consultar um caminho no lago ou utilizar uma tabela externa para consultar um caminho dentro do lago.
Janeiro de 2023 Transmissão em fluxo estruturada no Synapse Spark Um exemplo detalhado da transmissão em fluxo de dados de temperatura de IoT de dispositivos IoT para o Synapse Spark.
Janeiro de 2023 Criar um alias de DNS para o conjunto de SQL dedicado na área de trabalho do Synapse para recuperação após desastre Um DNS personalizado para conjuntos de SQL dedicados (anteriormente SQL DW) pode fornecer redirecionamento para programas cliente durante um desastre.
Dezembro de 2022 Azure Synapse - Data Lake vs. Delta Lake vs. Data Lakehouse Leia uma nova mensagem de blogue de Engenharia de Sucesso a desmistificar os termos Data Lake, Delta Lake e Data Lakehouse.
Novembro de 2022 Como o Data Exfiltration Protection (DEP) afeta os Pipelines do Azure Synapse Analytics O Data Exfiltration Protection (DEP) é uma funcionalidade que permite restrições adicionais à capacidade do Azure Synapse Analytics ligar a outros serviços.
Novembro de 2022 Introdução às APIs REST do Azure Synapse Analytics – Conjunto do Apache Spark Fornecemos instruções sobre como configurar e utilizar pontos finais REST do Synapse e descrevemos as operações do Conjunto do Apache Spark suportadas pelas APIs REST.
Novembro de 2022 Desmistificar Azure Synapse Data Explorer Um explicador de duas partes desmistifica Data Explorer em Azure Synapse e ingestão de dados com Azure Synapse Data Explorer.
Novembro de 2022 Viagem no Tempo do Synapse Spark Delta A viagem no tempo do Delta Lake permite instantâneos de consulta para um ponto anterior no tempo ou até reverte atualizações erradas.
Setembro de 2022 Qual é a diferença entre o conjunto de SQL dedicado do Synapse (anteriormente SQL DW) e o Conjunto de SQL sem servidor? Compreenda os conjuntos dedicados vs. sem servidor e a simultaneidade. Leia mais em conceitos básicos de conjuntos de SQL dedicados e conjuntos de SQL sem servidor.
Setembro de 2022 Ler o Delta Lake no Conjunto de SQL dedicado Script de exemplo para importar ficheiros do Delta Lake diretamente para o Conjunto de SQL dedicado e suportar funcionalidades como viagens no tempo. Para obter uma explicação, veja Reading Delta Lake in dedicated SQL Pool (Ler o Delta Lake no Conjunto de SQL dedicado).
Setembro de 2022 Azure Synapse série de blogues de Engenharia de Sucesso do Cliente A nova série de blogues Azure Synapse Customer Success Engineering é lançada com uma introdução detalhada à Criação do Lakehouse – Implementar uma Estratégia do Data Lake com Azure Synapse.
Junho de 2022 Análise orbital do Azure com o Synapse Analytics Agora, oferecemos uma solução de exemplo de análise orbital do Azure que mostra uma implementação ponto a ponto da extração, carregamento, transformação e análise de dados espaciais através da utilização de bibliotecas geoespaciais e modelos de IA com o Azure Synapse Analytics. A solução de exemplo também demonstra como integrar modelos geoespaciais específicos dos Serviços Cognitivos do Azure , modelos de IA de parceiros e modelos bring-your-own-data.
Junho de 2022 Guias de migração para o Oracle Está agora disponível um novo guia de migração criado pela Microsoft para o Oracle para Azure Synapse Analytics. Design e desempenho das migrações oracle.
Junho de 2022 Azure Synapse sucesso por predefinição O manual de procedimentos Azure Synapse prova de conceito fornece um guia para definir o âmbito, estruturar, executar e avaliar uma prova de conceito para cargas de trabalho do SQL ou do Spark.
Junho de 2022 Guias de migração para Teradata Está agora disponível um novo guia de migração criado pela Microsoft para o Teradata para Azure Synapse Analytics. Design e desempenho das migrações teradata.
Junho de 2022 Guias de migração para o IBM Netezza Está agora disponível um novo guia de migração criado pela Microsoft para o IBM Netezza Azure Synapse Analytics. Design e desempenho das migrações do IBM Netezza.

Segurança

Esta secção resume as novas funcionalidades e definições de segurança recentes no Azure Synapse Analytics.

Mensal Funcionalidade Saiba mais
Dezembro de 2022 Como o Data Exfiltration Protection (DEP) afeta os Pipelines do Azure Synapse Analytics O Data Exfiltration Protection (DEP) é uma funcionalidade que permite restrições adicionais à capacidade do Azure Synapse Analytics ligar a outros serviços.
Agosto de 2022 Executar Azure Synapse Blocos de Notas do Spark com a identidade gerida atribuída pelo sistema Agora, pode executar Blocos de Notas do Spark com a identidade gerida atribuída pelo sistema (ou identidade gerida da área de trabalho) ao ativar a opção Executar como identidade gerida no menu Configurar sessão. Com esta funcionalidade, pode validar que o seu bloco de notas funciona conforme esperado ao utilizar a identidade gerida atribuída pelo sistema, antes de utilizar o bloco de notas num pipeline. Para obter mais informações, veja Identidade gerida para Azure Synapse.
Julho de 2022 Alterações às permissões necessárias para publicar no Git Agora, apenas as permissões do Git e a função Synapse Artifact Publisher (Synapse RBAC) são necessárias para consolidar alterações no modo Git. Para obter mais informações, veja Imposição do controlo de acesso no Synapse Studio.
Abril de 2022 Função RBAC do Operador de Monitorização do Synapse A função de controlo de acesso baseado em funções (RBAC) do Operador de Monitorização do Synapse permite que um utilizador pessoal monitorize a execução de aplicações Synapse Pipelines e Spark sem ter a capacidade de executar ou cancelar a execução destas aplicações. Para obter mais informações, veja as Funções RBAC do Synapse.
Março de 2022 Impor a versão mínima do TLS Agora, pode aumentar ou reduzir a versão mínima do TLS para conjuntos de SQL dedicados em áreas de trabalho do Synapse. Para saber mais, veja SQL do Azure definições de conectividade. A API SQL gerida da área de trabalho pode ser utilizada para modificar as definições mínimas do TLS.
Março de 2022 O Azure Synapse Analytics suporta agora apenas a autenticação do Azure Active Directory (Azure AD) Agora, pode utilizar a autenticação do Azure Active Directory para gerir centralmente o acesso a todos os recursos Azure Synapse, incluindo conjuntos de SQL. Pode desativar a autenticação local após a criação ou após a criação de uma área de trabalho através do portal do Azure.

Azure Synapse Data Explorer (pré-visualização)

O Azure Data Explorer (ADX) é um serviço de exploração de dados rápido e altamente dimensionável para dados de registo e telemetria. Oferece ingestão de Hubs de Eventos, Hubs IoT, blobs escritos em contentores de blobs e tarefas do Azure Stream Analytics. Esta secção resume as novas funcionalidades e funcionalidades recentes do Azure Synapse Data Explorer e do Linguagem de Pesquisa Kusto (KQL). Leia mais sobre Qual é a diferença entre o Azure Synapse Data Explorer e o Azure Data Explorer? (Pré-visualização)

Mensal Funcionalidade Saiba mais
Fevereiro de 2023 A ingestão de ficheiros ADX suporta até 1000 ficheiros O assistente de ingestão de ADX suporta agora até 1000 ficheiros (anteriormente 10) ao mesmo tempo.
Janeiro de 2023 Conector do Apache Log4j 2 para o Azure Data Explorer O sink do Apache Log4J 2 para o Azure Data Explorer foi desenvolvido para transmitir facilmente os dados de registo do Log4j 2 para o Azure Data Explorer, onde pode analisar, visualizar e alertar nos seus registos em tempo real. Para obter mais informações, veja Introdução ao Apache Log4j e ao Azure Data Explorer.
Janeiro de 2023 Ingerir eventos pré-existtores do Hub de Eventos para o ADX O ADX pode agora ingerir dados dos Hubs de Eventos que existiam antes da criação de uma ligação de dados dos Hubs de Eventos no cluster do ADX através da data de início da obtenção de eventos.
Janeiro de 2023 Deteção de Anomalias Multivariate O ADX contém suporte nativo para detetar anomalias ao longo de várias séries de tempo com a função series_decompose_anomalies(). Para obter mais informações, veja Deteção de Anomalias Multivariate.
Janeiro de 2023 Formatação condicional melhorada no dashboard A formatação condicional ajuda a destacar anomalias ou pontos de dados atípicos visualmente. Agora, pode formatar um elemento visual utilizando condições ou aplicando temas a colunas numéricas ou valores discretos a valores não numéricos.
Janeiro de 2023 Novas opções de visualização para apresentações de gráficos circulares Concentre-se nos dados que lhe interessam com as novas opções de apresentação para visualizações de gráficos circulares em Dashboards.
Dezembro de 2022 Visualizador JPath do ADX Kusto Web Explorer (KWE) A notação JPath descreve o caminho para um ou mais elementos num documento JSON. Utilize a nova vista expandida para obter rapidamente um elemento específico de um texto JSON e copiar facilmente a expressão de caminho. Por exemplo, veja Visualizador do JPath.
Dezembro de 2022 Desmistificar o consumo de dados com Azure Synapse Data Explorer Um guia para as várias formas de obter, consumir e visualizar dados de Azure Synapse Data Explorer.
Novembro de 2022 Suporte de Partilha ao Nível da Tabela através do Azure Data Share Adicionámos agora suporte de partilha ao nível da tabela através da interface de Data Share do Azure, onde pode partilhar tabelas específicas na base de dados. Isto permite-lhe partilhar os seus dados de forma fácil e segura com pessoas da sua empresa ou parceiros externos.
Novembro de 2022 Ingerir dados do Azure Stream Analytics no Synapse Data Explorer A capacidade de utilizar uma tarefa do Streaming Analytics para recolher dados de um hub de eventos e enviá-la para o cluster do Azure Data Explorer está agora disponível de forma geral. Para obter mais informações, veja Ingerir dados do Azure Stream Analytics para o Azure Data Explorer e a saída do ADX do Azure Stream Analytics.
Novembro de 2022 Operador Parse-kv O novo operador parse-kv extrai informações estruturadas de uma expressão de cadeia e representa as informações num formulário chave/valor. Pode utilizar um delimetrador especificado, um delimetrador não especificado ou Regex através de uma expressão regular RE2.
Outubro de 2022 Líderes e seguidores em clusters do ADX Utilize a página da base de dados no portal do Azure para identificar facilmente todas as bases de dados de seguidores que seguem um coordenador e o coordenador de um determinado seguidor.
Outubro de 2022 Aliasing follower databases (Bases de dados de seguidores de aliasing) A funcionalidade de base de dados de seguidores permite-lhe anexar uma base de dados localizada num cluster diferente ao cluster do Azure Data Explorer. Agora, pode substituir o nome da base de dados ao estabelecer uma relação de seguidores.
Outubro de 2022 Ingerir dados do OpenTelemetry O OpenTelemetry (OTel) é uma arquitetura de observabilidade de aplicações open source neutra em termos de fornecedor. O exportador de OpenTelemetry suporta a ingestão de dados de muitos recetores para o Azure Data Explorer.
Outubro de 2022 Ingerir dados do Telegraf O Telegraf é um agente de requisitos de memória open source, leve e mínimo para recolher, processar e escrever dados telemétricos, incluindo registos, métricas e dados de IoT. O plug-in de saída do Azure Data Explorer serve como conector do Telegraf e suporta a ingestão de dados de muitos tipos de plug-ins de entrada no Azure Data Explorer.
Setembro de 2022 Emulador kusto do Azure Data Explorer O Emulador do ADX é uma Imagem do Docker que expõe um ponto final do Motor de Consulta ADX. Pode utilizá-la para criar bases de dados e ingerir e consultar dados. O emulador compreende Linguagem de Pesquisa Kusto (KQL) da mesma forma que o Serviço do Azure.
Setembro de 2022 Configuração do proxy do conector do Logstash O plug-in do Logstash do Azure Data Explorer (ADX) permite-lhe processar eventos do Logstash para uma base de dados ADX para análise. A versão 1.0.5 suporta agora proxies HTTP/HTTPS.
Setembro de 2022 Suporte do Kafka para o formato Protobuf O conector sink do ADX Kafka tira partido da arquitetura kafka Connect e fornece um adaptador para ingerir dados do Kafka em JSON, Avro, String e agora o formato Protobuf na atualização mais recente. Leia mais sobre Como Ingerir dados protobuf do Kafka para o Azure Data Explorer.
Setembro de 2022 Elementos visuais de funil O funil é o elemento visual mais recente que adicionámos aos dashboards do Azure Data Explorer após o feedback que recebemos dos clientes.
Setembro de 2022 Suporte para .NET e Node.js no Gerador de Aplicações de Exemplo O assistente do gerador de aplicações de exemplo do Azure Data Explorer (ADX) é uma ferramenta que lhe permite criar uma aplicação funcional para ingerir e consultar os seus dados na sua linguagem de programação preferida. Agora, a geração de aplicações de exemplo no .NET e Node.js é suportada juntamente com as opções anteriormente disponíveis Java e Python.
Agosto de 2022 Suporte do Protobuf no sink do Kafka O sink do Kafka do Azure Data Explorer - um conector Confluent certificado em ouro - ajuda a ingerir dados do Kafka para o Azure Data Explorer. Adicionámos suporte protobuf no conector para ajudar os clientes a trazer dados protobuf para o ADX.
Agosto de 2022 Suporte nativo para o Amazon S3 O .ingest into comando ADX ingere dados numa tabela ao "solicitar" os dados de um ou mais ficheiros de armazenamento na cloud. O comando agora suporta URLs do Amazon S3. Por exemplo, leia a mensagem de blogue que anuncia a ingestão contínua de dados do S3.
Agosto de 2022 Incorporar dashboards do ADX A IU e os dashboards da Web do ADX são incorporados num IFrame e alojados em aplicações de terceiros.
Agosto de 2022 Opção de atualização gratuita do cluster Agora, pode atualizar o cluster do Azure Data Explorer gratuito para um cluster completo que remove a limitação de armazenamento, o que lhe permite aumentar a capacidade de aumentar os seus dados.
Agosto de 2022 Analisar dados novos do ADX a partir da tabela dinâmica do Excel Agora, pode Utilizar um volume de dados ADX (Kusto) fresco e ilimitado a partir da sua ferramenta de análise favorita, tabelas dinâmicas do Excel. As consultas MDX geradas pelo código dinâmico irão encontrar o caminho para o back-end do Kusto como instruções KQL que agregam os dados conforme necessário pelo pivot e de volta ao Excel.
Agosto de 2022 Resultados da consulta - cor por valor Realce dados exclusivos rapidamente nos resultados da consulta para agrupar visualmente linhas que partilham valores idênticos para uma coluna específica. Utilize Explorar resultados e Cor por valor para aplicar cor a linhas com base na coluna selecionada.
Agosto de 2022 Web explorer – suporte cruzado para gráficos A ysplit propriedade suporta agora o elemento visual de mira (linhas verticais que se movem ao longo do ponteiro do rato) para muitos gráficos.
Julho de 2022 Operador de análise O poderoso operador de análise permite a extração de processos eficiente e dimensionável e a análise de sequências e análise de utilizadores no ADX. Os cenários comuns para utilizar scan incluem manutenção preventiva para dispositivos IoT, análise de funil, cálculo recursivo, cenários de segurança à procura de passos de ataque conhecidos e muito mais.
Julho de 2022 Ingerir dados do Azure Stream Analytics no Synapse Data Explorer (Pré-visualização) Agora, pode utilizar uma tarefa do Streaming Analytics para recolher dados de um hub de eventos e enviá-lo para o cluster do Azure Data Explorer com o portal do Azure ou um modelo do ARM. Para obter mais informações, veja Ingerir dados do Azure Stream Analytics para o Azure Data Explorer.
Julho de 2022 Compor gráficos para cada coluna y O Synapse Web Data Explorer agora suporta gráficos de composição para cada coluna y. Por exemplo, veja a Atualização de Julho de 2022 do Azure Synapse Analytics.
Junho de 2022 Nova home page do Web Explorer A nova home page do Azure Synapse Web Explorer torna ainda mais fácil começar a utilizar o Synapse Web Explorer.
Junho de 2022 Galeria de exemplos do Web Explorer A [galeria de exemplos do Web Explorer]((https://techcommunity.microsoft.com/t5/azure-data-explorer-blog/azure-data-explorer-in-60-minutes-with-the-new-samples-gallery/ba-p/3447552) fornece exemplos ponto a ponto de como os clientes tiram partido do Synapse Data Explorer casos de utilização populares, como Dados de Registos, Dados de Métricas, dados de IoT e exemplos básicos de macrodados.
Junho de 2022 Os dashboards do Web Explorer exploram as capacidades Agora, pode utilizar pormenorização como parâmetros nos dashboards do Synapse Web Explorer.
Junho de 2022 Definições de Fuso Horário para o Web Explorer As definições de Fuso Horário do Web Explorer aplicam-se agora aos resultados da Consulta e ao Dashboard. Ao alterar o fuso horário, os dashboards são atualizados automaticamente para apresentar os dados com o fuso horário selecionado.
Maio de 2022 Consulta em direto do Synapse Data Explorer no Excel Com a nova experiência web Data Explorer, pode agora fornecer acesso aos resultados em direto da sua consulta ao partilhar o Livro do Excel ligado com colegas e membros da equipa. Pode abrir a consulta em direto num Livro do Excel e atualize-a diretamente a partir do Excel para obter os resultados de consulta mais atualizados. Para criar um Livro do Excel ligado ao Synapse Data Explorer, comece por executar uma consulta na experiência Web.
Maio de 2022 Utilizar Identidades Geridas para tabelas de SQL Server externas Com o suporte da Identidade Gerida, o Synapse Data Explorer definição de tabela é agora mais simples e seguro. Agora pode utilizar identidades geridas em vez de introduzir as suas credenciais. Para saber mais sobre tabelas externas, leia Criar e alterar SQL Server tabelas externas.
Maio de 2022 Azure Synapse Data Explorer conector do Microsoft Power Automate, Logic Apps e Power Apps Os novos conectores de Data Explorer do Azure para o Power Automate estão geralmente disponíveis (GA). Para saber mais, leia o conector Data Explorer do Azure para o Microsoft Power Automate, o Microsoft Logic App e o Azure Data Explorer e a capacidade de Criar aplicação do Power Apps para consultar dados no Azure Data Explorer.
Maio de 2022 Encaminhamento de eventos dinâmicos do hub de eventos para várias bases de dados Agora, suportamos o encaminhamento de dados de eventos do Hub de Eventos do Azure/Hub IoT do Azure/Azure Event Grid para várias bases de dados alojadas num único cluster do ADX. Para saber mais sobre o encaminhamento dinâmico, leia Ingestão a partir do hub de eventos.
Maio de 2022 Configurar uma base de dados com um script inline KQL como parte do modelo de implementação do ARM JSON Executar um script de Linguagem de Pesquisa Kusto (KQL) para configurar a base de dados pode agora ser feito com um script inline fornecido inline como um parâmetro para um modelo do ARM JSON.

Azure Synapse Link é um sistema automatizado para replicar dados de SQL Server ou SQL do Azure Database, Azure Cosmos DB ou Dataverse para o Azure Synapse Analytics. Esta secção resume as notícias recentes sobre a funcionalidade Azure Synapse Link.

Mensal Funcionalidade Saiba mais
Janeiro de 2023 Pré-visualização do Synapse Link do Cosmos DB para Data Explorer do Azure O Azure Data Explorer suporta a ingestão de dados totalmente gerida do Azure Cosmos DB através de um feed de alterações. Para obter mais informações, veja Ingerir dados do Azure Cosmos DB para o Azure Data Explorer (Pré-visualização).
Novembro de 2022 Azure Synapse Link para SQL Azure Synapse Link para SQL está agora disponível para SQL Server 2022 e para a Base de Dados SQL do Azure. A funcionalidade Azure Synapse Link para SQL fornece uma replicação de dados quase em tempo real, quase em tempo real, dos arquivos operacionais baseados em SQL para o Azure Synapse Analytics. Forneça relatórios de BI sobre dados operacionais em tempo quase real, com um impacto mínimo no seu arquivo operacional. Para obter mais informações, consulte O que é Azure Synapse Link para SQL?
Julho de 2022 Modo batch Decida entre o custo e a latência no Azure Synapse Ligação para SQL ao selecionar o modo contínuo ou em lote para replicar os seus dados. O modo batch permite-lhe poupar ainda mais nos custos pagando apenas pelo serviço de ingestão durante as cargas de lote em vez de estar continuamente ligado. Pode selecionar entre 20 e 60 minutos para processamento em lotes.
Maio de 2022 Azure Synapse Link para pré-visualização do SQL Azure Synapse Ligação para SQL está em pré-visualização para SQL Server 2022 e para a Base de Dados SQL do Azure. A funcionalidade Azure Synapse Link fornece uma replicação de dados quase em tempo real, quase sem código, dos arquivos operacionais baseados em SQL para o Azure Synapse Analytics. Forneça relatórios de BI sobre dados operacionais em tempo quase real, com um impacto mínimo no seu arquivo operacional. Foi anunciada a pré-visualização do Azure Synapse Link para SQL. Para obter mais informações, consulte Blogue: Azure Synapse Ligação para o Mergulho Profundo do SQL.

SQL do Synapse

Esta secção resume as melhorias e funcionalidades recentes nos conjuntos de SQL no Azure Synapse Analytics.

Mensal Funcionalidade Saiba mais
Março de 2023 Implementar o Synapse SQL sem servidor com o SSDT O aguardado suporte do SqlPackage para conjuntos de SQL sem servidor do Azure Synapse Analytics está agora disponível a partir do SqlPackage 161.8089.0. Os conjuntos de SQL sem servidor são suportados para as ações de extração e publicação.
Fevereiro de 2023 Suporte de agrupamentos UTF-8 e Japonês para conjuntos de SQL dedicados Tanto o suporte UTF-8 como os agrupamentos japoneses estão agora disponíveis geralmente para conjuntos de SQL dedicados.
Setembro de 2022 Estatísticas automáticas de OPENROWSET em conjuntos de dados CSV O conjunto de SQL sem servidor criará automaticamente estatísticas para conjuntos de dados CSV quando necessário para garantir um plano de execução de consultas ideal para consultas OPENROWSET.
Setembro de 2022 Unir sintaxe T-SQL A sintaxe T-SQL MERGE tem sido uma adição altamente pedida à biblioteca T-SQL do Synapse. A INTERCALAÇÃO encapsula INSERTs/UPDATEs/DELETEs numa única instrução. Disponível em conjuntos de SQL dedicados na versão 10.0.17829 e posterior. Para obter mais informações, veja o blogue de anúncios T-SQL MERGE.
Agosto de 2022 Tabelas do Apache Spark Delta Lake em conjuntos de SQL sem servidor A capacidade de os conjuntos de SQL sem servidor acederem a tabelas do Delta Lake criadas em bases de dados do Spark está em pré-visualização. Para obter mais informações, veja tabelas de metadados partilhados do Azure Synapse Analytics.
Agosto de 2022 Distribuição de várias colunas em conjuntos de SQL dedicados Agora, pode Distribuir tabelas hash em múltiplas colunas para uma distribuição mais uniforme da tabela base, reduzindo a distorção de dados ao longo do tempo e melhorando o desempenho das consultas. Para obter mais informações sobre como optar ativamente por participar na pré-visualização, consulte Opções de distribuição CRIAR TABELA ou CRIAR TABELA COMO SELECIONAR opções de distribuição.
Agosto de 2022 Assistente de Distribuição O Assistente de Distribuição é uma nova funcionalidade de pré-visualização no Azure Synapse conjuntos de SQL dedicados Gen2 que analisa consultas e recomenda as melhores estratégias de distribuição para tabelas para melhorar o desempenho das consultas. Para obter mais informações, veja Distribution Advisor in Azure Synapse SQL (Assistente de Distribuição no SQL do Azure Synapse).
Agosto de 2022 Adicionar objetos SQL e utilizadores em bases de dados lake Novas capacidades anunciadas para bases de dados lake em conjuntos de SQL sem servidor: criar esquemas, vistas, procedimentos, funções com valor de tabela inline. Também pode atribuir utilizadores de bases de dados a partir do seu domínio do Azure Active Directory à função db_datareader. Para obter mais informações, veja Access lake databases using serverless SQL pool in Azure Synapse Analytics and Create and use native external tables using SQL pools in Azure Synapse Analytics (Criar e utilizar tabelas externas nativas com conjuntos de SQL no Azure Synapse Analytics).
Junho de 2022 Aumento do limite de tamanho do conjunto de resultados O tamanho máximo dos conjuntos de resultados de consulta em conjuntos de SQL sem servidor foi aumentado de 200 GB para 400 GB.
Maio de 2022 Cálculo automático do comprimento da coluna de carateres para conjuntos de SQL sem servidor Já não é necessário definir comprimentos de colunas de carateres para conjuntos de SQL sem servidor no data lake. Pode obter um desempenho de consulta ideal sem ter de definir o esquema, porque o conjunto de SQL sem servidor utiliza a estimativa de cardinalidade e comprimentos médios de coluna calculados automaticamente.
Abril de 2022 Restauro entre subscrições para Azure Synapse GA do SQL Com a atualização do módulo 3.8 do PowerShell Az.Sql , o cmdlet Restore-AzSqlDatabase pode ser utilizado para o restauro entre subscrições de conjuntos de SQL dedicados. Para saber mais, veja Restaurar um conjunto de SQL dedicado para uma subscrição diferente. Esta funcionalidade está agora disponível para conjuntos de SQL dedicados (anteriormente SQL DW) e conjuntos de SQL dedicados numa área de trabalho do Synapse. Qual é a diferença?
Abril de 2022 Recuperar o conjunto de SQL do servidor ou área de trabalho removido Com os cmdlets de Restauro do PowerShell em Az.Sql e Az.Synapse módulos, pode agora restaurar a partir de um servidor ou área de trabalho eliminado sem apresentar um pedido de suporte. Para obter mais informações, veja Restaurar um conjunto de SQL dedicado a partir de uma área de trabalho Azure Synapse eliminada ou Restaurar conjuntos de SQL dedicados autónomos (anteriormente SQL DW) a partir de um servidor eliminado, consoante o seu cenário.
Março de 2022 Encriptação ao nível da coluna para conjuntos de SQL dedicados A encriptação ao nível da coluna está agora disponível para utilização em servidores lógicos novos e existentes SQL do Azure com conjuntos de SQL dedicados Azure Synapse e conjuntos de SQL dedicados em áreas de trabalho Azure Synapse. SQL Server Data Tools (SSDT) para encriptação ao nível da coluna para os conjuntos de SQL dedicados está disponível a partir da compilação 17.2 Preview 2 do Visual Studio 2022.
Março de 2022 Execução paralela para CETAS Melhor desempenho para CREATE TABLE AS SELECT (CETAS) e instruções SELECT subsequentes agora possíveis através da utilização de planos de execução paralelos. Para obter exemplos, veja Melhor desempenho para CETAS e SELECTs subsequentes.

Saber mais

Para obter atualizações mais antigas, veja publicações do Blogue do Azure Synapse Analyticsanteriores ou atualizações anteriores no Azure Synapse Analytics.

Passos seguintes