Novidades de arquivos do Azure Data Factory
O Azure Data Factory recebe aprimoramentos continuamente. Para se manter atualizado com os desenvolvimentos mais recentes, veja a página atual Novidades, que fornece a você informações sobre:
- As versões mais recentes.
- Problemas conhecidos.
- Correções de bugs.
- Funcionalidades preteridas.
- Planos de alterações.
Esta página de arquivos retém as atualizações dos meses anteriores.
Confira nosso arquivo em vídeo de Novidades para ver todas as nossas atualizações mensais.
Julho de 2023
Captura de dados de alterações
O recurso CDA (Captura de Dados de Alterações) de nível superior agora dá suporte à evolução do esquema. Saiba mais
Fluxo de dados
A opção de esquema de mesclagem no coletor delta agora dá suporte à evolução do esquema em Fluxos de Dados de Mapeamento. Saiba mais
Movimentação de dados
- Comentário de Parte do Pipeline com Desativação. Saiba mais
- O valor retornado do pipeline agora está em disponibilidade geral. Saiba mais
Produtividade do desenvolvedor
A pesquisa de documentação agora está incluída na barra de ferramentas de pesquisa do Azure Data Factory. Saiba mais
Junho de 2023
Integração e implantação contínuas
O pacote NPM agora dá suporte a pacotes pré-baixados para a criação de modelos do ARM. Se a configuração do firewall estiver bloqueando o download direto do pacote NPM, agora você poderá pré-carregar o pacote antecipadamente e permitir que o pacote NPM consuma a versão local. Esse é um super impulso para o pipeline de CI/CD em um ambiente com firewall.
Expansão de região
O Azure Data Factory agora está disponível na Suécia Central. Você poderá colocar seu fluxo de trabalho de ETL nessas novas regiões se estiver utilizando essas regiões para armazenar e gerenciar seu data warehouse moderno. Saiba mais
Movimentação de dados
Há suporte agora para a proteção do tráfego de saída com as regras de rede de saída do Azure Data Factory. Saiba mais
Conectores
O conector do Amazon S3 agora tem suporte como um destino de coletor usando fluxos de dados de mapeamento. Saiba mais
Fluxo de dados
Apresentamos configurações opcionais de origem para fontes DelimitedText e JSON no recurso CDA de nível superior. O recurso CDA de nível superior no data factory agora dá suporte a configurações de origem opcionais para fontes delimitadas e JSON. Agora você pode selecionar os delimitadores de coluna/linha para fontes delimitadas e definir o tipo de documento para fontes JSON. Saiba mais
Maio de 2023
Data Factory no Microsoft Fabric
O Data Factory no Microsoft Fabric fornece serviços de transformação de dados e movimentação de dados em escala de nuvem que permitem resolver os cenários de ETL e data factory mais complexos. Ele destina-se a tornar sua experiência de data factory fácil de usar, poderosa e verdadeiramente de nível empresarial.
Abril de 2022
Fluxo de dados
Cancele facilmente o registro de várias matrizes em fluxos de dados do ADF. O ADF atualizou a transformação Flatten que agora torna super fácil cancelar o registro de várias matrizes de uma única etapa de transformação Flatten. Saiba mais
Integração e implantação contínuas
Você pode personalizar a mensagem do commit no modo Git agora. Digite uma descrição detalhada sobre as alterações feitas e salvaremos no repositório Git.
Conectores
O conector Armazenamento de Blobs do Azure agora dá suporte à autenticação anônima. Saiba mais
Março de 2023
Conectores
O conector do Azure Data Lake Storage Gen2 agora dá suporte à autenticação de assinatura de acesso compartilhado. Saiba mais
Fevereiro de 2023
Movimentação de dados
- Tipo de autenticação anônima com suporte para Armazenamento de Blobs do Azure Saiba mais
- Modelo SAP atualizado para mover facilmente dados SAP para ADLSGen2 no formato Delta Saiba mais
Monitoramento
Exibição de monitoramento de contêiner disponível no estúdio padrão do ADF Saiba mais
Orquestração
- Definir valor de saída do pipeline (versão prévia pública) Saiba mais
- Gerenciador de Orquestração de Fluxo de Trabalho (Visualização Pública) Saiba mais
Produtividade do desenvolvedor
Suporte a temas escuros adicionado (versão prévia pública) Saiba mais
Janeiro de 2023
Fluxo de dados
- Os flowlets agora dão suporte ao descompasso de esquema Saiba mais
- A extração incremental do SQL CDC agora dá suporte a colunas numéricas Saiba mais
Movimentação de dados
Novo recurso CDC de nível superior – configuração CDC nativa em três etapas simples Saiba mais
Orquestração
Notebooks Orchestrate Synapse e definições de trabalho do Spark do Synapse nativamente Saiba mais
Expansão de região
- Expansão contínua da região – Agora com suporte no Norte da China 3 Saiba mais
- Expansão contínua da região – O Oeste da Suíça agora tem suporte Saiba mais
O SQL Server Integration Services (SSIS)
Injeção na rede virtual expressa para SSIS em disponibilidade geral Saiba mais
Produtividade do desenvolvedor
- Adição de suporte para favorecer recursos na página inicial
- Salvar a largura da coluna para monitoramento de pipeline
- Monitorar as atualizações de filtro para pesquisas mais rápidas
- Iniciar diretamente a Galeria dos Modelos de Pipeline pelo portal do Azure
Dezembro de 2022
Fluxo de dados
Extração incremental da CDA (captura de dados de alterações) do SQL – dá suporte a colunas numéricas no fluxo de dados de mapeamento Saiba mais
Movimentação de dados
A injeção na rede virtual expressa para SSIS no Azure Data Factory está em disponibilidade geral Saiba mais
Expansão de região
Expansão contínua de regiões – Agora o Azure Data Factory está disponível no Norte da China 3 Saiba mais
Novembro de 2022
Fluxo de dados
- Somente a opção Incremental está disponível no SAP CDC – Obtenha as alterações somente do sistema SAP sem a carga completa inicial Saiba mais
- Partições de origem na carga de dados completa inicial do SAP CDC para aprimorar o desempenho Saiba mais
- Um novo modelo de pipeline – Carregar vários objetos com grandes quantidades do SAP por meio do SAP CDC Saiba mais
Movimentação de dados
- Suporte ao Azure Databricks por meio do link privado de uma rede virtual gerenciada do Data Factory Saiba mais
Interface do Usuário
3 Aprimoramentos do designer de pipeline adicionados à experiência de versão prévia do ADF Studio
- Submenu do conteúdo dinâmico – Facilita a definição do conteúdo dinâmico nas atividades de pipeline sem o uso do construtor de expressões Saiba mais
- Relocação da mensagem de erro para a coluna de status – Facilita a exibição de erros quando você observa uma execução de pipeline com falha Saiba mais
- Exibição de contêiner – na guia Criar, o pipeline pode alterar a exibição de saída da lista para o contêiner Saiba mais
Integração e implantação contínuas
Na configuração de publicação automática, o botão Desabilitar publicação está disponível para anular a substituição da última implantação de publicação automatizada Saiba mais
Outubro de 2022
Resumo do vídeo
Fluxo de dados
- Exportar até 1.000 linhas da visualização do fluxo de dados Saiba mais
- CDA do SQL em Fluxos de Dados de Mapeamento já está disponível (Visualização Pública) Saiba mais
- Desbloquear análise avançada com o Conector do Fluxo de Dados de Mapeamento da Microsoft 365 Saiba mais
- CDA (Captura de Dados de Alterações) do SAP agora em disponibilidade geral Saiba mais
Produtividade do desenvolvedor
- Agora aceitando contribuições da comunidade para a Galeria de Modelos Saiba mais
- Novo design no portal do Azure - descubra facilmente como iniciar o ADF Studio Saiba mais
- Centro de Aprendizagem agora disponível no estúdio do Azure Data Factory Saiba mais
- Clique com um clique para experimentar o Azure Data Factory Saiba mais
Orquestração
- Exibição de cobrança granular disponível para ADF - veja informações detalhadas de cobrança por pipeline (Visualização Pública) Saiba mais
- Tempo limite de execução da atividade de script agora é configurável Saiba mais
Expansão de região
Expansão contínua da região - Catar Central agora com suporte Saiba mais
Integração e implantação contínuas
Excluir gatilhos de pipeline que não foram alterados na implantação agora está em disponibilidade geral Saiba mais
Setembro de 2022
Resumo do vídeo
Fluxo de dados
- Conector de origem do Amazon S3 adicionado Saiba mais
- Conector baseado em REST do Google Sheets adicionado como origem (versão prévia) Saiba mais
- Otimização de número máximo de colunas no fluxo de dados Saiba mais
- Recursos de captura de dados de alterações de SAP no fluxo de dados de mapeamento (versão prévia) – extraia e transforme alterações de dados de sistemas SAP para uma atualização de dados mais eficiente Saiba mais
- Suporte para gravar dados em um campo de pesquisa por meio de chaves alternativas nos conectores do Dynamics 365/CRM para fluxos de dados de mapeamento Saiba mais
Movimentação de dados
Suporte para converter o tipo NUMBER do Oracle no inteiro correspondente na origem Saiba mais
Monitoramento
- Aprimoramentos adicionais de monitoramento no Azure Data Factory Saiba mais
- Aprimoramento do carregamento de monitoramento – dados de agrupamentos de execução de pipeline buscados somente quando expandidos
- Paginação adicionada à exibição de execuções de atividade de pipeline para mostrar todos os registros de atividade na execução do pipeline
- Melhoria no monitoramento do consumo - ícone de carregamento adicionado para saber quando o relatório de consumo está totalmente calculado
- Colunas de classificação adicionais no monitoramento - classificação adicionada para nome do pipeline, final da execução e status
- Configurações de fuso horário agora salvas no monitoramento
- Exibição do gráfico de Gantt agora com suporte no monitoramento de IR Saiba mais
Orquestração
O método DELETE na atividade Web agora dá suporte ao envio de um corpo com solicitação HTTP Saiba mais
Interface do usuário
- Suporte de interface do usuário nativa de parametrização adicionado para 6 serviços vinculados adicionais - SAP ODP, ODBC, Microsoft Access, Informix, Snowflake e DB2 Saiba mais
- Aprimoramentos do designer de pipeline adicionados à experiência de visualização do Studio - os usuários podem visualizar o fluxo de trabalho dentro de objetos de pipeline, como For Each, If Then, etc. Saiba mais
Agosto de 2022
Resumo do vídeo
Fluxo de dados
- Conector Appfigures adicionado como origem (versão prévia) Saiba mais
- Transformação de transmissão adicionada - converta visualmente os tipos de dados Saiba mais
- Nova interface do usuário para conjuntos de dados embutidos – categorias adicionadas para localizar facilmente fontes de dados Saiba mais
Movimentação de dados
Tipo de autenticação de entidade de serviço adicionado para Armazenamento de Blobs do Azure Saiba mais
Produtividade do desenvolvedor
- Tempo limite de atividade padrão alterado de 7 dias para 12 horas Saiba mais
- Nova experiência de criação do data factory – um clique para ter o factory pronto em segundos Saiba mais
- Atualização da interface do usuário do construtor de expressões - guias categóricas adicionadas para facilitar o uso Saiba mais
CI/CD (integração contínua e entrega contínua)
Ao integrar CI/CD o modelo do ARM, em vez de desativar todos os gatilhos, ele pode excluir gatilhos que não foram alterados na implantação Saiba mais
Julho de 2022
Resumo do vídeo
Fluxo de dados
- Conector Asana adicionado como origem Saiba mais
- Agora, há suporte para três novas funções de transformação de dados Saiba mais
- collectUnique() – crie uma coleção de valores exclusivos em uma matriz.
- substringIndex() – extraia a substring antes de n ocorrências de um delimitador.
- topN() – retorne os n principais resultados depois de classificar seus dados.
- Refetch da origem disponível em Atualizar para cenários de alteração da fonte de dados Saiba mais
- Funções definidas pelo usuário (GA) – crie expressões reutilizáveis e personalizadas para evitar a criação de lógica complexa várias vezes Saiba maisVídeo
- Configuração mais fácil no runtime de fluxo de dados – escolha o tamanho da computação entre Pequeno, Médio e Grande para pré-configurar todas as configurações de runtime de integração Saiba mais
CI/CD (integração contínua e entrega contínua)
Inclua parâmetros globais com suporte no modelo do ARM. Saiba mais
Produtividade do desenvolvedor
Faça parte da versão prévia dos recursos do Azure Data Factory – experimente os recursos mais recentes do Azure Data Factory e seja o primeiro a compartilhar seus comentários Saiba mais
Junho de 2022
Resumo do vídeo
| Categoria de serviço | Melhorias nos serviços | Detalhes |
| Fluxo de dados | Junção difusa com suporte para fluxos de dados | Agora há suporte para junção difusa na transformação de Junção dos fluxos de dados com pontuação de similaridade configurável nas condições de junção. Saiba mais |
| Edição de recursos na projeção de origem | A edição de recursos na projeção de origem está disponível no fluxo de dados para fazer modificações de esquemas facilmente Saiba mais | |
| Tratamento de erros de declaração | O tratamento de erros de declaração agora tem suporte em fluxos de dados de qualidade de dados e a validação de dados Saiba mais | |
| Movimentação de dados | Parametrização com suporte nativo em quatro conectores adicionais | Adicionamos suporte nativo à interface do usuário de parametrização para os seguintes serviços vinculados: Azure Data Lake Gen1, Azure PostgreSQL, Google AdWords e PostgreSQL. Saiba mais |
| Recursos de CDC (captura de dados de alterações) do SAP no novo conector do SAP ODP (Visualização Pública) | Os recursos de CDC (captura de dados de alterações) do SAP agora têm suporte no novo conector do SAP ODP. Saiba mais | |
| Integration Runtime | Vida útil na VNET gerenciada (Visualização Pública) | A vida útil pode ser definida como as computações provisionadas na VNET gerenciada. Saiba mais |
| Monitoring | Executar novamente um pipeline com novos parâmetros | Agora, você pode executar novamente pipelines com novos valores de parâmetro no Azure Data Factory. Saiba mais |
| Orquestração | A propriedade 'turnOffAsync' está disponível na atividade da Web | A atividade da Web dá suporte a um padrão assíncrono de solicitação e resposta que invoca HTTP GET no campo Local no cabeçalho de resposta de uma resposta HTTP 202. Ele ajuda a atividade da Web a sondar automaticamente o ponto de extremidade de monitoramento até que o trabalho seja executado. Há suporte para a propriedade 'turnOffAsync' para desabilitar esse comportamento nos casos em que a sondagem não é necessária Saiba mais |
Maio de 2022
| Categoria de serviço | Melhorias nos serviços | Detalhes |
| Fluxo de dados | Funções definidas pelo usuário para fluxos de dados de mapeamento | O Azure Data Factory apresenta em visualização pública funções definidas pelo usuário e bibliotecas de fluxo de dados. Uma função definida pelo usuário é uma expressão personalizada que você pode definir para poder reutilizar a lógica em vários fluxos de dados de mapeamento. As funções definidas pelo usuário residem em uma coleção chamada biblioteca de fluxo de dados que permite agrupar facilmente conjuntos comuns de funções personalizadas. Saiba mais |
Abril de 2022
| Categoria de serviço | Melhorias nos serviços | Detalhes |
| Fluxo de dados | Aprimoramentos de visualização e depuração de dados em fluxos de dados de mapeamento | Agora as sessões de depuração usando o runtime de integração AutoResolve Azure (IR) serão inicializadas em menos de 10 segundos. Há novas atualizações no painel de visualização de dados em fluxos de dados de mapeamento. Agora você pode classificar as linhas dentro do modo de exibição de visualização de dados selecionando cabeçalhos de coluna. Você pode mover colunas de modo interativo. Você também pode salvar os resultados da visualização de dados como um CSV usando o CSV de exportação. Saiba mais |
| O conector do Dataverse está disponível para fluxos de dados de mapeamento | O conector do Dataverse está disponível como fonte e coletor para fluxos de dados de mapeamento. Saiba mais | |
| Suporte para esquemas de banco de dados de usuário para preparo com os conectores do Azure Synapse Analytics e do PostgreSQL no coletor de fluxo de dados | Agora o coletor de fluxo de dados dá suporte ao uso de um esquema de banco de dados de usuário para preparo nos conectores do Azure Synapse Analytics e do PostgreSQL. Saiba mais | |
| Monitoring | Várias atualizações às experiências de monitoramento do Data Factory | Novas atualizações para a experiência de monitoramento no Data Factory incluem a capacidade de exportar resultados para um CSV, limpar todos os filtros e abrir uma execução em uma nova guia. Além disso, o cache de colunas e resultados é aprimorado. Saiba mais |
| Interface do usuário | Novo suporte ao formato regional | Escolher seu idioma e o formato regional nas configurações influenciará o formato de como os dados, como datas e horas, aparecerão no monitoramento do Azure Data Factory Studio. Por exemplo, o formato de hora no Monitoramento será exibido como "Abr 2, 2022, 3:40:29 pm" ao escolher o inglês como o formato regional e "2 Apr 2022, 15:40:29" ao escolher francês como formato regional. Essas configurações afetam apenas a interface do usuário do Azure Data Factory Studio e não alteram/modificam os dados reais e fuso horário. |
Março de 2022
Resumo do vídeo
| Categoria de serviço | Melhorias nos serviços | Detalhes |
| Fluxo de dados | Suporte a ScriptLines e serviço vinculado parametrizado à adição de fluxos de dados de mapeamento | Agora é fácil detectar as alterações no script de fluxo de dados no Git com ScriptLines na definição JSON do fluxo de dados. Os serviços vinculados parametrizados agora também podem ser usados nos seus fluxos de dados para padrões de conexão genérica flexíveis. Saiba mais |
| GA (disponibilidade geral) dos flowlets | Os flowlets já estão em disponibilidade geral para criação de partes reutilizáveis da lógica de fluxo de dados que você pode compartilhar em outros pipelines como transformações em linha. Eles permitem que os trabalhos de extração, transformação e carregamento (ETL) sejam compostos por componentes lógicos personalizados ou comuns. Saiba mais | |
| Os conectores do feed de alterações estão disponíveis em cinco transformações de fonte de fluxo de dados | Os conectores do feed de alterações estão disponíveis em transformações de fonte de fluxo de dados para Azure Cosmos DB, Armazenamento de Blobs do Azure, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2 e o modelo de dados comum (CDM). Saiba mais | |
| Aprimoramentos de visualização e depuração de dados em fluxos de dados de mapeamento | Novos recursos foram adicionados à visualização de dados e à experiência de depuração nos fluxos de dados de mapeamento. Saiba mais | |
| Conector SFTP do fluxo de dados de mapeamento | O conector SFTP está disponível para o fluxo de dados de mapeamento como fonte e coletor. Saiba mais | |
| Movimentação de dados | Suporte aos conectores do Always Encrypted relacionados ao SQL na atividade de pesquisa na rede virtual gerenciada | O Always Encrypted tem suporte para SQL Server, Banco de Dados SQL do Azure, Instância Gerenciada de SQL do Azure e Synapse Analytics na atividade de pesquisa na rede virtual gerenciada. Saiba mais |
| runtime de integração | Novo layout da interface do usuário na página de criação e edição do Azure IR | O layout da interface do usuário da página de criação e edição do IR agora usa o estilo de guia para configurações, rede virtual e runtime de fluxo de dados. Saiba mais |
| Orquestração | Transformar dados usando a atividade Script | Use a atividade de Script para invocar um script SQL no Banco de Dados SQL, no Azure Synapse Analytics, no SQL Server, no Oracle ou no Snowflake. Saiba mais |
| Aprimoramento no tempo limite da atividade da Web | Você pode configurar o tempo limite de resposta na atividade da Web para impedir que ela atinja o tempo limite se o período de resposta for maior que um minuto, especialmente no caso de APIs síncronas. Saiba mais |
Fevereiro de 2022
Resumo do vídeo
| Categoria de serviço | Melhorias nos serviços | Detalhes |
| Fluxo de dados | Serviços vinculados parametrizados permitidos nos fluxos de dados de mapeamento | Agora você pode usar seus serviços vinculados parametrizados em fluxos de dados de mapeamento para tornar seus pipelines de fluxo de dados genéricos e flexíveis. Saiba mais |
| Extração de fonte incremental do Banco de Dados SQL disponível no fluxo de dados (visualização pública) | Uma nova opção foi adicionada às fontes de Banco de Dados SQL de fluxo de dados de mapeamento chamada Ativar extração incremental (versão prévia). Agora você pode receber automaticamente apenas as linhas que foram alteradas em suas fontes do Banco de Dados SQL usando fluxos de dados. Saiba mais | |
| Quatro novos conectores disponíveis para fluxos de dados de mapeamento (visualização pública) | O Data Factory agora permite os quatro novos conectores a seguir (visualização pública) para fluxos de dados de mapeamento: Quickbase, Smartsheet, TeamDesk e Zendesk. Saiba mais | |
| O Azure Cosmos DB (API SQL) para fluxo de dados de mapeamento agora permite o modo em linha | O Azure Cosmos DB (API SQL) para fluxo de dados de mapeamento agora usa conjuntos de dados embutidos. Saiba mais | |
| Movimentação de dados | Obtenha pipelines de ingestão de dados com metadados na ferramenta Copiar Dados do Data Factory dentro de 10 minutos (GA) | Você pode compilar pipelines de cópia de dados em larga escala com abordagem orientada por metadados na ferramenta Copiar Dados dentro de 10 minutos. Saiba mais |
| Atualização disponível da API do conector do Google AdWords para o Data Factory | O conector do Google AdWords para o Data Factory agora é compatível com a nova versão da API do AdWords. Nenhuma ação é necessária para o novo usuário do conector, porque ele está habilitado por padrão. Saiba mais | |
| CI/CD (integração contínua e entrega contínua) | Suporte para Azure DevOps entre locatários | Configurar um repositório usando o Git do Azure DevOps em um locatário diferente do Azure Data Factory. Saiba mais |
| Expansão de região | O Data Factory agora está disponível no Oeste dos EUA 3 e no Oeste da Índia | O Data Factory está disponível em duas novas regiões: Oeste dos EUA 3 e Oeste da Índia. Você pode colocar seu fluxo de trabalho ETL nessas novas regiões se estiver usando-as para armazenar e gerenciar seu data warehouse moderno. Você também pode usar essas regiões para fins de continuidade dos negócios e recuperação de desastres se precisar fazer failover de outra região dentro da área geográfica. Saiba mais |
| Segurança | Conecte-uma conta Azure DevOps em outro locatário do Azure Active Directory (Azure AD) | Você pode conectar sua instância do Data Factory a uma conta Azure DevOps em um locatário diferente do Azure AD para fins de controle da fonte. Saiba mais |
Janeiro de 2022
| Categoria de serviço | Melhorias nos serviços | Detalhes |
| Fluxo de dados | A reutilização rápida agora é automática em todos os Azure IRs que usam TTL (Time to Live) | Não é mais necessário especificar manualmente a "reutilização rápida". Agora os fluxos de dados de mapeamento do Data Factory podem iniciar as atividades de fluxo de dados subsequentes em menos de cinco segundos depois de definir um TTL. Saiba mais |
| Recuperar a descrição personalizada de Assert | Na transformação Assert, você pode definir sua própria mensagem de descrição dinâmica. Você pode usar a nova função chamada assertErrorMessage() usar para recuperar a mensagem linha por linha e armazená-la em seus dados de destino. Saiba mais | |
| Detecção automática de esquemas na transformação de Análise | Um novo recurso adicionado à transformação de Análise facilita a detecção automática do esquema de um campo complexo inserido dentro de uma coluna de cadeia de caracteres. Selecione o botão Detectar esquema para definir o esquema de destino automaticamente. Saiba mais | |
| Suporte ao conector do Dynamics 365 como coletor e fonte | Agora você pode se conectar diretamente ao Dynamics 365 para transformar os dados do Dynamics em escala usando o novo conector de fluxo de dados de mapeamento para Dynamics 365. Saiba mais | |
| Conexões Always Encrypted SQL já disponíveis nos fluxos de dados | O Always Encrypted agora pode originar transformações no SQL Server, Banco de Dados SQL, Instância Gerenciada de SQL e Azure Synapse ao usar fluxos de dados. Saiba mais | |
| Movimentação de dados | O conector Delta Lake do Azure Data Factory Databricks suporta novos tipos de autenticação | O conector Delta Lake do Data Factory Databricks agora suporta mais dois tipos de autenticação: autenticação de identidade gerenciada atribuída pelo sistema e autenticação de identidade gerenciada atribuída pelo usuário. Saiba mais |
| A atividade Copy do Data Factory dá suporte a upsert em vários conectores adicionais | Agora a atividade Copy do Data Factory dá suporte a upsert, enquanto coleta dados para o SQL Server, o Banco de Dados SQL, a Instância Gerenciada de SQL e o Azure Synapse. Saiba mais |
Dezembro de 2021
| Categoria de serviço | Melhorias nos serviços | Detalhes |
| Fluxo de dados | Conector do Dynamics como fonte nativa e coletor para fluxos de dados de mapeamento | Agora o conector do Dynamics tem suporte como fonte e coletor para fluxos de dados de mapeamento. Saiba mais |
| A CDA (captura de dados de alterações) nativa agora tem suporte nativo | A CDA agora tem suporte nativo no Data Factory para Azure Cosmos DB, Armazenamento de Blobs, Data Lake Storage Gen1, Data Lake Storage Gen2 e CDM. Saiba mais | |
| Visualização pública do flowlets | A visualização pública de flowlets permite que desenvolvedores de fluxo de dados criem componentes reutilizáveis para elaborar facilmente uma lógica de transformação de dados combinável. Saiba mais | |
| Visualização pública de Mapear Dados | A visualização de Mapear Dados permite que usuários empresariais definam mapeamentos e transformações de coluna para carregar bancos de dados do Azure Synapse Lake. Saiba mais | |
| Vários destinos de saída do Power Query | Agora, você pode mapear vários destinos de saída do Power Query no Data Factory para obter padrões de ETL flexíveis para integradores de dados cidadãos. Saiba mais | |
| Suporte para transformação de Chamada Externa | Estenda a funcionalidade dos fluxos de dados de mapeamento usando a transformação de Chamada Externa. Agora, você pode adicionar código personalizado como um ponto de extremidade REST ou chamar um serviço de terceiros coletado linha por linha. Saiba mais | |
| Habilitar reutilização rápida pelos fluxos de dados de mapeamento do Azure Synapse com suporte para TTL | Agora, os fluxos de dados de mapeamento do Azure Synapse dão suporte à reutilização rápida definindo um TTL no Azure IR. O uso de uma configuração permite que as atividades de fluxo de dados subsequentes sejam executadas em menos de cinco segundos. Saiba mais | |
| Impor Transformação | Adicione facilmente verificações de qualidade de dados, validação de domínio de dados e verificações de metadados aos seus pipelines do Data Factory usando a transformação Assert nos fluxos de dados de mapeamento. Saiba mais | |
| Suporte para IntelliSense no construtor de expressão para experiências de autoria mais produtivas de criação de pipeline | O suporte para IntelliSense no construtor de expressão e criação de conteúdo dinâmico torna os desenvolvedores de pipeline do Data Factory e Azure Synapse mais produtivos ao escrever expressões complexas em seus pipelines de dados. Saiba mais |
Novembro de 2021
| Categoria de serviço | Melhorias nos serviços | Detalhes |
| CI/CD (integração contínua e entrega contínua) | GitHub de integração | As melhorias na integração do GitHub e do Data Factory removem limites de mil recursos do Data Factory por tipo de recurso, como conjuntos de dados e pipelines. Para grandes data factories, essa mudança ajuda a reduzir o impacto do limite de taxa da API do GitHub. Saiba mais |
| Fluxo de dados | Definir um código de erro personalizado e uma mensagem de erro com a atividade Falha | A atividade Falha permite aos desenvolvedores de ETL definir a mensagem de erro e o código de erro personalizado para um pipeline do Data Factory. Saiba mais |
| Transformação de chamada externa | A transformação da chamada externa dos fluxos de dados de mapeamento permite que os desenvolvedores de ETL aproveitem transformações e enriquecimentos de dados fornecidos por pontos de extremidade REST ou serviços de API de terceiros. Saiba mais | |
| Reutilização rápida do Synapse | Ao executar o fluxo de dados no Synapse Analytics, use o recurso TTL. O recurso TTL usa o recurso de reutilização rápida para que os fluxos de dados sequenciais sejam executados em alguns segundos. Você pode definir o TTL ao configurar um Azure IR. Saiba mais | |
| Movimentação de dados | A atividade Copy tem suporte à leitura de dados do FTP ou SFTP sem a criação de partes | Determinar automaticamente o comprimento do arquivo ou o deslocamento relevante a ser lido ao copiar dados de um servidor FTP ou SFTP. Com essa funcionalidade, o Data Factory se conecta automaticamente ao servidor FTP ou SFTP para determinar o comprimento do arquivo. Depois que o comprimento for determinado, o Data Factory dividirá o arquivo em várias partes e os lerá em paralelo. Saiba mais |
| Suporte para UTF-8 sem BOM na atividade Copy | A atividade Copy tem suporte à escrita de dados com o tipo de codificação UTF-8 sem BOM para JSON e conjuntos de dados de texto delimitados. | |
| Suporte para delimitador de colunas de múltiplos caracteres | A atividade Copy tem suporte ao uso de delimitadores de coluna de múltiplos caracteres para conjuntos de dados de texto delimitados. | |
| runtime de integração | Execute qualquer processo em qualquer lugar em três etapas com o SQL Server Integration Services (SSIS) no Data Factory | Aprenda a usar as melhores funcionalidades do Data Factory e do SSIS em um pipeline. Um pacote SSIS de amostra com propriedades parametrizadas ajuda você a começar. Usando Data Factory Studio, o pacote SSIS pode ser facilmente arrastado e largado em um pipeline e usado como parte de uma atividade Executar Pacote SSIS. Essa funcionalidade permite que você execute o pipeline do Data Factory com um pacote SSIS em IRs auto-hospedados ou IRs do SSIS. Ao fornecer valores de parâmetro em tempo de execução, você pode aproveitar as funcionalidades avançadas do Data Factory e do SSIS juntas. Este artigo ilustra três etapas fáceis para executar qualquer processo, que pode ser qualquer executável, como aplicativo, programa, utilitário ou arquivo em lotes, em qualquer lugar. Saiba mais |
Outubro de 2021
| Categoria de serviço | Melhorias nos serviços | Detalhes |
| Fluxo de dados | Conectores do Azure Data Explorer e da Amazon Web Services (AWS) S3 | A equipe de integração de dados da Microsoft lançou dois novos conectores para fluxos de dados de mapeamento. Se está usando o Azure Synapse, agora você pode se conectar diretamente aos buckets do AWS S3 para transformações de dados. Agora, no Data Factory e no Azure Synapse você pode se conectar de maneira nativa aos clusters do Azure Data Explorer em fluxos de dados de mapeamento. Saiba mais |
| Atividade do Power Query deixa a versão prévia e passa à GA | A atividade de pipeline do Power Query do Data Factory agora está disponível em geral. Esse novo recurso fornece estruturação de dados e a preparação de dados de expansão para integradores cidadãos dentro da interface do usuário do navegador do Data Factory para oferecer uma experiência integrada aos engenheiros de dados. O recurso de estruturação de dados do Power Query no Data Factory fornece uma funcionalidade avançada de pipeline fácil de usar para resolver seus padrões de ETL e integração de dados mais complexos em um só serviço. Saiba mais | |
| Nova transformação de dados Converter em cadeia de caracteres nos fluxos de dados de mapeamento | Os fluxos de dados de mapeamento adicionam uma nova transformação de dados chamada Converter em cadeia de caracteres para facilitar a conversão de tipos de dados complexos, como structs e matrizes, em formatos de cadeia de caracteres. Esses tipos de dados podem ser enviados para destinos de saída estruturados. Saiba mais | |
| runtime de integração | Injeção de rede virtual expressa para o IR do SSIS (versão prévia pública) | O IR do SSIS agora dá suporte à injeção de rede virtual expressa. Saiba mais: Visão geral da injeção de rede virtual para o IR do SSIS Injeção de rede virtual expressa vs. padrão para o IR do SSIS Injeção de rede virtual expressa para o IR do SSIS |
| Segurança | Aprimoramento na integração do Azure Key Vault | A integração do Key Vault agora tem listas suspensas para que os usuários possam selecionar os valores secretos no serviço vinculado. Essa funcionalidade aumenta a produtividade porque os usuários não são obrigados a digitar os valores secretos, o que pode resultar em erro humano. |
| Suporte para identidade gerenciada atribuída pelo usuário no Data Factory | A segurança de credenciais é crucial para qualquer empresa. A equipe do Data Factory está comprometida em tornar o processo de engenharia de dados seguro, mas simples, para os engenheiros de dados. A identidade gerenciada atribuída pelo usuário (versão prévia) agora tem suporte em todos os conectores e serviços vinculados que dão suporte à autenticação baseada no Azure AD. Saiba mais |
Setembro de 2021
| Categoria de serviço | Melhorias nos serviços | Detalhes |
| Integração contínua e entrega contínua | Funcionalidades expandidas de CI/CD | Agora você pode criar um novo Git branch com base em qualquer outro branch do Data Factory. Saiba mais |
| Movimentação de dados | RDS (Amazon Relational Database Service) para fontes Oracle | O conector de fontes do Amazon RDS para Oracle agora está disponível no Data Factory e no Azure Synapse. Saiba mais |
| Amazon RDS para fontes de SQL Serve | O conector de fontes do Amazon RDS para o SQL Server agora está disponível no Data Factory e no Azure Synapse. Saiba mais | |
| Oferece suporte à cópia paralela do Banco de Dados do Azure para PostgreSQL | O Banco de Dados do Azure para PostgreSQL conector oferece suporte às operações de cópia paralelas. Saiba mais | |
| Fluxo de dados | Use o Data Lake Storage Gen2 para executar comandos de pré e pós-processamento | Comandos de pré e pós-processamento do Sistema de Arquivos Distribuído Hadoop agora podem ser executados usando os coletores do Data Lake Storage Gen2 em fluxos de dados. Saiba mais |
| Editar propriedades de fluxo de dados para instâncias existentes do Azure IR | O Azure IR foi atualizado para permitir a edição de propriedades de fluxo de dados para IRs existentes. Agora você pode modificar as propriedades de computação do fluxo de dados sem precisar criar um novo Azure IR. Saiba mais | |
| Configuração de TTL para o Azure Synapse melhorar o tempo de inicialização das atividades de pipeline | O Azure Synapse adicionou TTL ao Azure IR para permitir que suas atividades de pipeline de fluxo de dados iniciem a execução em segundos, minimizando consideravelmente o runtime de seus pipelines de fluxo de dados. Saiba mais | |
| runtime de integração | GA de rede virtual gerenciada do Data Factory | Agora você pode provisionar o Azure IR como parte de uma rede virtual gerenciada e usar pontos de extremidade privados para se conectar com segurança a armazenamentos de dados compatíveis. O tráfego de dados passa pelos Links Privados do Azure, que fornecem conectividade segura com a fonte de dados. Além disso, impede a exfiltração dos dados para a internet pública. Saiba mais |
| Orquestração | Operacionalizar e fornecer SLA para pipelines de dados | A nova métrica de execução de pipeline de tempo decorrido, combinada com os alertas do Data Factory, capacita os desenvolvedores de pipeline de dados para uma melhor entrega de SLAs aos clientes. Agora você pode nos contar por quanto tempo um pipeline deve ser executado e nós notificaremos você proativamente quando as execuções de pipelines durarem mais do que o esperado. Saiba mais |
| Atividade Falhar (versão prévia pública) | A nova atividade Falhar permite lançar um erro em um pipeline intencionalmente por qualquer motivo. Por exemplo, você poderá usar a atividade Falhar se uma atividade Pesquisar não retornar dados correspondentes ou se uma atividade personalizada terminar com um erro interno. Saiba mais |
Agosto de 2021
| Categoria de serviço | Melhorias nos serviços | Detalhes |
| Integração contínua e entrega contínua | Melhorias de CI/CD com suporte ao GitHub no Azure Governamental e no Microsoft Azure operado pela 21Vianet | Adicionamos suporte ao GitHub no Azure para o governo dos EUA e no Azure operado pela 21Vianet. Saiba mais |
| Movimentação de dados | O conector da API do Azure Cosmos DB para o MongoDB oferece suporte às versões 3.6 e 4.0 no Data Factory | A API do Azure Cosmos DB do Data Factory para o MongoDB agora oferece suporte às versões 3.6 e 4.0 do servidor. Saiba mais |
| Aprimore a instrução COPY para carregar dados no Azure Synapse | O conector do Azure Synapse do Data Factory agora oferece suporte à cópia em etapas e à origem da cópia com *.* como wildcardFilename para a instrução COPY. Saiba mais | |
| Fluxo de dados | Os pontos de extremidade REST estão disponíveis como fonte e coletor no fluxo de dados | Os fluxos de dados no Data Factory e no Azure Synapse agora oferecem suporte a pontos de extremidade REST tanto como fonte quanto como coletor, e com suporte completo para cargas de trabalho JSON e XML. Saiba mais |
| runtime de integração | A ferramenta de diagnóstico está disponível para IR auto-hospedado | A ferramenta de diagnóstico para IR auto-hospedado foi projetada para fornecer uma melhor experiência do usuário e ajudar os usuários a encontrar possíveis problemas. A ferramenta executa uma série de cenários de teste no computador de IR auto-hospedado. Cada cenário tem casos típicos de verificação de integridade para problemas comuns. Saiba mais |
| Orquestração | O gatilho de evento personalizado com opção de filtragem avançada está em disponibilidade geral | Agora você pode criar um gatilho que responde a um tópico personalizado postado na Grade de Eventos do Azure. Você também pode aproveitar a filtragem avançada para obter controle fino sobre a quais eventos responder. Saiba mais |
Julho de 2021
| Categoria de serviço | Melhorias nos serviços | Detalhes |
| Movimentação de dados | Obtenha pipelines de ingestão de dados com metadados na ferramenta Copiar Dados do Data Factory dentro de 10 minutos (versão prévia pública) | Agora você pode criar pipelines de cópia de dados em grande escala com uma abordagem orientada por metadados na ferramenta Cópia de Dados (versão prévia pública) dentro de 10 minutos. Saiba mais |
| Fluxo de dados | Novas funções de mapa adicionadas nas funções de transformação de fluxo de dados | Um novo conjunto de funções de transformação de fluxo de dados permite que os engenheiros de dados gerem, leiam e atualizem facilmente tipos de dados de mapa e estruturas de mapa complexas. Saiba mais |
| runtime de integração | Cinco novas regiões estão disponíveis na rede virtual gerenciada do Data Factory (versão prévia pública) | Cinco novas regiões, Leste da China2, Norte da China2, Governo dos EUA do Arizona, Governo dos EUA do Texas Governo dos EUA de Virgínia, estão disponíveis na rede virtual gerenciada do Data Factory (versão prévia pública). |
| Produtividade do desenvolvedor | Melhorias na página inicial do Data Factory | A página inicial do Data Factory for reformulada com recursos de contraste e funcionalidades de refluxo. Além disso, algumas seções foram introduzidas na página inicial para ajudar você a melhorar a produtividade em seu percurso de integração de dados. Saiba mais |
| Nova página de aterrissagem do Data Factory Studio | A página de aterrissagem do painel do Data Factory no portal do Azure. Saiba mais |
Junho de 2021
| Categoria de serviço | Melhorias nos serviços | Detalhes |
| Movimentação de dados | Nova experiência do usuário com a ferramenta Copiar Dados do Data Factory | A ferramenta Copiar Dados reprojetada agora está disponível com uma experiência de ingestão de dados aprimorada. Saiba mais |
| Há suporte para MongoDB e MongoDB Atlas como fonte e coletor | Essa melhoria dá suporte à cópia de dados entre qualquer armazenamento de dados compatível e o MongoDB ou o banco de dados MongoDB Atlas. Saiba mais | |
| Há suporte para Always Encrypted para conectores Banco de Dados SQL, Instância Gerenciada de SQL e SQL Server como fonte e coletor | Always Encrypted está disponível no Data Factory para Banco de Dados SQL, Instância Gerenciada de SQL e conectores SQL Server para a atividade Copy. Saiba mais | |
| A configuração de metadados personalizados tem suporte na atividade Copy durante a coleta para o Data Lake Storage Gen2 ou Armazenamento de Blobs | Quando você grava em Data Lake Storage Gen2 ou Armazenamento de Blobs, a atividade Copy dá suporte à configuração de metadados personalizados ou armazenamento das últimas informações modificadas do arquivo de origem como metadados. Saiba mais | |
| Fluxo de dados | O SQL Server agora tem suporte como uma origem e um coletor em fluxos de dados | O SQL Server agora tem suporte como uma origem e um coletor em fluxos de dados. Siga o link para receber instruções sobre como configurar sua rede usando o recurso de rede virtual gerenciada Azure IR para conversar com as instâncias do SQL Server locais e baseadas em VM na nuvem. Saiba mais |
| A reutilização rápida do cluster de fluxo de dados agora está habilitada por padrão para todos os novos Azure IRs | O popular recurso de reutilização rápida do fluxo de dados agora está disponível para o Data Factory. Todos os novos Azure IRs agora terão a reutilização rápida habilitada por padrão. Saiba mais | |
| Atividade do Power Query (versão prévia pública) | Agora você pode criar mapeamentos de campo complexos para seu coletor Power Query usando a estruturação de dados do Data Factory. Agora, o coletor está configurado no pipeline na atividade do Power Query (versão prévia pública) para acomodar essa atualização. Saiba mais | |
| Atualização da interface do usuário de monitoramento de fluxos de dados no Data Factory | O Data Factory tem uma nova atualização para a interface do usuário de monitoramento para facilitar a exibição de suas execuções de trabalho de ETL de fluxo de dados e identificar rapidamente áreas para ajuste de desempenho. Saiba mais | |
| SQL Server Integration Services | Execute qualquer instrução SQL ou script em qualquer lugar em três etapas com SSIS no Data Factory | Esta postagem fornece três etapas para executar qualquer script ou instrução SQL em qualquer lugar com o SSIS no Data Factory.
|