evento
31/03, 23 - 2/04, 23
O maior evento de aprendizagem de Malha, Power BI e SQL. 31 de março a 2 de abril. Use o código FABINSIDER para economizar $400.
Registe-se hoje mesmoSolucionar problemas de orquestração e gatilhos de pipeline no Azure Data Factory
APLICA-SE A: 
Azure Data Factory Azure Synapse Analytics
Gorjeta
Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange tudo, desde a movimentação de dados até ciência de dados, análises em tempo real, business intelligence e relatórios. Saiba como iniciar uma nova avaliação gratuitamente!
Uma execução de pipeline do Azure Data Factory define uma instância de uma execução de pipeline. Por exemplo, digamos que você tenha um pipeline que seja executado às 8h00, 9h00 e 10h00. Neste caso, existem três execuções de pipeline separadas. Cada execução de pipeline tem um ID de execução de pipeline exclusivo. Um ID de execução é um identificador exclusivo global (GUID) que define exclusivamente essa execução de pipeline em particular.
Normalmente, as execuções de pipeline são instanciadas pela transmissão de argumentos a parâmetros que são definidos no pipeline. Você pode executar um pipeline manualmente ou usando um gatilho. Consulte Execução e gatilhos de pipeline no Azure Data Factory para obter detalhes.
Um pipeline de aplicativo do Azure Functions gera um erro com conectividade de ponto de extremidade privado
Você tem um data factory e um aplicativo de função em execução em um ponto de extremidade privado no Azure. Você está tentando executar um pipeline que interage com o aplicativo de função. Você tentou três métodos diferentes, mas um retorna o erro "Solicitação incorreta" e os outros dois métodos retornam "103 Erro proibido".
Motivo
Atualmente, o Azure Data Factory não oferece suporte a um conector de ponto de extremidade privado para aplicativos de função. O Azure Functions rejeita chamadas porque está configurado para permitir apenas conexões de um link privado.
Resolução
Crie um ponto de extremidade PrivateLinkService e forneça o DNS do seu aplicativo de função.
Motivo
Quando você cancela uma execução de pipeline, o monitoramento de pipeline geralmente ainda mostra o status de progresso. Isso acontece devido a um problema de cache do navegador. Você também pode não ter os filtros de monitoramento corretos.
Resolução
Atualize o navegador e aplique os filtros de monitoramento corretos.
Motivo
Se uma pasta que você está copiando contiver arquivos com esquemas diferentes, como número variável de colunas, delimitadores diferentes, configurações de caracteres de cotação ou algum problema de dados, o pipeline poderá gerar este erro:
Operation on target Copy_sks failed: Failure happened on 'Sink' side. ErrorCode=DelimitedTextMoreColumnsThanDefined, 'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException, Message=Error found when processing 'Csv/Tsv Format Text' source '0_2020_11_09_11_43_32.avro' with row number 53: found more columns than expected column count 27., Source=Microsoft.DataTransfer.Common,'
Resolução
Selecione a opção Cópia binária ao criar a atividade Copiar. Dessa forma, para cópias em massa ou migração de dados de um data lake para outro, o Data Factory não abrirá os arquivos para ler o esquema. Em vez disso, o Azure Data Factory trata cada arquivo como binário e o copia para o outro local.
Uma execução de pipeline falha quando você atinge o limite de capacidade do tempo de execução de integração para fluxo de dados
Problema
Mensagem de erro:
Type=Microsoft.DataTransfer.Execution.Core.ExecutionException,Message=There are substantial concurrent MappingDataflow executions which is causing failures due to throttling under Integration Runtime 'AutoResolveIntegrationRuntime'.
Motivo
Você atingiu o limite de capacidade do tempo de execução da integração. Você pode estar executando uma grande quantidade de fluxo de dados usando o mesmo tempo de execução de integração ao mesmo tempo. Consulte Limites de assinatura, cotas e restrições de serviço e assinatura do Azure para obter detalhes.
Resolução
- Execute seus pipelines em diferentes momentos de gatilho.
- Crie um novo tempo de execução de integração e divida seus pipelines em vários tempos de execução de integração.
Problema
Mensagem de erro:
Operation on target Cancel failed: {“error”:{“code”:”AuthorizationFailed”,”message”:”The client ‘<client>’ with object id ‘<object>’ does not have authorization to perform action ‘Microsoft.DataFactory/factories/pipelineruns/cancel/action’ over scope ‘/subscriptions/<subscription>/resourceGroups/<resource group>/providers/Microsoft.DataFactory/factories/<data factory name>/pipelineruns/<pipeline run id>’ or the scope is invalid. If access was recently granted, please refresh your credentials.”}}
Motivo
Os pipelines podem usar a atividade da Web para chamar métodos API REST ADF se e somente se o membro do Azure Data Factory receber a função de Colaborador. Primeiro, você deve configurar e adicionar a identidade gerenciada do Azure Data Factory à função de segurança de Colaborador.
Resolução
Antes de usar a API REST do Azure Data Factory na guia Configurações de uma atividade da Web, a segurança deve ser configurada. Os pipelines do Azure Data Factory podem usar a atividade da Web para chamar métodos API REST ADF se e somente se a identidade gerenciada do Azure Data Factory receber a função de Colaborador . Comece abrindo o portal do Azure e clicando no link Todos os recursos no menu à esquerda. Selecione Azure Data Factory para adicionar identidade gerenciada do ADF com a função de Colaborador clicando no botão Adicionar na caixa Adicionar uma atribuição de função.
Motivo
A orquestração do Azure Data Factory permite a lógica condicional e permite que os usuários tomem caminhos diferentes com base no resultado de uma atividade anterior. Ele permite quatro caminhos condicionais: Upon Success (default pass), Upon Failure, Upon Completion e Upon Skip.
O Azure Data Factory avalia o resultado de todas as atividades de nível folha. Os resultados do pipeline só são bem-sucedidos se todas as folhas forem bem-sucedidas. Se uma atividade foliar foi ignorada, avaliamos sua atividade principal.
Resolução
- Implemente verificações no nível de atividade seguindo Como lidar com falhas e erros de pipeline.
- Use os Aplicativos Lógicos do Azure para monitorar pipelines em intervalos regulares após a Consulta por Fábrica.
- Monitorar visualmente o pipeline
Motivo
Talvez seja necessário monitorar pipelines do Azure Data Factory com falha em intervalos, digamos 5 minutos. Você pode consultar e filtrar as execuções de pipeline de uma fábrica de dados usando o ponto de extremidade.
Resolução
- Você pode configurar um aplicativo lógico do Azure para consultar todos os pipelines com falha a cada 5 minutos, conforme descrito em Consulta por fábrica. Em seguida, pode comunicar incidentes ao seu sistema de emissão de bilhetes.
- Você pode executar novamente pipelines e atividades conforme descrito aqui.
- Você pode executar atividades novamente se tiver cancelado a atividade ou se tiver uma falha de acordo com a repetição de falhas de atividade.
- Monitorar visualmente o pipeline
Motivo
O grau de paralelismo em ForEach é o grau máximo de paralelismo. Não podemos garantir um número específico de execuções acontecendo ao mesmo tempo, mas esse parâmetro garante que nunca ultrapassamos o valor que foi definido. Você deve ver isso como um limite, a ser aplicado ao controlar o acesso simultâneo às suas fontes e coletores.
Factos conhecidos sobre ForEach
- Foreach tem uma propriedade chamada batch count(n) onde o valor padrão é 20 e o máximo é 50.
- A contagem de lotes, n, é utilizada para construir n filas.
- Cada fila é executada sequencialmente, mas pode ter várias filas em execução em paralelo.
- As filas são pré-criadas. Isso significa que não há reequilíbrio das filas durante o tempo de execução.
- A qualquer momento, você tem no máximo um item sendo processado por fila. Isso significa no máximo n itens sendo processados a qualquer momento.
- O tempo total de processamento foreach é igual ao tempo de processamento da fila mais longa. Isso significa que a atividade foreach depende de como as filas são construídas.
Resolução
- Você não deve usar a atividade SetVariable dentro de For Each que é executada em paralelo.
- Levando em consideração a forma como as filas são construídas, o cliente pode melhorar o desempenho do foreach definindo múltiplos de foreach onde cada foreach tem itens com tempo de processamento semelhante.
- Isso garante que as longas tiragens sejam processadas em paralelo de forma bastante sequencial.
Motivo
Isso pode acontecer por vários motivos, como atingir limites de simultaneidade, interrupções de serviço, falhas de rede e assim por diante.
Resolução
Limite de simultaneidade: se o pipeline tiver uma política de simultaneidade, verifique se não há nenhum pipeline antigo em andamento.
Limites de monitoramento: vá para a tela de criação, selecione seu pipeline e determine se ele tem uma propriedade de simultaneidade atribuída a ele. Se tiver, aceda à vista Monitorização e confirme se não há nada nos últimos 45 dias que esteja em curso. Se houver algo em andamento, você pode cancelá-lo e a nova execução do pipeline deve começar.
Problemas transitórios: é possível que sua execução tenha sido afetada por um problema transitório de rede, falhas de credenciais, interrupções de serviços, etc. Se isso acontecer, o Azure Data Factory tem um processo de recuperação interno que monitora todas as execuções e as inicia quando percebe que algo deu errado. Você pode executar novamente pipelines e atividades conforme descrito aqui.. Você pode executar atividades novamente se tiver cancelado a atividade ou se tiver uma falha de acordo com a repetição de falhas de atividade. Esse processo acontece a cada uma hora, portanto, se sua execução estiver presa por mais de uma hora, crie um caso de suporte.
Motivo
Isso pode acontecer se você não tiver implementado o recurso de tempo de vida para o fluxo de dados ou o SHIR otimizado.
Resolução
- Se cada atividade de cópia estiver levando até 2 minutos para ser iniciada e o problema ocorrer principalmente em uma associação de rede virtual (versus IR do Azure), isso pode ser um problema de desempenho de cópia. Para rever os passos de resolução de problemas, aceda a Copiar Melhoria de Desempenho.
- Você pode usar o recurso de tempo de vida para diminuir o tempo de inicialização do cluster para atividades de fluxo de dados. Revise o tempo de execução da integração do fluxo de dados.
Motivo
Isso pode acontecer se você não tiver ampliado o SHIR de acordo com sua carga de trabalho.
Resolução
- Se você encontrar um problema de capacidade do SHIR, atualize a VM para aumentar o nó para equilibrar as atividades. Se você receber uma mensagem de erro sobre uma falha ou erro geral de IR auto-hospedado, uma atualização de IR auto-hospedado ou problemas de conectividade de IR auto-hospedados, que podem gerar uma fila longa, vá para Solucionar problemas de tempo de execução de integração auto-hospedada.
Motivo
Mensagens de erro longas relacionadas à fila podem aparecer por vários motivos.
Resolução
- Se você receber uma mensagem de erro de qualquer origem ou destino por meio de conectores, o que pode gerar uma longa fila, vá para o Guia de Solução de Problemas do Conector.
- Se você receber uma mensagem de erro sobre o mapeamento de fluxo de dados, que pode gerar uma fila longa, vá para o Guia de solução de problemas de fluxos de dados.
- Se você receber uma mensagem de erro sobre outras atividades, como Databricks, atividades personalizadas ou HDI, que podem gerar uma fila longa, vá para o Guia de Solução de Problemas de Atividades.
- Se você receber uma mensagem de erro sobre a execução de pacotes SSIS, que pode gerar uma fila longa, vá para o Guia de Solução de Problemas de Execução de Pacotes Azure-SSIS e Guia de Solução de Problemas do Integration Runtime Management.
Motivo
É um erro do usuário porque a carga JSON que atinge management.azure.com está corrompida. Nenhum log é armazenado porque a chamada do usuário não atingiu a camada de serviço do ADF.
Resolução
Execute o rastreamento de rede de sua chamada de API do portal ADF usando as ferramentas de desenvolvedor do navegador Microsoft Edge/Chrome. Você verá a carga JSON ofensiva, que pode ser devido a um caractere especial (por exemplo, $), espaços e outros tipos de entrada do usuário. Depois de corrigir a expressão de cadeia de caracteres, você continuará com o restante das chamadas de uso do ADF no navegador.
Motivo
Você está executando o ADF no modo de depuração.
Resolução
Execute o pipeline no modo de gatilho.
Motivo
Você fez alterações na ramificação de colaboração para remover o gatilho de evento de armazenamento. Você está tentando publicar e encontrar Trigger deactivation error mensagens.
Resolução
Isso ocorre porque a conta de armazenamento, usada para o gatilho de evento, está sendo bloqueada. Desbloqueie a conta.
Motivo
O construtor de expressões pode falhar ao carregar devido a problemas de rede ou cache com o navegador da Web.
Resolução
Atualize o navegador da Web para a versão mais recente de um navegador compatível, limpe os cookies do site e atualize a página.
Motivo
Você acorrentou muitas atividades.
Resolução
Você pode dividir seus pipelines em subpipelines e juntá-los à atividade ExecutePipeline .
Como otimizar o pipeline com fluxos de dados de mapeamento para evitar erros internos do servidor, erros de simultaneidade, etc. durante a execução
Motivo
Você não otimizou o fluxo de dados de mapeamento.
Resolução
- Use a computação otimizada para memória ao lidar com uma grande quantidade de dados e transformações.
- Reduza o tamanho do lote no caso de uma atividade For Each.
- Aumente a escala de seus bancos de dados e armazéns para corresponder ao desempenho do seu ADF.
- Use um IR (tempo de execução de integração) separado para atividades executadas em paralelo.
- Ajuste as partições na fonte e colete de acordo.
- Revisar otimizações de fluxo de dados
Motivo
O tipo de falha é um problema de configuração do usuário. String de parâmetros, em vez de Array, é passada para o pipeline filho.
Resolução
Input execute a atividade do pipeline para o parâmetro do pipeline como @createArray('a','b') por exemplo, se você quiser passar os parâmetros 'a' e 'b'. Se quiser passar números, por exemplo, use @createArray(1,2,3). Use a função createArray para forçar parâmetros que estão sendo passados como uma matriz.
Para obter mais ajuda na solução de problemas, tente estes recursos:
Recursos adicionais
Formação
Percurso de aprendizagem
Use advance techniques in canvas apps to perform custom updates and optimization - Training
Use advance techniques in canvas apps to perform custom updates and optimization
Certificação
Certificado pela Microsoft: Fabric Data Engineer Associate - Certifications
Como engenheiro de dados de malha, você deve ter experiência no assunto com padrões de carregamento de dados, arquiteturas de dados e processos de orquestração.