Compartilhar via

A validação das atividades nos pipelines do Azure Data Factory e do Synapse Analytics

  • Artigo

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Dica

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange desde movimentação de dados até ciência de dados, análise em tempo real, business intelligence e relatórios. Saiba como iniciar uma avaliação gratuita!

Você pode usar uma validação em um pipeline para garantir que o pipeline só continue a execução depois de validar a existência da referência do conjunto de dados anexado, que ele atenda aos critérios especificados ou que o tempo limite seja atingido.

Criar uma atividade de validação com a interface do usuário

Para usar uma atividade de validação em um pipeline, conclua as seguintes etapas:

  1. Pesquise Validation no painel Atividades do pipeline e arraste uma atividade validação para a tela do pipeline.
  2. Selecione a nova atividade Validation na tela, se ainda não estiver selecionada, e a guia Configurações para editar os detalhes. Captura de tela mostrando a IU de uma atividade de validação.
  3. Selecione um conjunto de dados ou defina um novo selecionando o botão Novo. Para conjuntos de dados baseados em arquivos como o exemplo de texto delimitado acima, você pode selecionar um arquivo específico ou uma pasta. Quando uma pasta é selecionada, a atividade de validação permite ignorar a validação da existência de itens filho na pasta ou exigir a existência ou não de itens filho.
  4. A saída da atividade de validação pode ser usada como uma entrada para outras atividades e referenciada nessas atividades para uma de suas propriedades com o uso de expressões dinâmicas.

Sintaxe


{
"name": "Validation_Activity",
"type": "Validation",
"typeProperties": {
"dataset": {
"referenceName": "Storage_File",
"type": "DatasetReference"
},
"timeout": "0.12:00:00",
"sleep": 10,
"minimumSize": 20
}
},
{
"name": "Validation_Activity_Folder",
"type": "Validation",
"typeProperties": {
"dataset": {
"referenceName": "Storage_Folder",
"type": "DatasetReference"
},
"timeout": "0.12:00:00",
"sleep": 10,
"childItems": true
}
}

Propriedades de tipo

Propriedade Descrição Valores permitidos Obrigatório
name Nome da atividade de "Validation" String Sim
type Precisa ser definido como Validation. String Sim
dataset A atividade bloqueia a execução até que tenha validado que essa referência de conjunto de dados exista e que atenda aos critérios especificados ou que o tempo limite tenha sido atingido. O conjunto de dados fornecido deve dar suporte à propriedade "MinimumSize" ou "ChildItems". Referência de conjunto de dados Yes
tempo limite Especifica o tempo limite para a atividade ser executada. Se nenhum valor for especificado, o padrão será de 12 horas ("0.12:00:00"). O formato é d.hh:mm:ss String Não
sleep Um atraso em segundos entre as tentativas de validação. Se nenhum valor for especificado, o valor padrão será de dez segundos. Integer Não
childItems Verifica se a pasta tem itens filhos.
true: valida se a pasta existe e tem itens. Bloqueia até que pelo menos um item esteja presente na pasta ou o valor do tempo limite seja atingido.
false: valida se a pasta existe e está vazia. Bloqueia até a pasta estar vazia ou até que o valor de tempo limite seja atingido. Se nenhum valor for especificado, a atividade será bloqueada até que a pasta exista ou até que o tempo limite seja atingido.		 Boolean No
minimumSize Tamanho mínimo de um arquivo em bytes. Se nenhum valor for especificado, o valor padrão será de 0 bytes Integer Não

Conteúdo relacionado

Veja outras atividades de fluxo de controle com suporte: