A validação das atividades nos pipelines do Azure Data Factory e do Synapse Analytics
APLICA-SE A:
Azure Data Factory Azure Synapse Analytics
Dica
Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange desde movimentação de dados até ciência de dados, análise em tempo real, business intelligence e relatórios. Saiba como iniciar uma avaliação gratuita!
Você pode usar uma Validação em um pipeline para garantir que ele continue a execução apenas depois de validar a existência da referência do conjunto de dados anexado, para confirmar que ele atende aos critérios especificados ou que o tempo limite foi atingido.
Criar uma atividade de validação com a interface do usuário
Para usar uma atividade de validação em um pipeline, conclua as seguintes etapas:
- Pesquise Validation no painel Atividades do pipeline e arraste uma atividade validação para a tela do pipeline.
- Selecione a nova atividade Validation na tela, se ainda não estiver selecionada, e a guia Configurações para editar os detalhes.
- Selecione um conjunto de dados ou defina um novo selecionando o botão Novo. Para conjuntos de dados baseados em arquivos como o exemplo de texto delimitado acima, você pode selecionar um arquivo específico ou uma pasta. Quando uma pasta é selecionada, a atividade de validação permite ignorar a validação da existência de itens filho na pasta ou exigir a existência ou não de itens filho.
- A saída da atividade de validação pode ser usada como uma entrada para outras atividades e referenciada nessas atividades para uma de suas propriedades com o uso de expressões dinâmicas.
Sintaxe
{
"name": "Validation_Activity",
"type": "Validation",
"typeProperties": {
"dataset": {
"referenceName": "Storage_File",
"type": "DatasetReference"
},
"timeout": "0.12:00:00",
"sleep": 10,
"minimumSize": 20
}
},
{
"name": "Validation_Activity_Folder",
"type": "Validation",
"typeProperties": {
"dataset": {
"referenceName": "Storage_Folder",
"type": "DatasetReference"
},
"timeout": "0.12:00:00",
"sleep": 10,
"childItems": true
}
}
Propriedades de tipo
| Propriedade | Descrição | Valores permitidos | Obrigatório |
|---|---|---|---|
| name | Nome da atividade de "Validation" | String | Sim |
| type | Precisa ser definido como Validation. | String | Sim |
| dataset | A atividade bloqueará a execução até que tenha validado a existência dessa referência de conjunto de dados e que atenda aos critérios especificados ou até que o tempo limite seja atingido. O conjunto de dados fornecido deve dar suporte à propriedade "MinimumSize" ou "ChildItems". | Referência de conjunto de dados | Yes |
| tempo limite | Especifica o tempo limite para a atividade ser executada. Se nenhum valor for especificado, o padrão será de 12 horas ("0.12:00:00"). O formato é d.hh:mm:ss | String | Não |
| sleep | Um atraso em segundos entre as tentativas de validação. Se nenhum valor for especificado, o valor padrão será de dez segundos. | Integer | Não |
| childItems | Verifica se a pasta tem itens filhos. Pode ser definido como to-true: valida se a pasta existe e contém itens. Bloqueia até que pelo menos um item esteja presente na pasta ou o valor de tempo limite seja reached.-false: valida se a pasta existe e se está vazia. Bloqueia até a pasta estar vazia ou até que o valor de tempo limite seja atingido. Se nenhum valor for especificado, a atividade será bloqueada até que a pasta exista ou até que o tempo limite seja atingido. | Boolean | No |
| minimumSize | Tamanho mínimo de um arquivo em bytes. Se nenhum valor for especificado, o valor padrão será de 0 bytes | Integer | Não |
Conteúdo relacionado
Veja outras atividades de fluxo de controle com suporte: