Partilhar via

Criar um gatilho de evento personalizado para executar um pipeline no Azure Data Factory

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Gorjeta

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange tudo, desde a movimentação de dados até ciência de dados, análises em tempo real, business intelligence e relatórios. Saiba como iniciar uma nova avaliação gratuitamente!

Os gatilhos de eventos no Azure Data Factory permitem automatizar a execução de pipelines com base em eventos específicos que ocorrem em suas fontes de dados. Esta é uma característica fundamental da arquitetura orientada a eventos, permitindo a integração e o processamento de dados em tempo real.

A arquitetura orientada a eventos é um padrão comum de integração de dados que envolve produção, deteção, consumo e reação a eventos. Os cenários de integração de dados geralmente exigem que os clientes do Azure Data Factory acionem pipelines quando determinados eventos ocorrem. A integração nativa do Data Factory com a Grade de Eventos do Azure agora abrange tópicos personalizados. Você envia eventos para um tópico da Grade de Eventos. O Data Factory subscreve o tópico, ouve e, em seguida, aciona pipelines de acordo com isso.

A integração descrita neste artigo depende da Grade de Eventos do Azure. Certifique-se de que a sua subscrição está registada no fornecedor de recursos da Grelha de Eventos. Para obter mais informações, veja Resource providers and types (Tipos e fornecedores de recursos). Você deve ser capaz de executar a ação Microsoft.EventGrid/eventSubscriptions/. Esta ação faz parte do papel inerente EventGrid EventSubscription Contributor.

Importante

Se você estiver usando esse recurso no Azure Synapse Analytics, verifique se sua assinatura também está registrada em um provedor de recursos do Data Factory. Caso contrário, você receberá uma mensagem informando que "a criação de uma Assinatura de Evento falhou".

Se você combinar parâmetros de pipeline e um gatilho de evento personalizado, poderá analisar e fazer referência a cargas úteis personalizadas data em execuções de pipeline. Como o campo data em uma carga útil de evento personalizada é uma estrutura de chave-valor JSON de formato livre, você pode controlar execuções de pipeline impulsionadas por eventos.

Importante

Se uma chave referenciada na parametrização estiver faltando na carga útil do evento personalizado, trigger run falhará. Você recebe uma mensagem informando que a expressão não pode ser avaliada porque a keyName propriedade não existe. Neste caso, nãopipeline run é acionado pelo evento.

Casos de uso de eventos e gatilhos

Os gatilhos podem ser disparados por vários eventos, incluindo:

Blob criado: quando um novo ficheiro é carregado num contentor especificado. Blob excluído: quando um arquivo é removido do contêiner. Blob modificado: Quando um ficheiro existente é atualizado.

Você pode usar eventos para controlar dinamicamente as suas execuções de pipeline. Por exemplo, quando um novo arquivo de dados é carregado na pasta 'incoming' no Armazenamento de Blobs do Azure, um gatilho pode iniciar automaticamente um pipeline para processar os dados, garantindo a integração oportuna dos dados.

Configurar um tópico personalizado na Grade de Eventos

Para usar o gatilho de evento personalizado no Data Factory, você precisa primeiro configurar um tópico personalizado na Grade de Eventos.

Vá para a Grade de Eventos e crie o tópico você mesmo. Para obter mais informações sobre como criar o tópico personalizado, consulte os tutoriais do portal do Event Grid e os tutoriais da CLI do Azure.

Nota

O fluxo de trabalho é diferente de um gatilho de evento de armazenamento. Aqui, o Data Factory não configura o tópico para você.

O Data Factory espera que os eventos sigam o esquema de eventos da Grade de Eventos. Certifique-se de que as cargas úteis do evento têm os seguintes campos:

[
  {
    "topic": string,
    "subject": string,
    "id": string,
    "eventType": string,
    "eventTime": string,
    "data":{
      object-unique-to-each-publisher
    },
    "dataVersion": string,
    "metadataVersion": string
  }
]

Usar o Data Factory para criar um gatilho de evento personalizado

  1. Aceda ao Data Factory e inicie sessão.

  2. Alterne para o separador Editar. Procure pelo ícone de lápis.

  3. Selecione Gatilho no menu e, em seguida, selecione Novo/Editar.

  4. Na página Adicionar gatilhos, selecione Escolher gatilho e, em seguida, selecione + Novo.

  5. Em Tipo, selecione Eventos personalizados.

    Captura de tela que mostra a criação de um novo gatilho de evento personalizado na interface do usuário do Data Factory.

  6. Selecione o seu tópico personalizado na lista suspensa da assinatura Azure ou insira manualmente o âmbito do tópico do evento.

    Nota

    Para criar ou modificar um gatilho de evento personalizado no Data Factory, é necessário utilizar uma conta do Azure com o controlo de acesso baseado em funções apropriado (RBAC do Azure). Nenhuma outra permissão é necessária. A entidade de serviço não requer permissão especial para a Malha de Eventos do Data Factory. Para obter mais informações sobre controle de acesso, veja a seção de Controle de Acesso baseado em Funções.

  7. As propriedades Subject begins with e Subject ends with permitem filtrar eventos de gatilho. Ambas as propriedades são opcionais.

  8. Use + Novo para adicionar Tipos de Eventos para a filtragem. A lista de gatilhos de eventos personalizados usa uma relação OR. Quando um evento personalizado com uma propriedade eventType coincide com um na lista, é iniciada uma execução do pipeline. O tipo de evento não diferencia maiúsculas de minúsculas. Por exemplo, no ecrã a seguir, o gatilho corresponde a todos os eventos copycompleted ou copysucceeded que têm um assunto que começa com fábricas.

    Captura de ecrã que mostra a página Editar gatilho para explicar os tipos de evento e a filtragem de assunto na interface de utilizador do Data Factory.

  9. Um gatilho de evento personalizado pode analisar e enviar uma carga data personalizada para o seu pipeline. Na página Parâmetros, você cria os parâmetros do pipeline e, posteriormente, preenche os valores. Use o formato @triggerBody().event.data._keyName_ para analisar a carga útil de dados e passar valores para os parâmetros do pipeline.

    Para uma explicação pormenorizada, consultar:

    Captura de tela que mostra as configurações dos parâmetros do pipeline.

    Captura de tela que mostra a página de parâmetros para fazer referência à carga útil de dados em um evento personalizado.

  10. Depois de inserir os parâmetros, selecione OK.

Filtragem avançada

Os gatilhos de eventos personalizados oferecem suporte a recursos avançados de filtragem, semelhantes à filtragem avançada da Grade de Eventos. Esses filtros condicionais permitem que os pipelines sejam acionados com base nos valores da carga útil do evento. Por exemplo, pode-se ter um campo na estrutura de dados do evento chamado Departamento, e o pipeline só deve ser acionado se Departamento for igual a Finanças. Você também pode especificar uma lógica complexa, como o campo de data na lista [1, 2, 3, 4, 5], o campo de mês que não está na lista [11, 12] e se o campo de tag contiver [Ano fiscal de 2021, Ano Fiscal2021 ou Ano Fiscal de 2021].

Captura de tela que mostra a configuração de filtros avançados para um gatilho de evento do cliente.

A partir de hoje, os gatilhos de eventos personalizados suportam um subconjunto de operadores de filtragem avançada na Grade de Eventos. As seguintes condições de filtro são suportadas:

  • NumberIn
  • NumberNotIn
  • NumberLessThan
  • NumberGreaterThan
  • NumberLessThanOrEquals
  • NumberGreaterThanOrEquals
  • BoolEquals
  • StringContains
  • StringBeginsWith
  • StringEndsWith
  • StringIn
  • StringNotIn

Selecione + Novo para adicionar novas condições de filtro.

Os gatilhos de eventos personalizados também obedecem às mesmas limitações da Grade de Eventos, como:

  • 5 filtros avançados e 25 valores de filtro aplicados em todos os filtros para cada gatilho de evento personalizado.
  • 512 caracteres por valor de sequência de caracteres.
  • 5 valores para in e not in operadores.
  • As teclas não podem ter o . caractere (ponto) nelas, por exemplo, john.doe@contoso.com. Atualmente, não há suporte para caracteres de escape nas chaves.
  • A mesma chave pode ser usada em mais de um filtro.

O Data Factory depende da versão mais recente de disponibilidade geral (GA) da API de Grade de Eventos. À medida que novas versões de API chegam ao estágio GA, o Data Factory expande seu suporte para operadores de filtragem mais avançados.

Esquema do JSON

A tabela a seguir fornece uma visão geral dos elementos de esquema relacionados a gatilhos de eventos personalizados.

Elemento JSON Descrição Tipo Valores permitidos Necessário
scope A ID de recurso do Azure Resource Manager do tópico Grade de Eventos. Cordão ID do Gestor de Recursos do Azure Sim.
events O tipo de eventos que fazem com que esse gatilho seja acionado. Matriz de cadeias Sim, espera-se pelo menos um valor.
subjectBeginsWith O subject campo deve começar com o padrão fornecido para o gatilho ser acionado. Por exemplo, as fábricas só disparam o gatilho para tópicos de eventos que começam com fábricas. Cordão N.º
subjectEndsWith O subject campo deve terminar com o padrão fornecido para o gatilho disparar. Cordão N.º
advancedFilters Lista de blobs JSON, cada um especificando uma condição de filtro. Cada blob especifica key, operatorTypee values. Lista de blobs JSON N.º

Controlo de acesso baseado em funções

O Data Factory usa o RBAC do Azure para proibir o acesso não autorizado. Para funcionar corretamente, o Data Factory requer acesso a:

  • Ouça os acontecimentos.
  • Inscreva-se para receber atualizações de eventos.
  • Acione pipelines vinculados a eventos personalizados.

Para criar ou atualizar com êxito um gatilho de evento personalizado, você precisa entrar no Data Factory com uma conta do Azure que tenha acesso apropriado. Caso contrário, a operação falhará com a mensagem "Acesso negado".

O Data Factory não requer permissão especial para sua instância de Grade de Eventos. Também não é necessário atribuir permissão de função RBAC especial do Azure à entidade de serviço do Data Factory para a operação.

Especificamente, você precisa de uma Microsoft.EventGrid/EventSubscriptions/Write permissão em /subscriptions/####/resourceGroups//####/providers/Microsoft.EventGrid/topics/someTopics.

  • Quando você cria no data factory (no ambiente de desenvolvimento, por exemplo), a conta do Azure conectada precisa ter a permissão anterior.
  • Quando você publica por meio da integração contínua e da entrega contínua, a conta usada para publicar o modelo do Azure Resource Manager na fábrica de teste ou produção precisa ter a permissão anterior.

Conteúdos relacionados

  • Last updated on