Share via

Criar recursos manualmente para ingestão da Grade de Eventos

  • Artigo

O Azure Data Explorer oferece ingestão contínua no Armazenamento do Azure (Armazenamento de Blobs do Azure e Azure Data Lake Storage Gen2) usando um pipeline de ingestão da Grade de Eventos. No pipeline de ingestão da Grade de Eventos, um serviço da Grade de Eventos do Azure encaminha os eventos renomeados ou criados pelo blob de uma conta de armazenamento para o Azure Data Explorer usando os Hubs de Eventos do Azure.

Neste artigo, você aprenderá a criar manualmente os recursos necessários para a Ingestão da Grade de Eventos: uma assinatura da Grade de Eventos, um namespace dos Hubs de Eventos e um hub de eventos. O namespace dos Hubs de Eventos e a criação do hub de eventos são descritos nos Pré-requisitos. Para usar a criação automática desses recursos ao definir a ingestão da Grade de Eventos, confira Criar uma conexão de dados da Grade de Eventos no Azure Data Explorer.

Pré-requisitos

Observação

Para obter o melhor desempenho, crie todos os recursos na mesma região que o cluster do Azure Data Explorer.

Criar uma assinatura na Grade de Eventos

  1. No portal do Microsoft Azure, acesse sua conta de armazenamento.

  2. Selecione Eventos>Assinatura de Evento no menu esquerdo.

    Captura de tela da criação da assinatura da Grade de Eventos.

  3. Na janela Criar assinatura de evento na guia Básico, forneça os valores a seguir:

    Crie os valores da assinatura de evento a serem inseridos.

    Configuração Valor sugerido Descrição do campo
    Nome test-grid-connection O nome da assinatura da Grade de Eventos que você deseja criar.
    Esquema do evento Esquema da Grade de Eventos O esquema que deve ser usado para a Grade de Eventos.
    Tipo de tópico Conta de armazenamento O tipo de tópico da Grade de Eventos. Preenchido automaticamente.
    Recurso de Origem gridteststorage1 O nome da sua conta de armazenamento. Preenchido automaticamente.
    Nome do Tópico do Sistema gridteststorage1... O tópico do sistema em que o Armazenamento do Azure publica os eventos. Esse tópico do sistema encaminha o evento para um assinante que recebe e processa os eventos. Preenchido automaticamente.
    Filtro para Tipos de Evento Blob Criado De quais eventos específicos receber notificações. Ao criar a assinatura, selecione um dos tipos com suporte: Microsoft.Storage.BlobCreated ou Microsoft.Storage.BlobRenamed. Há suporte para renomear blobs somente no armazenamento de ADLSv2.

  4. Em DETALHES DO PONTO DE EXTREMIDADE, selecione Hubs de Eventos.

    Escolha um manipulador de eventos para receber seus eventos – hub de eventos – Azure Data Explorer.

  5. Clique em Selecionar um ponto de extremidade e preencha o hub de eventos criado, por exemplo, test-hub.

  6. Selecione a guia Filtros, se desejar filtrar eventos.

    Use Filtros de Assunto para acompanhar eventos de assuntos específicos. Defina os filtros das notificações da seguinte maneira:

    Guia Filtros Grade de Eventos.

    1. Selecione Habilitar filtragem por assunto
    2. O campo Assunto começa com é o prefixo literal do assunto. Como é o padrão aplicado é startswith, pode abranger vários contêineres, pastas ou blobs. Não são permitidos curingas.
      • Para especificar um filtro no contêiner de blobs, defina o campo da seguinte maneira: /blobServices/default/containers/[container prefix] .
      • Para especificar um filtro em um prefixo de blob (ou uma pasta no Azure Data Lake Gen2), defina o campo da seguinte maneira: /blobServices/default/containers/[container name]/blobs/[folder/blob prefix] .
    3. O campo Assunto termina com é o sufixo literal do blob. Não são permitidos curingas.
    4. O campo Correspondência de assunto que diferencia maiúsculas de minúsculas indica se os filtros de prefixo e sufixo diferenciam maiúsculas de minúsculas.

    Para obter mais informações sobre os eventos de filtragem, confira eventos de armazenamento de blobs.

    Use Filtros Avançados para adicionar filtros personalizados que atendam aos seus requisitos.

    Por exemplo, ao usar o SDK do Azure Data Lake para carregar um arquivo, a criação de arquivo dispara um evento da Grade de Eventos com tamanho 0. Esse evento é descartado pelo Data Explorer do Azure. A liberação de arquivo dispara outro evento, se o parâmetro Close estiver definido como true. Esse evento indica que essa é a atualização final e o fluxo de arquivos foi fechado. Para evitar erros desnecessários de processamento e ingestão de arquivos vazios, filtre eventos CreateFile usando o seguinte filtro:

    Captura de tela mostrando como filtrar a criação de eventos de arquivo.

    Configuração Valor sugerido Descrição do campo
    Chave data.api O campo no esquema de evento usado para filtragem.
    Operador A cadeia de caracteres não está em Um operador a ser avaliado na chave selecionada.
    Valor CreateFile O valor usado para avaliar a chave.

  7. Escolha Criar

Próxima etapa

Criar uma conexão de dados da Grade de Eventos