Criar recursos manualmente para ingestão da Grade de Eventos

• Portal
• Portal – Criar recursos manualmente
• C#
• Python
• Modelo do Azure Resource Manager

O Azure Data Explorer oferece ingestão contínua no Armazenamento do Azure (Armazenamento de Blobs do Azure e Azure Data Lake Storage Gen2) usando um pipeline de ingestão da Grade de Eventos. No pipeline de ingestão da Grade de Eventos, um serviço da Grade de Eventos do Azure encaminha os eventos renomeados ou criados pelo blob de uma conta de armazenamento para o Azure Data Explorer usando os Hubs de Eventos do Azure.

Neste artigo, você aprenderá a criar manualmente os recursos necessários para a Ingestão da Grade de Eventos: uma assinatura da Grade de Eventos, um namespace de Hubs de Eventos e um hub de eventos. O namespace dos Hubs de Eventos e a criação do hub de eventos são descritos nos Pré-requisitos. Para usar a criação automática desses recursos ao definir a ingestão da Grade de Eventos, confira Criar uma conexão de dados da Grade de Eventos no Azure Data Explorer.

Pré-requisitos

• Uma assinatura do Azure. Criar uma conta gratuita do Azure.
• Um cluster e um banco de dados do Azure Data Explorer. Criar um cluster e um banco de dados.
• Uma conta de armazenamento. Uma assinatura de notificação de Grade de Eventos pode ser definida em contas de Armazenamento do Azure para BlobStorage, StorageV2ou Data Lake Storage Gen2.
• Um namespace de Hubs de Eventos e um hub de eventos.

Observação

Para obter o melhor desempenho, crie todos os recursos na mesma região que o cluster do Azure Data Explorer.

Criar uma assinatura na Grade de Eventos

1. No portal do Microsoft Azure, acesse sua conta de armazenamento.

2. No menu esquerdo, selecione Assinatura de eventos do Events>+.

   

3. Na janela Criar assinatura de evento na guia Básico, forneça os valores a seguir:

   

   Configuração	Valor sugerido	Descrição do campo
   Nome	test-grid-connection	O nome da assinatura da Grade de Eventos que você deseja criar.
   Esquema do evento	Esquema da Grade de Eventos	O esquema que deve ser usado para a Grade de Eventos.
   Tipo de tópico	Conta de armazenamento	O tipo de tópico Grade de Eventos. Preenchido automaticamente.
   Recurso de Origem	gridteststorage1	O nome da sua conta de armazenamento. Preenchido automaticamente.
   Nome do Tópico do Sistema	gridteststorage1...	O tópico do sistema em que o Armazenamento do Azure publica os eventos. Esse tópico do sistema encaminha o evento para um assinante que recebe e processa os eventos. Preenchido automaticamente.
   Filtro para Tipos de Evento	Blob Criado	De quais eventos específicos receber notificações. Ao criar a assinatura, selecione um dos tipos com suporte: Microsoft.Storage.BlobCreated ou Microsoft.Storage.BlobRenamed. Há suporte para renomear blobs somente no armazenamento de ADLSv2.

4. Em ENDPOINT DETAILS, selecione Hubs de Eventos.

   

5. Selecione Selecionar um ponto de extremidade e preencha o hub de eventos que você criou, por exemplo , test-hub.

6. Em IDENTIDADE GERENCIADA PARA ENTREGA, SELECIONE OPCIONALMENTE UM TIPO DE IDENTIDADE GERENCIADA USANDO AS INFORMAÇÕES DA TABELA A SEGUIR.

   

   Tipo	Descrição
   Nenhum (padrão)	Os eventos não são entregues usando identidades gerenciadas.
   Atribuído pelo sistema	Os eventos são entregues usando uma identidade gerenciada atribuída pelo sistema. IMPORTANTE: Antes de usar essa opção, verifique se você habilitou a identidade atribuída pelo sistema no tópico do sistema de Grade de Eventos e deu a ela a função Remetente de Dados dos Hubs de Eventos do Azure no hub de eventos. Para obter mais informações, consulte Habilitar identidade gerenciada para tópicos do sistema.

   Importante

   Se você desabilitar a autenticação local no namespace Hubs de Eventos que contém o hub de eventos usado para notificações de streaming, deverá usar identidades gerenciadas para entregar eventos ao usar essa assinatura de evento.

7. Selecione a guia Filtros, se desejar filtrar eventos.

   Use Filtros de Assunto para acompanhar eventos de assuntos específicos. Defina os filtros das notificações da seguinte maneira:

   

   1. Selecione Habilitar filtragem por assunto
   2. O campo Assunto começa com é o prefixo literal do assunto. Como é o padrão aplicado é startswith, pode abranger vários contêineres, pastas ou blobs. Não são permitidos curingas.
      • Para especificar um filtro no contêiner de blobs, defina o campo da seguinte maneira: /blobServices/default/containers/[container prefix].
      • Para especificar um filtro em um prefixo de blob (ou uma pasta no Azure Data Lake Gen2), defina o campo da seguinte maneira: /blobServices/default/containers/[container name]/blobs/[folder/blob prefix].
   3. O campo Assunto termina com é o sufixo literal do blob. Não são permitidos curingas.
   4. O campo Correspondência de assunto que diferencia maiúsculas de minúsculas indica se os filtros de prefixo e sufixo diferenciam maiúsculas de minúsculas.

   Para obter mais informações sobre os eventos de filtragem, confira eventos de armazenamento de blobs.

   Use Filtros Avançados para adicionar filtros personalizados que atendam aos seus requisitos.

   Por exemplo, ao usar o SDK do Azure Data Lake para carregar um arquivo, a criação de arquivo dispara um evento da Grade de Eventos com tamanho 0. Esse evento é descartado pelo Azure Data Explorer. A liberação de arquivo dispara outro evento, se o parâmetro Close estiver definido como true. Esse evento indica que essa é a atualização final e o fluxo de arquivos foi fechado. Para evitar processamento desnecessário e erros de ingestão de arquivos vazios, filtre eventos CreateFile usando o seguinte filtro:

   

   Configuração	Valor sugerido	Descrição do campo
   Chave	data.api	O campo no esquema de evento usado para filtragem.
   Operador	A cadeia de caracteres não está ativada	Um operador a ser avaliado na chave selecionada.
   Valor	CreateFile	O valor usado para avaliar a chave.

8. Escolha Criar

Próxima etapa

Criar uma conexão de dados da Grade de Eventos