Criar manualmente recursos para ingestão do Event Grid
O Azure Data Explorer oferece ingestão contínua do Armazenamento do Azure (armazenamento de Blobs do Azure e Azure Data Lake Storage Gen2) através de um pipeline de Ingestão do Event Grid. No pipeline de ingestão do Event Grid, um serviço Azure Event Grid encaminha eventos criados ou mudados de nome de blobs de uma conta de armazenamento para o Azure Data Explorer através de um Hubs de Eventos do Azure.
Neste artigo, vai aprender a criar manualmente os recursos necessários para a Ingestão do Event Grid: uma subscrição do Event Grid, um espaço de nomes dos Hubs de Eventos e um hub de eventos. O espaço de nomes dos Hubs de Eventos e a criação do hub de eventos são descritos nos Pré-requisitos. Para utilizar a criação automática destes recursos ao definir a ingestão do Event Grid, veja Criar uma ligação de dados do Event Grid no Azure Data Explorer.
Pré-requisitos
- Uma subscrição do Azure. Crie uma conta gratuita do Azure.
- Um cluster e uma base de dados do Azure Data Explorer. Criar um cluster e uma base de dados.
- Uma conta de armazenamento. Uma subscrição de notificação do Event Grid pode ser definida nas contas de Armazenamento do Azure para
BlobStorage,StorageV2ou Data Lake Storage Gen2. - Um espaço de nomes e um hub de eventos dos Hubs de Eventos.
Nota
Para um melhor desempenho, crie todos os recursos na mesma região que o cluster do Azure Data Explorer.
Criar uma subscrição do Event Grid
Na portal do Azure, aceda à sua conta de armazenamento.
No menu esquerdo, selecioneSubscrição de Eventos de Eventos>.
Na janela Criar Subscrição de Eventos , no separador Básico , forneça os seguintes valores:
Definição Valor sugerido Descrição do campo Name test-grid-connection O nome da subscrição do Event Grid que pretende criar. Esquema de Eventos Esquema do Event Grid O esquema que deve ser utilizado para o Event Grid. Tipo de Tópico Conta de armazenamento O tipo de tópico do Event Grid. Preenchido automaticamente. Recurso de Origem gridteststorage1 O nome da sua conta de armazenamento. Preenchido automaticamente. Nome do Tópico do Sistema gridteststorage1... O tópico do sistema onde o Armazenamento do Azure publica eventos. Em seguida, este tópico de sistema reencaminha o evento para um subscritor que recebe e processa eventos. Preenchido automaticamente. Filtrar por Tipos de Eventos Blob Criado Para que eventos específicos receber notificações. Ao criar a subscrição, selecione um dos tipos suportados: Microsoft.Storage.BlobCreated ou Microsoft.Storage.BlobRenamed. O nome do blob só é suportado para o armazenamento do ADLSv2. Em DETALHES DO PONTO FINAL, selecione Hubs de Eventos.
Clique em Selecionar um ponto final e preencha o hub de eventos que criou, por exemplo , test-hub.
Selecione o separador Filtros se quiser filtrar eventos.
Utilize Filtros de Assunto para controlar eventos de assuntos específicos. Defina os filtros para as notificações da seguinte forma:
- Selecione Ativar filtragem de assuntos
-
O campo Assunto Começa Com é o prefixo literal do assunto. Uma vez que o padrão aplicado é iniciado, pode abranger vários contentores, pastas ou blobs. Não são permitidos carateres universais.
- Para definir um filtro no contentor de blobs, defina o campo da seguinte forma:
/blobServices/default/containers/[container prefix]. - Para definir um filtro num prefixo de blob (ou numa pasta no Azure Data Lake Gen2), defina o campo da seguinte forma:
/blobServices/default/containers/[container name]/blobs/[folder/blob prefix].
- Para definir um filtro no contentor de blobs, defina o campo da seguinte forma:
- O campo Assunto Termina Com é o sufixo literal do blob. Não são permitidos carateres universais.
- O campo de correspondência de assuntos sensíveis a maiúsculas e minúsculas indica se os filtros de prefixo e sufixo são sensíveis a maiúsculas e minúsculas.
Para obter mais informações sobre a filtragem de eventos, veja Eventos de armazenamento de blobs.
Utilize Filtros Avançados para adicionar filtros personalizados que cumpram os seus requisitos.
Por exemplo, ao utilizar o SDK do Azure Data Lake para carregar um ficheiro, a criação de ficheiros aciona um evento do Event Grid com o tamanho 0. Este evento é eliminado pelo Azure Data Explorer. A descarga de ficheiros aciona outro evento se o parâmetro Fechar estiver definido como verdadeiro. Este evento indica que esta é a atualização final e que o fluxo de ficheiros foi fechado. Para evitar erros desnecessários de processamento e ingestão de ficheiros vazios, filtre os eventos CreateFile com o seguinte filtro:
Definição Valor sugerido Descrição do campo Chave data.api O campo no esquema de eventos utilizado para filtragem. Operador A cadeia não está no Um operador a ser avaliado na chave selecionada. Valor CriarFicheiro O valor utilizado para avaliar a chave. Selecione Criar