Criar uma ligação de dados do Event Grid para o Azure Data Explorer
Neste artigo, vai aprender a ingerir blobs da sua conta de armazenamento no Azure Data Explorer através de uma ligação de dados do Event Grid. Irá criar uma ligação de dados do Event Grid que define uma subscrição Azure Event Grid. A subscrição do Event Grid encaminha eventos da sua conta de armazenamento para o Azure Data Explorer através de um Hubs de Eventos do Azure.
Para obter informações gerais sobre como ingerir no Azure Data Explorer do Event Grid, veja Ligar ao Event Grid.
Nota
Para obter o melhor desempenho com a ligação do Event Grid, defina a rawSizeBytes
propriedade ingestão através dos metadados do blob. Para obter mais informações, veja Propriedades de ingestão.
Pré-requisitos
- Uma subscrição do Azure. Crie uma conta gratuita do Azure.
- Um cluster e uma base de dados do Azure Data Explorer. Criar um cluster e uma base de dados.
- Uma tabela de destino. Crie uma tabela ou utilize uma tabela existente.
- Um mapeamento de ingestão para a tabela.
- Uma conta de armazenamento. Uma subscrição de notificação do Event Grid pode ser definida em contas de Armazenamento do Azure para
BlobStorage
,StorageV2
ou Data Lake Storage Gen2.
Criar uma ligação de dados do Event Grid
Nesta secção, vai estabelecer uma ligação entre o Event Grid e a sua tabela de Data Explorer do Azure.
No cluster que criou, selecione Bases de Dados>TestDatabase.
Selecione Ingestão de>dados Adicionar ligação de dados.
Em Noções básicas, selecione o tipo de ligação: Armazenamento de blobs e, em seguida, preencha o formulário com as seguintes informações:
Definição Valor sugerido Descrição do campo Nome da ligação de dados test-grid-connection O nome da ligação que pretende criar no Azure Data Explorer. Subscrição da conta de armazenamento O ID da subscrição O ID da subscrição onde se encontra a sua conta de armazenamento. Conta de armazenamento gridteststorage1 O nome da conta de armazenamento que criou anteriormente. Tipo de evento Blob criado ou Blob mudado O tipo de evento que aciona a ingestão. O nome do blob mudado é suportado apenas para o armazenamento do ADLSv2. Para mudar o nome de um blob, navegue para o blob em portal do Azure, clique com o botão direito do rato no blob e selecione Mudar o nome. Os tipos suportados são: Microsoft.Storage.BlobCreated ou Microsoft.Storage.BlobRenamed. Criação de recursos Automático Defina se pretende que o Azure Data Explorer crie uma Subscrição do Event Grid, um espaço de nomes dos Hubs de Eventos e um Hubs de Eventos para si. Para criar recursos manualmente, veja Criar manualmente recursos para a ingestão do Event Grid Selecione Definições de filtro se quiser controlar assuntos específicos. Defina os filtros para as notificações da seguinte forma:
- O campo prefixo é o prefixo literal do assunto. À medida que o padrão aplicado é iniciado, pode abranger vários contentores, pastas ou blobs. Não são permitidos carateres universais.
- Para definir um filtro no contentor de blobs, o campo tem de ser definido da seguinte forma:
/blobServices/default/containers/[container prefix]
. - Para definir um filtro num prefixo de blobs (ou numa pasta no Azure Data Lake Gen2), o campo tem de ser definido da seguinte forma:
/blobServices/default/containers/[container name]/blobs/[folder/blob prefix]
.
- Para definir um filtro no contentor de blobs, o campo tem de ser definido da seguinte forma:
- O campo Sufixo é o sufixo literal do blob. Não são permitidos carateres universais.
- O campo Sensível a Maiúsculas e Minúsculas indica se os filtros de prefixo e sufixo são sensíveis a maiúsculas e minúsculas
- Para obter mais informações sobre a filtragem de eventos, veja Eventos de armazenamento de blobs.
- O campo prefixo é o prefixo literal do assunto. À medida que o padrão aplicado é iniciado, pode abranger vários contentores, pastas ou blobs. Não são permitidos carateres universais.
Selecione Seguinte: Ingerir propriedades.
Preencha o formulário com as seguintes informações. Os nomes das tabelas e mapeamentos são sensíveis às maiúsculas e minúsculas:
Ingerir propriedades:
Definição Valor sugerido Descrição do campo Permitir o encaminhamento dos dados para outras bases de dados (ligação de dados de várias bases de dados) Não permitir Ative esta opção se quiser substituir a base de dados de destino predefinida associada à ligação de dados. Para obter mais informações sobre o encaminhamento de bases de dados, veja Encaminhamento de eventos. Nome da tabela TestTable A tabela que criou em TestDatabase. Formato de dados JSON Os formatos suportados são Avro, CSV, JSON, MULTILINE JSON, ORC, PARQUET, PSV, SCSV, SOHSV, TSV, TXT, TSVE, APACHEAVRO, RAW e W3CLOG. As opções de compressão suportadas são Zip e Gzip. Mapeamento TestMapping O mapeamento que criou no TestDatabase, que mapeia os dados recebidos para os nomes de colunas e tipos de dados da TestTable. Se não for especificado, é utilizado um mapeamento de dados de identidade derivado do esquema da tabela. Definições avançadas Os meus dados têm cabeçalhos Ignora cabeçalhos. Suportado para *Ficheiros de tipo SV. Nota
Não tem de especificar todas as definições de encaminhamento Predefinidas. As definições parciais também são aceites.
Selecione Seguinte: Rever + criar
Em *Rever + criar.
Reveja os recursos que foram criados automaticamente e selecione Criar.
Aguarde até que a implementação esteja concluída. Se a implementação tiver falhado, selecione Detalhes da operação junto à fase com falha para obter mais informações sobre o motivo da falha. Selecione Reimplementar para tentar implementar os recursos novamente. Pode alterar os parâmetros antes da implementação.
Remover uma ligação de dados do Event Grid
Para remover a ligação do Event Grid da portal do Azure, faça o seguinte:
- Aceda ao cluster. No menu esquerdo, selecione Bases de Dados. Em seguida, selecione a base de dados que contém a tabela de destino.
- No menu esquerdo, selecione Ligações de dados. Em seguida, selecione a caixa de verificação junto à ligação de dados relevante do Event Grid.
- Na barra de menus superior, selecione Eliminar.