Use o Azure Data Lake Storage Gen1 para capturar dados dos Hubs de Eventos

  • Artigo

Saiba como usar o Azure Data Lake Storage Gen1 para capturar dados recebidos pelos Hubs de Eventos do Azure.

Pré-requisitos

Atribuir permissões aos Hubs de Eventos

Nesta seção, você criará uma pasta dentro da conta na qual você deseja capturar os dados dos Hubs de Eventos. Você também atribui permissões aos Hubs de Eventos para que eles possam gravar dados em uma conta do Azure Data Lake Storage Gen1.

  1. Abra a conta do Azure Data Lake Storage Gen1 em que você deseja capturar dados dos Hubs de Eventos e, em seguida, clique em Data Explorer.

    Data Explorer do Data Lake Storage Gen1

  2. Clique em Nova Pasta e digite um nome para a pasta onde você deseja capturar os dados.

    Criar uma nova pasta no Data Lake Storage Gen1

  3. Atribua permissões na raiz do Data Lake Storage Gen1.

    a. Clique em Data Explorer, selecione a raiz da conta do Data Lake Storage Gen1 e, em seguida, clique em Acesso.

    Captura de tela do data explorer com a raiz da conta e a opção Acesso em destaque.

    b. Em Acesso, clique em Adicionar, clique em Selecionar Usuário ou Grupo e procure por Microsoft.EventHubs.

    Captura de tela da página Acesso do data explorer com as opções Adicionar, Selecionar Usuário ou Grupo e Hubs de Eventos da Microsoft em destaque.

    Clique em Selecionar.

    c. Em Atribuir Permissões, clique em Selecionar Permissões. Defina Permissões como Executar. Defina Adicionar a como Esta pasta e todas as filhas. Defina Adicionar como como Uma entrada de permissão de acesso e uma entrada de permissão predefinida.

    Importante

    Ao criar uma nova hierarquia de pastas para capturar dados recebidos pelos Hubs de Eventos do Azure, essa é uma maneira fácil de garantir o acesso à pasta de destino. No entanto, adicionar permissões a todos os elementos filhos de uma pasta de nível superior com muitos arquivos e pastas secundários pode levar um longo tempo. Se a pasta raiz contiver um grande número de arquivos e pastas, talvez seja mais rápido adicionar permissões Executar para Microsoft.EventHubsindividualmente em cada pasta no caminho para a pasta de destino final.

    Captura de tela da seção Atribuir Permissões com a opção Selecionar Permissões em destaque. Ao lado, a seção Selecionar Permissões com as opções Executar, Adicionar a e Adicionar como em destaque.

    Clique em OK.

  4. Atribua permissões para a pasta na conta do Data Lake Storage Gen1 em que você deseja capturar dados.

    a. Clique em Data Explorer, selecione a pasta na conta do Data Lake Storage Gen1 e, em seguida, clique em Acesso.

    Captura de tela do Data Explorer com uma pasta na conta e a opção Acesso em destaque.

    b. Em Acesso, clique em Adicionar, clique em Selecionar Usuário ou Grupo e procure por Microsoft.EventHubs.

    Captura de tela da página Acesso do Data Explorer com as opções Adicionar, Selecionar Usuário ou Grupo e Hubs de Eventos da Microsoft em destaque.

    Clique em Selecionar.

    c. Em Atribuir Permissões, clique em Selecionar Permissões. Defina Permissões como Ler, Gravar e Executar. Defina Adicionar a como Esta pasta e todas as filhas. Por fim, defina Adicionar como como Uma entrada de permissão de acesso e uma entrada de permissão predefinida.

    Captura de tela da seção Atribuir Permissões com a opção Selecionar Permissões em destaque. Ao lado, a seção Selecionar Permissões com as opções Ler, Gravar e Executar, Adicionar a e Adicionar como em destaque.

    Clique em OK.

Configurar os Hubs de Eventos para capturar dados no Data Lake Storage Gen1

Nesta seção, você criará um Hub de Eventos dentro de um namespace de Hubs de Eventos. Também configurará o Hub de Eventos para capturar os dados em uma conta do Azure Data Lake Storage Gen1. Esta seção pressupõe que você já criou um namespace dos Hubs de Eventos.

  1. No painel Visão Geral do namespace de Hubs de Eventos, clique em + Hub de Eventos.

    Captura de tela do painel Visão geral com a opção Hub de Eventos em destaque.

  2. Forneça os valores a seguir para configurar os Hubs de Eventos a fim de capturar dados no Data Lake Storage Gen1.

    Captura de tela da caixa de diálogo Criar Hub de Eventos com a caixa de texto Nome e as opções Captura, Provedor de Captura, Selecionar Data Lake Storage e Caminho do Data Lake em destaque.

    a. Forneça um nome para o Hub de Eventos.

    b. Para este tutorial, defina Contagem de Partições e Retenção de Mensagem com os valores padrão.

    c. Defina Capturar como Ativado. Defina a Janela de Tempo (a frequência de captura) e Janela de Tamanho (tamanho dos dados para captura).

    d. Para Provedor de Captura, selecione Azure Data Lake Store e selecione a conta do Data Lake Storage Gen1 criada anteriormente. Para Caminho do Data Lake, digite o nome da pasta que você criou na conta do Data Lake Storage Gen1. Você só precisa fornecer o caminho relativo para a pasta.

    e. Deixe os Formatos de nome de arquivo de captura de exemplo como o valor padrão. Essa opção controla a estrutura de pastas criada sob a pasta de captura.

    f. Clique em Criar.

Testar a configuração

Agora, você pode testar a solução enviando dados para o Hub de Eventos do Azure. Siga as instruções em Enviar eventos aos Hubs de Eventos do Azure. Quando você começar a enviar os dados, verá os dados refletidos no Data Lake Storage Gen1 usando a estrutura de pastas que você especificou. Por exemplo, você verá uma estrutura de pastas, conforme mostra a seguinte captura de tela, em seu Data Lake Storage Gen1.

Exemplo de dados do Hub de Eventos no Data Lake Storage Gen1

Observação

Mesmo se não houver mensagens chegando aos Hubs de Eventos, os Hubs de Eventos gravarão os arquivos vazios apenas com os cabeçalhos na conta do Data Lake Storage Gen1. Os arquivos são gravados no mesmo intervalo de tempo fornecido durante a criação dos Hubs de Eventos.

Analisar dados no Data Lake Storage Gen1

Quando os dados estiverem no Data Lake Storage Gen1, você poderá executar trabalhos de análise para processar e juntar os dados. Confira Exemplo de USQL Avro sobre como fazer isso usando o Azure Data Lake Analytics.

Confira também