Partilhar via

Utilizar o Azure Data Lake Storage Gen1 para capturar dados dos Hubs de Eventos

  • Artigo

Saiba como utilizar o Azure Data Lake Storage Gen1 para capturar dados recebidos por Hubs de Eventos do Azure.

Pré-requisitos

Atribuir permissões aos Hubs de Eventos

Nesta secção, vai criar uma pasta na conta onde pretende capturar os dados dos Hubs de Eventos. Também atribui permissões aos Hubs de Eventos para que possam escrever dados numa conta Data Lake Storage Gen1.

  1. Abra a conta Data Lake Storage Gen1 onde pretende capturar dados dos Hubs de Eventos e, em seguida, clique em Data Explorer.

    Data Lake Storage Gen1 data explorer

  2. Clique em Nova Pasta e, em seguida, introduza um nome para a pasta onde pretende capturar os dados.

    Criar uma nova pasta no Data Lake Storage Gen1

  3. Atribua permissões na raiz do Data Lake Storage Gen1.

    a. Clique em Data Explorer, selecione a raiz da conta Data Lake Storage Gen1 e, em seguida, clique em Acesso.

    Captura de ecrã do Data Explorer com a raiz da conta e a opção Access realçada.

    b. Em Acesso, clique em Adicionar, clique em Selecionar Utilizador ou Grupo e, em seguida, procure Microsoft.EventHubs.

    Captura de ecrã da página Do Access com a opção Adicionar, a opção Selecionar Utilizador ou Grupo e a opção Microsoft Eventhubs realçada.

    Clique em Selecionar.

    c. Em Atribuir Permissões, clique em Selecionar Permissões. Defina Permissões para Executar. Defina Adicionar aEsta pasta e a todas as crianças. Defina Adicionar como a Uma entrada de permissão de acesso e uma entrada de permissão predefinida.

    Importante

    Ao criar uma nova hierarquia de pastas para capturar dados recebidos por Hubs de Eventos do Azure, esta é uma forma fácil de garantir o acesso à pasta de destino. No entanto, adicionar permissões a todas as crianças de uma pasta de nível superior com muitos ficheiros e pastas subordinados pode demorar muito tempo. Se a pasta raiz contiver um grande número de ficheiros e pastas, poderá ser mais rápido adicionar permissões Microsoft.EventHubsexecutar individualmente a cada pasta no caminho para a pasta de destino final.

    Captura de ecrã da secção Atribuir Permissões com a opção Selecionar Permissões realçada. A secção Selecionar Permissões está junto à mesma com a opção Executar, Adicionar à opção e Adicionar como realçada.

    Clique em OK.

  4. Atribua permissões para a pasta na conta Data Lake Storage Gen1 onde pretende capturar dados.

    a. Clique em Data Explorer, selecione a pasta na conta Data Lake Storage Gen1 e, em seguida, clique em Access.

    Captura de ecrã a mostrar o Data Explorer com uma pasta na conta e a opção Access realçada.

    b. Em Acesso, clique em Adicionar, clique em Selecionar Utilizador ou Grupo e, em seguida, procure Microsoft.EventHubs.

    Captura de ecrã a mostrar a página Acesso do Data Explorer com a opção Adicionar, a opção Selecionar Utilizador ou Grupo e a opção Microsoft Eventhubs realçada.

    Clique em Selecionar.

    c. Em Atribuir Permissões, clique em Selecionar Permissões. Defina Permissões para Leitura, Escrita e Execução. Defina Adicionar aEsta pasta e a todas as crianças. Por fim, defina Adicionar como a Uma entrada de permissão de acesso e uma entrada de permissão predefinida.

    Captura de ecrã da secção Atribuir Permissões com a opção Selecionar Permissões realçada. A secção Selecionar Permissões está junto à mesma com as opções Ler, Escrever e Executar, a opção Adicionar a e a opção Adicionar como realçada.

    Clique em OK.

Configurar os Hubs de Eventos para capturar dados para Data Lake Storage Gen1

Nesta secção, vai criar um Hub de Eventos num espaço de nomes dos Hubs de Eventos. Também configura o Hub de Eventos para capturar dados para uma conta Azure Data Lake Storage Gen1. Esta secção pressupõe que já criou um espaço de nomes dos Hubs de Eventos.

  1. No painel Descrição geral do espaço de nomes dos Hubs de Eventos, clique em + Hub de Eventos.

    Captura de ecrã do painel Descrição Geral com a opção Hub de Eventos realçada.

  2. Forneça os seguintes valores para configurar os Hubs de Eventos para capturar dados para Data Lake Storage Gen1.

    Captura de ecrã da caixa de diálogo Criar Hub de Eventos com a caixa de texto Nome, a opção Capturar, a opção Fornecedor de Captura, a opção Selecionar Data Lake Store e a opção Caminho do Data Lake realçada.

    a. Indique um nome para o Hub de Eventos.

    b. Neste tutorial, defina Contagem de Partições e Retenção de Mensagens para os valores predefinidos.

    c. Defina Captura como Ativada. Defina a Janela de Tempo (com que frequência capturar) e a Janela de Tamanho (tamanho dos dados a capturar).

    d. Para Fornecedor de Captura, selecione Azure Data Lake Store e, em seguida, selecione a conta Data Lake Storage Gen1 que criou anteriormente. Para Data Lake Path, introduza o nome da pasta que criou na conta Data Lake Storage Gen1. Só precisa de fornecer o caminho relativo para a pasta.

    e. Deixe os formatos de nome de ficheiro de captura de exemplo para o valor predefinido. Esta opção rege a estrutura de pastas criada na pasta de captura.

    f. Clique em Criar.

Testar a configuração

Agora, pode testar a solução ao enviar dados para o Hub de Eventos do Azure. Siga as instruções em Enviar eventos para Hubs de Eventos do Azure. Assim que começar a enviar os dados, verá os dados refletidos no Data Lake Storage Gen1 com a estrutura de pastas que especificou. Por exemplo, verá uma estrutura de pastas, conforme mostrado na seguinte captura de ecrã, na sua conta de Data Lake Storage Gen1.

Exemplo de dados do EventHub no Data Lake Storage Gen1

Nota

Mesmo que não tenha mensagens a entrar nos Hubs de Eventos, os Hubs de Eventos escrevem ficheiros vazios apenas com os cabeçalhos na conta Data Lake Storage Gen1. Os ficheiros são escritos ao mesmo tempo que forneceu ao criar os Hubs de Eventos.

Analisar dados no Data Lake Storage Gen1

Assim que os dados estiverem Data Lake Storage Gen1, pode executar tarefas analíticas para processar e calcular os dados. Veja Exemplo do USQL Avro sobre como fazê-lo com o Azure Data Lake Analytics.

Ver também