Gerenciar o Azure Data Lake Analytics usando o portal do Azure

  • Artigo

Importante

Novas contas do Data Lake Analytics do Azure não podem mais ser criadas, a menos que sua assinatura tenha sido habilitada. Se você precisar que a sua assinatura seja habilitada, entre em contato com o suporte e forneça o seu cenário de negócios.

Se já estiver usando o Azure Data Lake Analytics, você precisará criar um plano de migração para o Azure Synapse Analytics na organização até 29 de fevereiro de 2024.

Este artigo descreve como gerenciar contas, fontes de dados, usuários e trabalhos do Azure Data Lake Analytics usando o portal do Azure.

Gerenciar contas do Data Lake Analytics

Criar uma conta

  1. Entre no portal do Azure.
  2. Clique em Criar um recurso e procure Data Lake Analytics.
  3. Selecione os valores para os seguintes itens:
    1. Nome: o nome da conta do Data Lake Analytics.
    2. Assinatura: a assinatura do Azure usada para a conta.
    3. Grupo de recursos: o grupo de recursos do Azure no qual a conta será criada.
    4. Local: o datacenter do Azure para a conta do Data Lake Analytics.
    5. Data Lake Store: o repositório padrão a ser usado para a conta do Data Lake Analytics. A conta do Azure Data Lake Store e a conta do Data Lake Analytics devem estar no mesmo local.
  4. Selecione Criar.

Excluir uma conta do Data Lake Analytics

Antes de excluir uma conta do Data Lake Analytics, exclua sua conta padrão do Data Lake Store.

  1. No portal do Azure, acesse sua conta do Data Lake Analytics.
  2. Selecione Excluir.
  3. Digite o nome da conta.
  4. Selecione Excluir.

Gerenciar fontes de dados

O Data Lake Analytics dá suporte às seguintes fontes de dados:

  • Data Lake Store
  • Armazenamento do Azure

Você pode usar o Data Explorer para procurar fontes de dados e executar operações básicas de gerenciamento de arquivo.

Adicionar uma fonte de dados

  1. No portal do Azure, acesse sua conta do Data Lake Analytics.

  2. Selecione Data Explorer.

  3. Selecione Adicionar Fonte de Dados.

    • Para adicionar uma conta do Data Lake Store, são necessários o nome da conta e o acesso à conta para poder consultá-la.
    • Para adicionar o armazenamento de Blobs do Azure, são necessárias a conta de armazenamento e a chave de conta. Para encontrá-las, acesse a conta de armazenamento no portal e selecione Chaves de acesso.

Configurar regras de firewall

Você pode usar o Data Lake Analytics para bloquear ainda mais o acesso à sua conta do Data Lake Analytics no nível da rede. Você pode habilitar um firewall e definir um endereço IP ou um intervalo de endereços IP para seus clientes confiáveis. Depois de habilitar essas medidas, somente os clientes que tiverem os endereços IP dentro do intervalo definido poderão se conectar ao repositório.

Se outros serviços do Azure, como o Azure Data Factory ou VMs, se conectam à conta do Data Lake Analytics, verifique se Permitir Serviços do Azure está Ativado.

Configurar uma regra de firewall

  1. No portal do Azure, acesse sua conta do Data Lake Analytics.
  2. No menu à esquerda, selecione Firewall.

Adicionar um novo usuário

Você pode usar o Assistente para Adicionar Usuário para criar facilmente novos usuários do Data Lake.

  1. No portal do Azure, acesse sua conta do Data Lake Analytics.
  2. À esquerda, em Introdução, clique em Assistente para Adicionar Usuário.
  3. Escolha um usuário e clique em Selecionar.
  4. Selecione uma função e clique em Selecionar. Para configurar um novo desenvolvedor para usar o Azure Data Lake, selecione a função Desenvolvedor do Data Lake Analytics.
  5. Selecione as ACLs (listas de controle de acesso) para os bancos de dados U-SQL. Quando estiver satisfeito com suas escolhas, clique em Selecionar.
  6. Selecione as ACLs de arquivos. Para o repositório padrão, não altere as ACLs da pasta raiz "/" e da pasta /system. clique em Selecionar.
  7. Examine todas as alterações selecionadas e depois clique em Executar.
  8. Quando o assistente for concluído, clique em Concluído.

Gerenciar o controle de acesso baseado em função do Azure

Como outros serviços do Azure, você pode usar o RBAC (controle de acesso baseado em função) para controlar como os usuários interagem com o serviço.

As funções padrão do Azure têm os seguintes recursos:

  • Proprietário: pode enviar, monitorar e cancelar trabalhos de qualquer usuário e configurar a conta.
  • Colaborador: pode enviar, monitorar e cancelar trabalhos de qualquer usuário e configurar a conta.
  • Leitor: pode monitorar trabalhos.

Use a função de desenvolvedor do Data Lake Analytics para permitir que os desenvolvedores de U-SQL usem o serviço do Data Lake Analytics. Você pode usar a função de desenvolvedor do Data Lake Analytics:

  • Enviar trabalhos.
  • Monitorar o status do trabalho e o andamento dos trabalhos enviados por qualquer usuário.
  • Consultar os scripts de U-SQL de trabalhos enviados por qualquer usuário.
  • Cancelar apenas seus próprios trabalhos.

Adicionar usuários ou grupos de segurança a uma conta do Data Lake Analytics

  1. No portal do Azure, acesse sua conta do Data Lake Analytics.

  2. Selecione IAM (Controle de acesso) .

  3. Selecione AdicionarAdicionar atribuição de função para abrir a página Adicionar atribuição de função.

  4. Atribuir uma função a um usuário. Para ver as etapas detalhadas, confira Atribuir funções do Azure usando o portal do Azure.

    Captura de tela que mostra a página Adicionar atribuição de função no portal do Azure.

Observação

Se um usuário ou um grupo de segurança precisar enviar trabalhos, eles também precisarão de permissão na conta de repositório. Para obter mais informações, consulte Proteger os dados armazenados no Data Lake Store.

Gerenciar trabalhos

Enviar um trabalho

  1. No portal do Azure, acesse sua conta do Data Lake Analytics.

  2. Selecione Novo Trabalho. Para cada trabalho, configure:

    1. Nome do Trabalho: o nome do trabalho.
    2. Prioridade: essa configuração está em Mais opções. Números menores têm prioridade mais alta. Se dois trabalhos estiverem enfileirados, aquele com o menor valor de prioridade será executado primeiro.
    3. AUs: o número máximo de unidades de análise ou processos de computação a serem reservados para este trabalho.
    4. Runtime: também está em Mais opções. Selecione o runtime padrão, a menos que você tenha recebido um runtime personalizado.

  3. Adicione o script.

  4. Selecione Enviar trabalho.

Monitorar trabalhos

  1. No portal do Azure, acesse sua conta do Data Lake Analytics.
  2. Selecione Exibir Todos os Trabalhos na parte superior da página. Uma lista de todos os trabalhos ativos e concluídos recentemente é exibida.
  3. Opcionalmente, selecione Filtrar para encontrar os trabalhos por valores de Intervalo de Tempo, Status, Nome do Trabalho, ID do Trabalho, Nome do Pipeline ou ID do Pipeline, Nome da Recorrência ou ID da Recorrência e Autor.

Monitorando trabalhos de pipeline

Trabalhos que fazem parte de um pipeline trabalham juntos, geralmente em sequência, para realizar um cenário específico. Por exemplo, você pode ter um pipeline que limpa, extrai, transforma, agrega o uso de Customer Insights. Trabalhos do pipeline são identificados usando a propriedade "Pipeline" quando o trabalho foi enviado. Trabalhos agendados usando o ADF V2 terão, automaticamente, essa propriedade populada.

Para exibir uma lista de trabalhos de U-SQL que fazem parte dos pipelines:

  1. No portal do Azure, acesse sua conta do Data Lake Analytics.
  2. Selecione Insights do Trabalho. A guia "Todos os trabalhos" será padronizada, mostrando trabalhos em execução, na fila e encerrados.
  3. Clique na guia Trabalhos de pipeline para ver uma lista de trabalhos de pipeline com estatísticas agregadas em cada pipeline.

Monitorando trabalhos recorrentes

Um trabalho recorrente é aquele que tem a mesma lógica de negócios, mas usa dados de entrada diferentes toda vez que é executado. Idealmente, trabalhos recorrentes devem sempre ter êxito e ter um tempo de execução relativamente estável. O monitoramento desses comportamentos ajuda a garantir que o trabalho tenha integridade. Trabalhos recorrentes são identificados usando a propriedade "Recorrente". Trabalhos agendados usando o ADF V2 terão, automaticamente, essa propriedade populada.

Para exibir uma lista de trabalhos de U-SQL que são recorrentes:

  1. No portal do Azure, acesse sua conta do Data Lake Analytics.
  2. Selecione Insights do Trabalho. A guia "Todos os trabalhos" será padronizada, mostrando trabalhos em execução, na fila e encerrados.
  3. Clique na guia Trabalhos recorrentes pra ver uma lista de trabalhos recorrentes com estatísticas agregadas em cada trabalho recorrente.

Próximas etapas