Analisar logs de sites usando o Azure Data Lake Analytics

Saiba como analisar os logs do site usando o Data Lake Analytics, especialmente ao descobrir quais referências encontraram erros quando tentaram visitar o site.

Importante

O Azure Data Lake Analytics foi desativado em 29 de fevereiro de 2024. Saiba mais com este anúncio.

Para análise de dados, sua organização pode usar o Azure Synapse Analytics ou o Microsoft Fabric.

Pré-requisitos

• Visual Studio 2015 ou Visual Studio 2013.

• Ferramentas Data Lake para Visual Studio.

  Depois que o Data Lake Tools for Visual Studio for instalado, você verá um item Data Lake no menu Ferramentas do Visual Studio:

  

• Conhecimento básico de Data Lake Analytics e das Ferramentas Data Lake para Visual Studio. Para começar, consulte:

  • Desenvolva scripts U-SQL usando ferramentas Data Lake para Visual Studio.

• Uma conta do Data Lake Analytics. Consulte Criar uma conta do Azure Data Lake Analytics.

• Instale os dados de exemplo. No portal do Azure, abra sua conta do Data Lake Analytics e selecione Scripts de exemplo no menu à esquerda e, em seguida, selecione Copiar dados de exemplo.

Conectar-se ao Azure

Antes de criar e testar qualquer script U-SQL, você deve primeiro se conectar ao Azure.

Para conectar-se ao Data Lake Analytics

1. Abra o Visual Studio.
2. Selecione Opções e configurações do Data Lake>.
3. Selecione Entrar ou Alterar usuário se alguém tiver entrado e siga as instruções.
4. Selecione OK para fechar a caixa de diálogo Opções e configurações.

Para navegar pelas suas contas do Data Lake Analytics

1. No Visual Studio, abra o Gerenciador de Servidores pressionando CTRL+ALT+S.
2. No Gerenciador de Servidores, expanda Azure e, em seguida, expanda Análise Data Lake. Você verá uma lista de suas contas do Data Lake Analytics, se houver. Não é possível criar contas do Data Lake Analytics a partir do estúdio. Para criar uma conta, consulte Introdução ao Azure Data Lake Analytics usando o portal do Azure ou Introdução ao Azure Data Lake Analytics usando o Azure PowerShell.

Desenvolver aplicação U-SQL

Um aplicativo U-SQL é principalmente um script U-SQL. Para saber mais sobre o U-SQL, consulte Introdução ao U-SQL.

Você pode adicionar operadores definidos pelo usuário ao aplicativo. Para obter mais informações, consulte Desenvolver operadores definidos pelo usuário U-SQL para trabalhos da Análise Data Lake.

Para criar e enviar um trabalho no Data Lake Analytics

1. Selecione o Ficheiro > Novo > Projeto.

2. Selecione o tipo de projeto U-SQL.

   

3. Selecione OK. Visual studio cria uma solução com um arquivo Script.usql.

4. Insira o seguinte script no arquivo Script.usql:

   // Create a database for easy reuse, so you don't need to read from a file very time.
   CREATE DATABASE IF NOT EXISTS SampleDBTutorials;
   
   // Create a Table valued function. TVF ensures that your jobs fetch data from he weblog file with the correct schema.
   DROP FUNCTION IF EXISTS SampleDBTutorials.dbo.WeblogsView;
   CREATE FUNCTION SampleDBTutorials.dbo.WeblogsView()
   RETURNS @result TABLE
   (
       s_date DateTime,
       s_time string,
       s_sitename string,
       cs_method string,
       cs_uristem string,
       cs_uriquery string,
       s_port int,
       cs_username string,
       c_ip string,
       cs_useragent string,
       cs_cookie string,
       cs_referer string,
       cs_host string,
       sc_status int,
       sc_substatus int,
       sc_win32status int,
       sc_bytes int,
       cs_bytes int,
       s_timetaken int
   )
   AS
   BEGIN
   
       @result = EXTRACT
           s_date DateTime,
           s_time string,
           s_sitename string,
           cs_method string,
           cs_uristem string,
           cs_uriquery string,
           s_port int,
           cs_username string,
           c_ip string,
           cs_useragent string,
           cs_cookie string,
           cs_referer string,
           cs_host string,
           sc_status int,
           sc_substatus int,
           sc_win32status int,
           sc_bytes int,
           cs_bytes int,
           s_timetaken int
       FROM @"/Samples/Data/WebLog.log"
       USING Extractors.Text(delimiter:' ');
       RETURN;
   END;
   
   // Create a table for storing referrers and status
   DROP TABLE IF EXISTS SampleDBTutorials.dbo.ReferrersPerDay;
   @weblog = SampleDBTutorials.dbo.WeblogsView();
   CREATE TABLE SampleDBTutorials.dbo.ReferrersPerDay
   (
       INDEX idx1
       CLUSTERED(Year ASC)
       DISTRIBUTED BY HASH(Year)
   ) AS
   
   SELECT s_date.Year AS Year,
       s_date.Month AS Month,
       s_date.Day AS Day,
       cs_referer,
       sc_status,
       COUNT(DISTINCT c_ip) AS cnt
   FROM @weblog
   GROUP BY s_date,
           cs_referer,
           sc_status;
   

   Para entender o U-SQL, consulte Introdução à linguagem U-SQL do Data Lake Analytics.

5. Adicione um novo script U-SQL ao seu projeto e insira o seguinte:

   // Query the referrers that ran into errors
   @content =
       SELECT *
       FROM SampleDBTutorials.dbo.ReferrersPerDay
       WHERE sc_status >=400 AND sc_status < 500;
   
   OUTPUT @content
   TO @"/Samples/Outputs/UnsuccessfulResponses.log"
   USING Outputters.Tsv();
   

6. Volte para o primeiro script U-SQL e, ao lado do botão Enviar , especifique sua conta do Google Analytics.

7. No Gerenciador de Soluções, selecione com o botão direito do mouse Script.usql e, em seguida, selecione Build Script. Verifique os resultados no painel de saída.

8. No Gerenciador de Soluções, selecione com o botão direito do mouse Script.usql e, em seguida, selecione Enviar Script.

9. Verifique se a Conta do Google Analytics é aquela em que você deseja executar o trabalho e selecione Enviar. Os resultados do envio e o link do trabalho estão disponíveis na janela Data Lake Tools for Visual Studio Results quando o envio é concluído.

10. Aguarde até que o trabalho seja concluído com êxito. Se o trabalho falhou, é muito provável que esteja faltando o arquivo de origem. Consulte a seção Pré-requisitos deste tutorial. Para obter mais informações sobre solução de problemas, consulte Monitorar e solucionar problemas de trabalhos do Azure Data Lake Analytics.

    Quando o trabalho estiver concluído, você verá a seguinte tela:

    

11. Agora repita as etapas 7 a 10 para Script1.usql.

Para ver o resultado do trabalho

1. No Gerenciador de Servidores, expanda Azure, expanda Análise Data Lake, expanda sua conta do Data Lake Analytics, expanda Contas de Armazenamento, clique com o botão direito do mouse na conta padrão do Armazenamento Data Lake e selecione Explorer.
2. Clique duas vezes em Exemplos para abrir a pasta e, em seguida, clique duas vezes em Saídas.
3. Clique duas vezes em UnsuccessfulResponses.log.
4. Você também pode clicar duas vezes no ficheiro de saída na vista de gráfico da tarefa para aceder diretamente ao ficheiro de saída.

Próximos passos

Para começar a usar a Análise Data Lake usando diferentes ferramentas, consulte:

• Introdução à Análise Data Lake usando o portal do Azure
• Introdução à Análise Data Lake usando o Azure PowerShell
• Introdução à Análise Data Lake usando o SDK do .NET