Criar e executar um notebook com o Kqlmagic

Kqlmagic é um comando que estende os recursos do kernel de Python nos Notebooks do Azure Data Studio . Você pode combinar o Python e o KQL (linguagem de consulta Kusto) para consultar e visualizar dados usando a avançada biblioteca Plot.ly integrada com comandos render. O Kqlmagic traz o benefício dos notebooks, da análise de dados e dos recursos avançados de Python, tudo isso no mesmo lugar. As fontes de dados com suporte para Kqlmagic incluem o Azure Data Explorer , o Application Insights e os Logs do Azure Monitor .

Este artigo mostra como criar e executar um notebook no Azure Data Studio usando a extensão Kqlmagic para um cluster do Azure Data Explorer, um log do Application Insights e logs do Azure Monitor.

Pré-requisitos

• Azure Data Studio
• Python

Instalar e configurar Kqlmagic em um notebook

Todas as etapas nesta seção são executadas dentro de um notebook do Azure Data Studio.

1. Crie um notebook e altere o Kernel para Python 3.

   

2. Talvez seja solicitado que você atualize seus pacotes do Python quando seus pacotes precisarem ser atualizados.

   

3. Instale Kqlmagic:

   import sys
   !{sys.executable} -m pip install Kqlmagic --no-cache-dir --upgrade
   

   Verifique se ele está instalado:

   import sys
   !{sys.executable} -m pip list
   

   

4. Carregue Kqlmagic:

   %reload_ext Kqlmagic
   

   Observação

   Se essa etapa falhar, feche o arquivo e abra-o novamente.

   

5. Você pode testar se Kqlmagic foi carregado corretamente navegando pela documentação de ajuda ou verificando a versão.

   %kql --help "help"
   

   Observação

   Se Samples@help solicitar uma senha, deixe-a em branco e pressione Enter.

   

   Para ver qual versão de Kqlmagic está instalada, execute o comando a seguir.

   %kql --version
   

Kqlmagic com um cluster do Azure Data Explorer

Esta seção explica como executar a análise de dados usando Kqlmagic com um cluster do Azure Data Explorer.

Carregar e autenticar Kqlmagic para o Azure Data Explorer

Observação

Sempre que criar um notebook no Azure Data Studio, você precisará carregar a extensão Kqlmagic.

1. Verifique se o Kernel está definido como Python3.

   

2. Carregue Kqlmagic:

   %reload_ext Kqlmagic
   

   

3. Conectar-se ao cluster e autenticar:

   %kql azureDataExplorer://code;cluster='help';database='Samples'
   

   Observação

   Se estiver usando seu próprio cluster ADX, você deverá incluir a região nas cadeias de conexão da seguinte maneira:

   %kql azuredataexplorer://code;cluster='mycluster.westus';database='mykustodb' Você usa as credenciais do dispositivo para se autenticar. Copie o código da saída e selecione autenticar, que abre um navegador no qual você precisa colar o código. Após autenticar-se com êxito, você pode voltar para o Azure Data Studio para continuar com o restante do script.

   

Consultar e visualizar no Azure Data Explorer

Consulte de dados usando o operador renderizar e visualize dados usando a biblioteca plotly. Essa consulta e visualização fornece uma experiência integrada que usa um KQL nativo.

1. Analise os 10 principais eventos de tempestade por estado e frequência:

   %kql StormEvents | summarize count() by State | sort by count_ | limit 10
   

   Se estiver familiarizado com o KQL (Linguagem de Consulta Kusto), digite a consulta após %kql.

   

2. Visualize um gráfico de linha do tempo:

   %kql StormEvents \
   | summarize event_count=count() by bin(StartTime, 1d) \
   | render timechart title= 'Daily Storm Events'
   

   

3. Exemplo de Consulta Multilinha usando %%kql.

   %%kql
   StormEvents
   | summarize count() by State
   | sort by count_
   | limit 10
   | render columnchart title='Top 10 States by Storm Event count'
   

   

Kqlmagic com Application Insights

Carregar e autenticar Kqlmagic para o Application Insights

1. Verifique se o Kernel está definido como Python3.

   

2. Carregue Kqlmagic:

   %reload_ext Kqlmagic
   

   

   Observação

   Sempre que criar um notebook no Azure Data Studio, você precisará carregar a extensão Kqlmagic.

3. Conectar e autenticar.

   Primeiro será necessário gerar uma chave de API para seu recurso do Application Insights. Em seguida, use a ID do aplicativo e a chave de API para se conectar ao Application Insights do notebook:

   %kql appinsights://appid='DEMO_APP';appkey='DEMO_KEY'
   

Consultar e visualizar no Application Insights

Consulte de dados usando o operador renderizar e visualize dados usando a biblioteca plotly. Essa consulta e visualização fornece uma experiência integrada que usa um KQL nativo.

1. Mostrar as Exibições de Página:

   %%kql
   pageViews
   | limit 10
   

   

   Observação

   Use o mouse para arrastar em uma área do gráfico para ampliar as datas específicas.

2. Mostrar as exibições de página em um gráfico de linha do tempo:

   %%kql
   pageViews
   | summarize event_count=count() by name, bin(timestamp, 1d)
   | render timechart title= 'Daily Page Views'
   

   

Kqlmagic com logs do Azure Monitor

Carregar e autenticar Kqlmagic para logs do Azure Monitor

1. Verifique se o Kernel está definido como Python3.

   

2. Carregue Kqlmagic:

   %reload_ext Kqlmagic
   

   

   Observação

   Sempre que criar um notebook no Azure Data Studio, você precisará carregar a extensão Kqlmagic.

3. Conectar-se e autenticar:

   %kql loganalytics://workspace='DEMO_WORKSPACE';appkey='DEMO_KEY';alias='myworkspace'
   

   

Consultar e visualizar nos Logs do Azure Monitor

Consulte de dados usando o operador renderizar e visualize dados usando a biblioteca plotly. Essa consulta e visualização fornece uma experiência integrada que usa um KQL nativo.

1. Exiba um gráfico de linha do tempo:

   %%kql
   KubeNodeInventory
   | summarize event_count=count() by Status, bin(TimeGenerated, 1d)
   | render timechart title= 'Daily Kubernetes Nodes'
   

   

Próximas etapas

Saiba mais sobre os notebooks e Kqlmagic:

• Extensão do Kusto (KQL) para o Azure Data Studio (versão prévia)
• Criar e executar um notebook do Kusto (KQL) (versão prévia)
• Usar um Jupyter Notebook e a extensão Kqlmagic para analisar dados no Azure Data Explorer
• Extensão (Magic) para o Jupyter Notebook e o Jupyter Lab, que habilita a experiência de notebook trabalhando com o uso de dados do Application Insights do Kusto e do Log Analytics.
• Kqlmagic
• Como usar notebooks no Azure Data Studio