Partilhar via


O que é o Azure Data Explorer?

O Azure Data Explorer é uma plataforma de análise de big data totalmente gerenciada e de alto desempenho que facilita a análise de grandes volumes de dados quase em tempo real. A caixa de ferramentas do Azure Data Explorer oferece uma solução completa para ingestão, consulta, visualização e gerenciamento de dados.

Ao analisar dados estruturados, semiestruturados e não estruturados em séries cronológicas e ao utilizar o Aprendizagem de Máquina, o Azure Data Explorer simplifica a extração de informações importantes, a identificação de padrões e tendências e a criação de modelos de previsão. O Azure Data Explorer usa um modelo relacional tradicional, organizando dados em tabelas com esquemas fortemente tipados. As tabelas são armazenadas em bancos de dados e um cluster pode gerenciar vários bancos de dados. O Azure Data Explorer é escalável, seguro, robusto e pronto para a empresa e é útil para análise de logs, análises de séries cronológicas, IoT e análises exploratórias de uso geral.

Os recursos do Azure Data Explorer são estendidos por outros serviços criados em sua linguagem de consulta: Kusto Query Language (KQL). Esses serviços incluem logs do Azure Monitor, Application Insights, Time Series Insights e Microsoft Defender for Endpoint.

Quando você deve usar o Azure Data Explorer?

Use as seguintes perguntas para ajudar a decidir se o Azure Data Explorer é adequado para seu caso de uso:

  • Análise interativa: A análise interativa faz parte da solução? Por exemplo, agregação, correlação ou deteção de anomalias.
  • Variedade, Velocidade, Volume: Seu esquema é diverso? Você precisa ingerir grandes quantidades de dados quase em tempo real?
  • Organização de dados: você deseja analisar dados brutos? Por exemplo, esquema de estrela não totalmente selecionado.
  • Simultaneidade de consulta: vários usuários ou processos usarão o Azure Data Explorer?
  • Build vs Buy: Você planeja personalizar sua plataforma de dados?

O Azure Data Explorer é ideal para habilitar recursos de análise interativa em dados brutos diversificados e de alta velocidade. Use a seguinte árvore de decisão para ajudá-lo a decidir se o Azure Data Explorer é adequado para você:

Esta imagem é uma imagem de fluxo de trabalho esquemática de uma árvore de decisão do Azure Data Explorer.

O que torna o Azure Data Explorer único?

Velocidade, variedade e volume de dados

Com o Azure Data Explorer, você pode ingerir terabytes de dados em minutos por meio da ingestão em fila ou da ingestão de streaming. Você pode consultar petabytes de dados, com resultados retornados em milissegundos a segundos. O Azure Data Explorer fornece alta velocidade (milhões de eventos por segundo), baixa latência (segundos) e ingestão de escala linear de dados brutos. Integrar os dados em diferentes formatos e estruturas, provenientes de vários fluxos de trabalho e fontes.

Linguagem de consulta amigável

Consulte o Azure Data Explorer com a Kusto Query Language (KQL), uma linguagem de código aberto inicialmente inventada pela equipe. A linguagem é simples de entender e aprender, e altamente produtiva. Você pode usar operadores simples e análises avançadas. O Azure Data Explorer também dá suporte ao T-SQL.

Análise avançada

Use o Azure Data Explorer para análise de séries temporais com um grande conjunto de funções, incluindo: adicionar e subtrair séries temporais, filtragem, regressão, deteção de sazonalidade, análise geoespacial, deteção de anomalias, varredura e previsão. As funções de séries temporais são otimizadas para processar milhares de séries temporais em segundos. A deteção de padrões é facilitada com plug-ins de cluster que podem diagnosticar anomalias e fazer análise de causa raiz. Você também pode estender os recursos do Azure Data Explorer incorporando código python em consultas KQL.

Assistente fácil de usar

A experiência get data torna o processo de ingestão de dados fácil, rápido e intuitivo. A interface do usuário da Web do Azure Data Explorer fornece uma experiência intuitiva e guiada que ajuda você a acelerar rapidamente para começar a ingerir dados, criar tabelas de banco de dados e mapear estruturas. Permite uma ingestão única ou contínua de várias fontes e em vários formatos de dados. Mapeamentos de tabela e esquema são sugeridos automaticamente e fáceis de modificar.

Visualização de dados versátil

A visualização de dados ajuda você a obter informações importantes. O Azure Data Explorer oferece visualização integrada e painéis prontos para uso, com suporte para vários gráficos e visualizações. Ele tem integração nativa com o Power BI, conectores nativos para Grafana, Kibana e Databricks, suporte ODBC para Tableau, Sisense, Qlik e muito mais.

Ingerir, processar e exportar automaticamente

O Azure Data Explorer dá suporte a funções armazenadas no lado do servidor, ingestão contínua e exportação contínua para o repositório do Azure Data Lake. Ele também suporta transformações de mapeamento de tempo de ingestão no lado do servidor, políticas de atualização e agregações agendadas pré-computadas com exibições materializadas.

Fluxo do Azure Data Explorer

O diagrama a seguir mostra os diferentes aspetos do trabalho com o Azure Data Explorer.

Fluxo do Azure Data Explorer.

De um modo geral, ao interagir com o Azure Data Explorer, você passará pelo seguinte fluxo de trabalho:

Observação

Você pode acessar seus recursos do Azure Data Explorer na interface do usuário da Web do Azure Data Explorer ou usando SDKs.

  1. Criar base de dados: Crie um cluster e, em seguida, crie um ou mais bancos de dados nesse cluster. Cada cluster do Azure Data Explorer pode armazenar até 10.000 bancos de dados e cada banco de dados até 10.000 tabelas. Os dados em cada tabela são armazenados em fragmentos de dados também chamados de "extensões". Todos os dados são automaticamente indexados e particionados com base no tempo de ingestão. Isso significa que você pode armazenar uma grande quantidade de dados variados e, devido à maneira como eles são armazenados, você tem acesso rápido para consultá-los. Guia de início rápido: criar um cluster e um banco de dados do Azure Data Explorer

  2. Dados de ingestão: Carregue dados em tabelas de banco de dados para que você possa executar consultas em relação a eles. O Azure Data Explorer dá suporte a vários métodos de ingestão, cada um com seus próprios cenários de destino. Esses métodos incluem ferramentas de ingestão, conectores e plug-ins para diversos serviços, pipelines gerenciados, ingestão programática usando SDKs e acesso direto à ingestão. Comece com a experiência de obtenção de dados.

  3. Banco de dados de consultas: O Azure Data Explorer usa a Kusto Query Language, que é uma linguagem de consulta expressiva, intuitiva e altamente produtiva. Ele oferece uma transição suave de simples one-liners para scripts complexos de processamento de dados e suporta a consulta de dados estruturados, semiestruturados e não estruturados (pesquisa de texto). Há uma grande variedade de operadores e funções de linguagem de consulta (agregação, filtragem, funções de séries temporais, funções geoespaciais, junções, uniões e muito mais) na linguagem. O KQL suporta consultas entre clusters e bancos de dados e é rico em recursos de uma perspetiva de análise (json, XML e muito mais). A linguagem também suporta nativamente análises avançadas.

    Use o aplicativo Web para executar, revisar e compartilhar consultas e resultados. Você também pode enviar consultas programaticamente (usando um SDK) ou para um ponto de extremidade da API REST. Se você estiver familiarizado com SQL, comece com a folha de truques SQL to Kusto e Guia de início rápido: consultar dados na interface do usuário da Web do Azure Data Explorer.

  4. Visualize os resultados: Use diferentes exibições visuais de seus dados nos Painéis nativos do Azure Data Explorer. Você também pode exibir seus resultados usando conectores para alguns dos principais serviços de visualização, como Power BI e Grafana. O Azure Data Explorer também tem suporte a conectores ODBC e JDBC para ferramentas como Tableau e Sisense.

Como fornecer feedback

Ficaríamos entusiasmados em ouvir seus comentários sobre o Azure Data Explorer e a Kusto Query Language em: