O que é o Azure Data Explorer?

  • Artigo

O Azure Data Explorer é uma plataforma de análise de macrodados totalmente gerida, de elevado desempenho e que facilita a análise de grandes volumes de dados quase em tempo real. A caixa de ferramentas do Azure Data Explorer fornece-lhe uma solução ponto a ponto para ingestão de dados, consulta, visualização e gestão.

Ao analisar dados estruturados, semiestruturados e não estruturados em séries temporais e ao utilizar o Machine Learning, o Azure Data Explorer facilita a extração de informações-chave, padrões e tendências pontuais e a criação de modelos de previsão. O Azure Data Explorer utiliza um modelo relacional tradicional, organizando dados em tabelas com esquemas com tipos fortes. As tabelas são armazenadas em bases de dados e um cluster pode gerir várias bases de dados. O Azure Data Explorer é dimensionável, seguro, robusto e pronto para empresas e é útil para análise de registos, análise de séries de tempo, IoT e análise exploratória para fins gerais.

As capacidades do Azure Data Explorer são expandidas por outros serviços criados com base na respetiva linguagem de consulta: Linguagem de Pesquisa Kusto (KQL). Estes serviços incluem registos do Azure Monitor, Application Insights, Time Series Insights e Microsoft Defender para Endpoint.

Quando deve utilizar o Azure Data Explorer?

Utilize as seguintes perguntas para ajudar a decidir se o Azure Data Explorer é adequado para o seu caso de utilização:

  • Análise interativa: a análise interativa faz parte da solução? Por exemplo, agregação, correlação ou deteção de anomalias.
  • Variedade, Velocidade, Volume: o seu esquema é diversificado? Precisa de ingerir grandes quantidades de dados quase em tempo real?
  • Organização de dados: pretende analisar dados não processados? Por exemplo, não está totalmente organizado star esquema.
  • Simultaneidade das consultas: vários utilizadores ou processos utilizarão o Azure Data Explorer?
  • Criar vs Comprar: planeia personalizar a sua plataforma de dados?

O Azure Data Explorer é ideal para permitir capacidades de análise interativa através de dados não processados de alta velocidade e diversos. Utilize a seguinte árvore de decisões para o ajudar a decidir se o Azure Data Explorer é adequado para si:

Esta imagem é uma imagem de fluxo de trabalho esquemático de uma árvore de decisões Data Explorer do Azure.

O que torna o Azure Data Explorer único?

Velocidade, variedade e volume de dados

Com o Azure Data Explorer, pode ingerir terabytes de dados em minutos através da ingestão em fila ou da ingestão de transmissão em fluxo. Pode consultar petabytes de dados, com resultados devolvidos em milissegundos a segundos. O Azure Data Explorer fornece alta velocidade (milhões de eventos por segundo), baixa latência (segundos) e ingestão linear de dados não processados. Ingerir os seus dados em diferentes formatos e estruturas, provenientes de vários pipelines e origens.

Linguagem de consulta amigável

Consulte o Azure Data Explorer com o Linguagem de Pesquisa Kusto (KQL), uma linguagem open source inicialmente inventada pela equipa. A linguagem é simples de compreender, aprender e altamente produtiva. Pode utilizar operadores simples e análise avançada. O Azure Data Explorer também suporta T-SQL.

Análise avançada

Utilize o Azure Data Explorer para análise de série temporal com um grande conjunto de funções, incluindo: adicionar e subtrair séries temporais, filtrar, regressão, deteção de sazonalidade, análise geoespacial, deteção de anomalias, análise e previsão. As funções de série temporal estão otimizadas para processar milhares de séries de tempo em segundos. A deteção de padrões é facilitada com plug-ins de cluster que podem diagnosticar anomalias e fazer análises da causa raiz. Também pode expandir as capacidades do Azure Data Explorer ao incorporar código Python em consultas KQL.

Assistente de fácil utilização

O assistente de ingestão torna o processo de ingestão de dados fácil, rápido e intuitivo. A IU web do Azure Data Explorer fornece uma experiência intuitiva e orientada que o ajuda a acelerar rapidamente a ingestão de dados, a criação de tabelas de bases de dados e estruturas de mapeamento. Permite uma ingestão única ou contínua de várias origens e em vários formatos de dados. Os mapeamentos de tabelas e o esquema são sugeridos automaticamente e fáceis de modificar.

Visualização de dados versátil

A visualização de dados ajuda-o a obter informações importantes. O Azure Data Explorer oferece visualização incorporada e dashboards fora da caixa, com suporte para vários gráficos e visualizações. Tem integração nativa com o Power BI, conectores nativos do Grafana, Kibana e Databricks, suporte ODBC para Tableau, Sisense, Qlik e muito mais.

Ingerir, processar e exportar automaticamente

O Azure Data Explorer suporta funções armazenadas do lado do servidor, ingestão contínua e exportação contínua para o Azure Data Lake Store. Também suporta transformações de mapeamento de tempo de ingestão no lado do servidor, políticas de atualização e agregações agendadas pré-compiladas com vistas materializadas.

Fluxo do Azure Data Explorer

O diagrama seguinte mostra os diferentes aspetos do trabalho no Azure Data Explorer.

Fluxo de Data Explorer do Azure.

Em termos gerais, quando interagir com o Azure Data Explorer, irá percorrer o seguinte fluxo de trabalho:

Nota

Pode aceder aos recursos do Azure Data Explorer na IU web do Azure Data Explorer ou através de SDKs.

  1. Criar base de dados: crie um cluster e, em seguida, crie uma ou mais bases de dados nesse cluster. Cada cluster do Azure Data Explorer pode conter até 10 000 bases de dados e cada base de dados até 10 000 tabelas. Os dados em cada tabela são armazenados em partições horizontais de dados também denominadas "extensões". Todos os dados são indexados e particionados automaticamente com base no tempo de ingestão. Isto significa que pode armazenar muitos dados variados e, devido à forma como são armazenados, obtém acesso rápido à consulta. Início Rápido: criar um cluster e uma base de dados do Azure Data Explorer

  2. Ingerir dados: carregue dados para tabelas de base de dados, de modo a poder executar consultas nelas. O Azure Data Explorer suporta vários métodos de ingestão, cada um com os seus próprios cenários de destino. Estes métodos incluem ferramentas de ingestão, conectores e plug-ins para diversos serviços, pipelines geridos, ingestão programática com SDKs e acesso direto à ingestão. Introdução ao assistente de ingestão.

  3. Base de dados de consultas: O Azure Data Explorer utiliza o Linguagem de Pesquisa Kusto, que é uma linguagem de consulta expressiva, intuitiva e altamente produtiva. Oferece uma transição suave de liners simples para scripts de processamento de dados complexos e suporta a consulta de dados estruturados, semiestruturados e não estruturados (pesquisa de texto). Existe uma grande variedade de operadores e funções de linguagem de consulta (agregação, filtragem, funções de série temporal, funções geoespaciais, associações, uniões e muito mais) na linguagem. A KQL suporta consultas entre clusters e várias bases de dados e é rica em funcionalidades de uma perspetiva de análise (json, XML e muito mais). A linguagem também suporta nativamente análises avançadas.

    Utilize a aplicação Web para executar, rever e partilhar consultas e resultados. Também pode enviar consultas através de programação (com um SDK) ou para um ponto final da API REST. Se estiver familiarizado com o SQL, comece a utilizar a folha de truques e dicas do SQL para Kusto. Início Rápido: Consultar dados na IU da Web do Azure Data Explorer

  4. Visualizar resultados: Utilize diferentes visualizações visuais dos seus dados nos Dashboards de Data Explorer do Azure nativos. Também pode apresentar os seus resultados através de conectores para alguns dos principais serviços de visualização, como o Power BI e o Grafana. O Azure Data Explorer também tem suporte de conector ODBC e JDBC para ferramentas como o Tableau e o Sisense.

Como fornecer comentários

Gostaríamos de ouvir o seu feedback sobre o Azure Data Explorer e o Linguagem de Pesquisa Kusto em:

Conteúdo relacionado