Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Importante
O Azure Synapse Analytics Data Explorer (versão prévia) será desativado em 7 de outubro de 2025. Após essa data, as cargas de trabalho em execução no Synapse Data Explorer serão excluídas e os dados do aplicativo associado serão perdidos. É altamente recomendável migrar para o Eventhouse no Microsoft Fabric.
O programa CMF (Microsoft Cloud Migration Factory) foi projetado para ajudar os clientes na migração para o Fabric. O programa oferece recursos práticos de teclado sem custo para o cliente. Esses recursos são atribuídos por um período de 6 a 8 semanas, com um escopo predefinido e acordado. As nomeações de clientes são aceitas da equipe de conta da Microsoft ou diretamente enviando uma solicitação de ajuda à equipe do CMF.
O Azure Synapse Data Explorer proporciona aos clientes uma experiência de consulta interativa para desbloquear insights dos dados telemétricos e de log. Para complementar os mecanismos de runtime de análise do SQL e do Apache Spark, o runtime de análise do Data Explorer é otimizado para uma análise de log eficiente usando a tecnologia de indexação avançada para indexar automaticamente os dados de texto livre e semiestruturados encontrados normalmente nos dados telemétricos.
Para saber mais, confira o seguinte vídeo:
O que torna o Azure Synapse Data Explorer exclusivo?
Fácil ingestão: o Data Explorer oferece integrações internas para ingestão de dados de alta taxa de transferência sem código/de baixo código e dados de cache de fontes em tempo real. Os dados podem ser ingeridos de fontes como Hubs de Eventos do Azure, Kafka, Azure Data Lake, agentes de software livre, como Fluentd/Fluent Bit, e uma ampla variedade de fontes de dados locais e de nuvem.
Sem modelagem de dados complexa – com o Data Explorer, não há necessidade de criar modelos de dados complexos e não há necessidade de scripts complexos para transformar dados antes que eles sejam consumidos.
Sem manutenção de índice – não há necessidade de tarefas de manutenção otimizar os dados para o desempenho da consulta e não há necessidade de manutenção do índice. Com o Data Explorer, todos os dados brutos estão disponíveis imediatamente, permitindo que você execute consultas de alto desempenho e alta concorrência em seus dados de streaming e dados persistentes. Você pode usar essas consultas para criar dashboards e alertas quase em tempo real e conectar dados de análise operacional com o restante da plataforma de análise de dados.
Democratizando a análise de dados – O Data Explorer democratiza o autoatendimento, a análise de Big Data com a intuitiva KQL (Linguagem de Consulta Kusto) que fornece a expressividade e o poder do SQL com a simplicidade do Excel. O KQL é altamente otimizado para explorar os dados de série temporal e de telemetria bruta, aproveitando a melhor tecnologia de indexação de texto do Data Explorer para uma pesquisa eficiente de texto livre e regex, além de recursos abrangentes de análise para consultar dados de texto/rastreamentos e dados semiestruturados JSON, incluindo matrizes e estruturas aninhadas. O KQL oferece suporte avançado para séries temporais, permitindo criar, manipular e analisar múltiplas séries temporais, incluindo a execução de Python integrada ao mecanismo para pontuação de modelos.
Tecnologia comprovada em escala petabyte – o Data Explorer é um sistema distribuído com recursos de computação e armazenamento que pode ser dimensionado de forma independente, habilitando a análise em gigabytes ou petabytes de dados.
Integrado – O Azure Synapse Analytics fornece interoperabilidade entre dados entre o Data Explorer, o Apache Spark e os mecanismos SQL, capacitando engenheiros de dados, cientistas de dados e analistas de dados a acessar e colaborar com facilidade e segurança nos mesmos dados no data lake.
Quando usar o Azure Synapse Data Explorer?
Use o Data Explorer como plataforma de dados para criar soluções de análise de log e análise de IoT quase em tempo real para:
Consolidar e correlacionar os dados de eventos e de logs entre as fontes de dados locais, de nuvem e de terceiros.
Acelere sua jornada de Operações de IA (reconhecimento de padrões, detecção de anomalias, previsão e muito mais).
Substituir soluções de pesquisa de log baseadas em infraestrutura para poupar custos e aumentar a produtividade.
Crie soluções de análise de IoT para seus dados de IoT.
Crie soluções SaaS de análise para oferecer serviços aos seus clientes internos e externos.
Arquitetura do pool do Data Explorer
Os pools do Data Explorer implementam uma arquitetura de expansão separando os recursos de computação e armazenamento. Isso permite que você escale cada recurso de forma independente e, por exemplo, execute várias computações somente leitura nos mesmos dados. Os pools do Data Explorer consistem em um conjunto de recursos de computação executando o mecanismo responsável pela indexação automática, compactação, cache e serviço de consultas distribuídas. Eles também têm um segundo conjunto de recursos de computação executando o serviço de gerenciamento de dados responsável por tarefas de sistema em segundo plano e ingestão de dados gerenciada e em fila. Todos os dados são mantidos em contas de armazenamento de blobs gerenciados usando um formato columnar compactado.
Os pools do Data Explorer dão suporte a um ecossistema avançado para ingerir dados usando conectores, SDKs, APIs REST e outros recursos gerenciados. Ele oferece várias maneiras de consumir dados para consultas ad hoc, relatórios, dashboards, alertas, APIs REST e SDKs.
Há muitos recursos exclusivos que fazem do Data Explore o melhor mecanismo analítico para análise de logs e séries temporais no Azure.
As seções a seguir realçam os principais diferenciadores.
A indexação de dados semiestruturados e de texto livre permite consultas quase em tempo real de alto desempenho e altamente simultâneas.
O Data Explorer indexa dados semiestruturados (JSON) e dados não estruturados (texto livre), o que faz com que as consultas em execução sejam bem executadas nesse tipo de dados. Por padrão, cada campo é indexado durante a ingestão de dados com a opção de usar uma política de codificação de baixo nível para ajustar ou desabilitar o índice para campos específicos. O escopo do índice é um único fragmento de dados.
A implementação do índice depende do tipo do campo, da seguinte maneira:
| Tipo de Field | Implementação de indexação |
|---|---|
| Corda | O mecanismo cria um índice de termos invertido para valores da coluna de texto. Cada valor de cadeia de caracteres é analisado e dividido em termos normalizados e uma lista ordenada de posições lógicas, contendo ordinais de registro, é registrada para cada termo. A lista classificada resultante de termos e suas posições associadas é armazenada como uma árvore B imutável. |
|
Numérica Data e hora TimeSpan |
O mecanismo cria um índice de encaminhamento simples baseado em intervalos. O índice registra os valores mínimo/máximo para cada bloco, para um grupo de blocos e para toda a coluna dentro do fragmento de dados. |
| Dinâmico | O processo de ingestão enumera todos os elementos "atômicos" dentro do valor dinâmico, como nomes de propriedade, valores e elementos de matriz, e os encaminha para o construtor de índices. Os campos dinâmicos têm o mesmo índice de termo invertido que os campos de cadeia de caracteres. |
Esses recursos eficientes de indexação permitem que o Data Explore disponibilize os dados quase em tempo real para consultas de alto desempenho e alta simultaneidade. O sistema otimiza automaticamente os fragmentos de dados para aumentar ainda mais o desempenho.
Linguagem de Consulta da Kusto
O KQL tem uma comunidade grande e crescente com a rápida adoção do Azure Monitor Log Analytics e Application Insights, Microsoft Sentinel, Azure Data Explorer e outras ofertas da Microsoft. O idioma é bem projetado, com uma sintaxe fácil de ler, e fornece uma transição suave de consultas simples de linha única para consultas de processamento de dados mais complexas. Isso permite que o Data Explorer forneça suporte avançado ao Intellisense e um conjunto avançado de constructos de linguagem e recursos internos para agregações, séries temporais e análise de usuário que não estão disponíveis no SQL para exploração rápida de dados de telemetria.