Saída do Azure Data Explorer do Azure Stream Analytics
Você pode usar o Azure Data Explorer como uma saída para analisar grandes volumes de dados diversos de qualquer fonte de dados, como sites, aplicativos e dispositivos de Internet das Coisas (IoT). O Azure Data Explorer é um serviço de exploração de dados rápido e altamente dimensionável para dados telemétricos e de registo. Ele ajuda você a lidar com os muitos fluxos de dados que o software moderno emite, para que você possa coletar, armazenar e analisar dados. Estes dados são utilizados para diagnóstico, monitorização, relatórios, aprendizagem automática e capacidades de análise adicionais.
O Azure Data Explorer dá suporte a vários métodos de ingestão, incluindo conectores a serviços comuns como Hubs de Eventos do Azure, ingestão programática por meio de SDKs como .NET e Python e acesso direto ao mecanismo para fins de exploração. O Azure Data Explorer integra-se nos serviços de análise e modelação para análises adicionais e visualização de dados.
Para obter mais informações sobre o Azure Data Explorer, consulte O que é o Azure Data Explorer?.
Para saber mais sobre como criar um cluster do Azure Data Explorer usando o portal do Azure, consulte Guia de início rápido: criar um cluster e banco de dados do Azure Data Explorer.
Nota
O Azure Data Explorer do Azure Stream Analytics dá suporte à saída para o Azure Synapse Data Explorer. Para gravar em seus clusters no Azure Synapse Data Explorer, especifique a URL do cluster no painel de configuração para a saída do Azure Data Explorer em seu trabalho do Azure Stream Analytics.
Configuração de saída
A tabela a seguir lista os nomes de propriedade e suas descrições para criar uma saída do Azure Data Explorer.
| Property name | Descrição |
|---|---|
| Alias de saída | Um nome amigável que é usado em consultas para direcionar a saída da consulta para esse banco de dados. |
| Subscrição | A assinatura do Azure que você deseja usar para seu cluster. |
| Cluster | Um nome exclusivo que identifica o cluster. O nome de domínio region.kusto.windows.net> é anexado ao nome <do cluster fornecido. O nome pode conter apenas letras minúsculas e números. Deve conter de 4 a 22 caracteres. |
| Base de dados | O nome do banco de dados para onde você está enviando a saída. O nome da base de dados tem de ser exclusivo dentro do cluster. |
| Autenticação | Uma identidade gerenciada do Microsoft Entra ID, que permite que seu cluster acesse facilmente outros recursos protegidos pelo Microsoft Entra, como o Azure Key Vault. A identidade é gerida pela plataforma do Azure e não precisa que o utilizador aprovisione ou rode nenhuns segredos. Atualmente, a configuração de identidade gerenciada é suportada apenas para habilitar chaves gerenciadas pelo cliente para seu cluster. |
| Table | O nome da tabela onde a saída é gravada. O nome da tabela diferencia maiúsculas de minúsculas. O esquema desta tabela deve corresponder exatamente ao número de campos e seus tipos gerados pela saída do trabalho. |
Criação de partições
O particionamento precisa ser habilitado e é baseado PARTITION BY na cláusula na consulta. Quando a opção Herdar particionamento está ativada, ela segue o particionamento de entrada para consultas totalmente paralelizáveis.
Quando usar o Azure Stream Analytics e o Azure Data Explorer
As características do Azure Stream Analytics incluem:
- Motor de processamento de fluxos: análise contínua e em tempo real de streaming
- Com base no emprego
- Janela de retrospetiva de 1 milissegundo a 7 dias para análise temporal na memória e processamento de fluxo
- Ingestão de Hubs de Eventos do Azure e Hub IoT do Azure com latência de subsegundo
As características do Azure Data Explorer incluem:
- Motor analítico: análise interativa em tempo real a pedido
- Streaming de ingestão de dados em um armazenamento de dados persistente, juntamente com recursos de consulta
- Ingestão de dados de Hubs de Eventos, Hub IoT, Armazenamento de Blobs do Azure, Armazenamento do Azure Data Lake, Kafka, Logstash, Spark e Azure Data Factory
- Latência de 10 segundos a 5 minutos para cargas de trabalho de alto rendimento
- Transformação de dados simples através de uma política de atualização durante a ingestão
Você pode aumentar significativamente o escopo da análise em tempo real usando o Azure Stream Analytics e o Azure Data Explorer juntos. Aqui estão alguns cenários:
- O Stream Analytics identifica anomalias em tempo real e o Azure Data Explorer ajuda a determinar como e por que elas ocorreram por meio da exploração interativa.
- O Stream Analytics desserializa fluxos de dados de entrada para uso no Azure Data Explorer (por exemplo, ingerir o formato Protobuf usando um desserializador personalizado ou formatos binários personalizados).
- O Stream Analytics pode agregar, filtrar, enriquecer e transformar fluxos de dados de entrada para uso no Azure Data Explorer.
Outros cenários e limitações
- O nome das colunas e o tipo de dados devem corresponder entre a consulta SQL do Azure Stream Analytics e a tabela do Azure Data Explorer. A comparação diferencia maiúsculas de minúsculas.
- As colunas que existem em seus clusters do Azure Data Explorer, mas estão ausentes no Azure Stream Analytics são ignoradas. As colunas que estão faltando no Azure Stream Analytics geram um erro.
- A ordem das colunas na consulta do Azure Stream Analytics não importa. O esquema da tabela do Azure Data Explorer determina a ordem.
- O Azure Data Explorer tem uma política de agregação (loteamento) para ingestão de dados projetada para otimizar o processo de ingestão. A política é configurada para 5 minutos, 1.000 itens ou 1 GB de dados por padrão, portanto, você pode experimentar uma latência. Para reduzir a latência, habilite a ingestão de streaming em seu cluster e, em seguida, tabela ou banco de dados seguindo as etapas em Configurar ingestão de streaming em seu cluster do Azure Data Explorer. Para opções de agregação, consulte Política de IngestionBatching.