Salida de Azure Data Explorer desde Azure Stream Analytics
Puede usar Azure Data Explorer como salida en el análisis de grandes volúmenes de datos diversos desde cualquier origen de datos, como sitios web, aplicaciones y dispositivos de internet de las cosas (IoT). El Explorador de datos de Azure es un servicio de exploración de datos altamente escalable y rápido para datos de telemetría y registro. Le ayuda a administrar los numerosos flujos de datos emitidos por los softwares modernos para poder recopilar, almacenar y analizar los datos. Estos datos se usan para el diagnóstico, la supervisión, la creación de informes, el aprendizaje automático y las funcionalidades de análisis adicionales.
Azure Data Explorer admite varios métodos de ingesta, entre los que se incluyen los conectores a servicios comunes, como Azure Event Hubs, la ingesta mediante programación a través de los SDK, como .NET y Python, y el acceso directo al motor para fines de exploración. El Explorador de datos de Azure se integra con servicios de modelado y análisis para análisis adicionales y la visualización de datos.
Para obtener más información sobre Azure Data Explorer, consulte el artículo ¿Qué es Azure Data Explorer?.
Para obtener más información sobre cómo crear un clúster de Azure Data Explorer mediante Azure Portal, consulte Inicio rápido: creación de un clúster y una base de datos de Azure Data Explorer.
Nota
Azure Data Explorer de Azure Stream Analytics admite la salida a Azure Synapse Data Explorer. Para escribir en los clústeres de Azure Synapse Data Explorer, especifique la dirección URL del clúster en el panel de configuración de la salida de Azure Data Explorer en el trabajo de Azure Stream Analytics.
Configuración de salida
En la siguiente tabla se enumeran los nombres de propiedad y sus descripciones para crear una salida de Azure Data Explorer.
| Nombre de propiedad | Descripción |
|---|---|
| Alias de salida | Un nombre descriptivo usado en las consultas para dirigir la salida de la consulta a esta base de datos. |
| Subscription | La suscripción de Azure que desea usar para el clúster. |
| Clúster | Nombre único que identifica al clúster. El nombre de dominio <region>.kusto.windows.net se anexa al nombre de clúster que proporcione. El nombre solo puede contener letras minúsculas y números. Debe contener entre 4 y 22 caracteres. |
| Base de datos | Nombre de la base de datos a donde envía la salida. El nombre de la base de datos debe ser único dentro del clúster. |
| Autenticación | Una identidad administrada de Microsoft Entra ID, que permite al clúster acceder fácilmente a otros recursos protegidos de Microsoft Entra, como Azure Key Vault. La plataforma Azure administra la identidad y no es necesario que lleve a cabo el aprovisionamiento ni la rotación de los secretos. La configuración de identidad administrada solo se admite actualmente para permitir claves administradas por el cliente en el clúster. |
| Tabla | El nombre de la tabla donde se escribe la salida. El nombre de la tabla distingue mayúsculas de minúsculas. El esquema de esta tabla debe coincidir exactamente con el número y tipo de los campos que genera la salida del trabajo. |
Creación de particiones
La creación de particiones debe estar habilitada y se basa en la cláusula PARTITION BY de la consulta. Cuando se habilita la opción para heredar particiones, se siguen las particiones de entrada para las consultas que se pueden paralelizar totalmente.
Cuándo usar Azure Stream Analytics y Azure Data Explorer
Entre las características de Azure Stream Analytics se incluyen las siguientes:
- Motor de procesamiento de flujos: análisis de transmisión continuo y en tiempo real
- Basado en trabajos
- Ventana de búsqueda en retrospectiva de 1 milisegundo a 7 días para el análisis temporal en memoria y el procesamiento de flujos
- Ingesta de Azure Event Hubs y Azure IoT Hub con latencia de subsegundos
Entre las características de Azure Data Explorer se incluyen las siguientes:
- Motor analítico: análisis a petición e interactivo en tiempo real
- Ingesta de datos de transmisión en un almacén de datos persistente junto con funcionalidades de consulta
- Ingesta de datos de Event Hubs, IoT Hub, Azure Blob Storage, Azure Data Lake Storage, Kafka, Logstash, Spark y Azure Data Factory
- Latencia de 10 segundos a 5 minutos para cargas de trabajo de alto rendimiento
- Transformación sencilla de datos a través de una directiva de actualización durante la ingesta
Puede aumentar significativamente el ámbito del análisis en tiempo real mediante Azure Stream Analytics y Azure Data Explorer juntos. A continuación se muestran algunos escenarios:
- Stream Analytics identifica anomalías en tiempo real y Azure Data Explorer ayuda a determinar cómo y por qué se produjeron, para lo que usa la exploración interactiva.
- Stream Analytics deserializa los flujos de datos entrantes para su uso en Azure Data Explorer (por ejemplo, ingiere el formato Protobuf mediante un deserializador personalizado o formatos binarios personalizados).
- Stream Analytics puede agregar, filtrar, enriquecer y transformar los flujos de datos entrantes para su uso en Azure Data Explorer.
Otros escenarios y limitaciones
- El nombre de las columnas y el tipo de datos de la consulta SQL de Azure Stream Analytics y de la tabla de Azure Data Explorer deben coincidir. En la comparación se distinguen mayúsculas de minúsculas.
- Se omiten las columnas que existen en los clústeres de Azure Data Explorer, pero que faltan en Azure Stream Analytics. Las columnas que faltan en Azure Stream Analytics generan un error.
- El orden de las columnas de la consulta de Azure Stream Analytics no importa. El esquema de la tabla de Azure Data Explorer determina el orden.
- Azure Data Explorer tiene una directiva de agregación (procesamiento por lotes) para la ingesta de datos diseñada para optimizar dicho proceso. De manera predeterminada, la directiva está configurada en 5 minutos, 1000 elementos o 1 GB de datos, por lo que puede experimentar una latencia. Para reducir la latencia, habilite la ingesta de streaming en el clúster y, a continuación, en la tabla o base de datos siguiendo los pasos descritos en Configuración de la ingesta de streaming en el clúster de Azure Data Explorer. Para ver las opciones de agregación, consulte Directiva ingestaBatching.