Ingesta y transformación de datos personalizados en Microsoft Sentinel
Log Analytics de Azure Monitor actúa como plataforma detrás del área de trabajo de Microsoft Sentinel. De manera predeterminada, todos los registros ingeridos en Microsoft Sentinel se almacenan en Log Analytics. Desde Microsoft Sentinel, puede acceder a los registros almacenados y ejecutar consultas en lenguaje de consulta de Kusto (KQL) para detectar amenazas y supervisar la actividad en la red.
El proceso de ingesta de datos personalizado de Log Analytics proporciona un alto nivel de control sobre los datos que se ingieren. Usa reglas de recopilación de datos (DCR) para recopilar los datos y manipularlos, incluso antes de almacenarlos en el área de trabajo. Esto le permite filtrar y enriquecer las tablas estándar y crear tablas con gran capacidad de personalización para almacenar los datos de los orígenes que generan formatos de registro únicos.
Microsoft Sentinel proporciona dos herramientas para controlar este proceso:
La API de ingesta de registros permite enviar registros con formato personalizado desde cualquier origen de datos a un área de trabajo de Log Analytics y almacenarlos en determinadas tablas estándar concretas o en tablas con un formato personalizado que se creen para tal fin. Tiene control total sobre la creación de estas tablas personalizadas, puede llegar a especificar los tipos y nombres de columna. Cree DCR para definir, configurar y aplicar transformaciones a estos flujos de datos.
La transformación de recopilación de datos usa reglas de recopilación de datos para aplicar consultas KQL básicas a los registros estándar entrantes (y a determinados tipos de registros personalizados) antes de que se almacenen en el área de trabajo. Estas transformaciones pueden filtrar y no mostrar datos irrelevantes, enriquecer los datos existentes con análisis o datos externos, o enmascarar información confidencial o personal.
Estas dos herramientas se explicarán con más detalle a continuación.
Casos de uso y escenarios de ejemplo
Filtrado
La transformación en tiempo de ingesta proporciona la capacidad de filtrar datos irrelevantes (para que no se muestren) incluso antes de que se almacenen por primera vez en el área de trabajo.
Puede filtrar en el nivel de registro (fila), para lo que debe especificar los criterios sobre los registros que se deben incluir, o en el nivel de campo (columna), para lo que debe quitar el contenido de campos específicos. El filtrado de datos irrelevantes puede:
- Ayudar a reducir costos, ya que se reducen los requisitos de almacenamiento
- Mejorar el rendimiento, ya que se necesitan menos ajustes en tiempo de consulta
La transformación de datos en tiempo de ingesta admite escenarios con varias áreas de trabajo.
Normalización
La transformación en tiempo de ingesta también permite normalizar los registros cuando se ingieren en tablas integradas o normalizadas por el cliente con el modelo de información de seguridad avanzada (ASIM). El uso de la normalización en tiempo de ingesta mejora el rendimiento de las consultas normalizadas.
Para obtener más información, consulte Normalización del tiempo de ingesta.
Enriquecimiento y etiquetado
La transformación en tiempo de ingesta también permite mejorar el análisis mediante el enriquecimiento de los datos, para lo que se agregan columnas adicionales a la transformación de KQL configurada. Las columnas adicionales pueden incluir datos calculados o analizados de columnas existentes, o bien datos tomados de estructuras de datos creadas sobre la marcha.
Por ejemplo, podría agregar información adicional, como datos de RR. HH. externos, una descripción de eventos expandida o clasificaciones que dependen del usuario, la ubicación o el tipo de actividad.
Enmascaramiento
Las transformaciones en tiempo de ingesta también se pueden usar para enmascarar o quitar información personal. Por ejemplo, la transformación de datos se puede usar para ocultar todos los dígitos, menos los últimos, de un número de la seguridad social o un número de tarjeta de crédito, o se pueden reemplazar otros tipos de datos personales por datos sin sentido, texto estándar o datos ficticios. Enmascare la información personal en el momento de la ingesta para aumentar la seguridad en la red.
Flujo de ingesta de datos en Microsoft Sentinel
En la imagen siguiente se muestra el lugar en que la transformación de datos en tiempo de ingesta entra en el flujo de ingesta de datos en Microsoft Sentinel.
Microsoft Sentinel recopila en el área de trabajo de Log Analytics datos de varios orígenes.
- Los datos de los conectores de datos incorporados se procesan en Log Analytics mediante una combinación de flujos de trabajo codificados y transformaciones en tiempo de ingestión en el área de trabajo DCR. Estos datos se pueden almacenar en tablas estándar o en un conjunto específico de tablas personalizadas.
- Un DCR estándar procesa los datos ingeridos directamente en el punto de conexión de la API de ingesta de registros que pueden incluir una transformación en tiempo de ingesta. Estos datos se pueden almacenar en tablas estándar o personalizadas de cualquier tipo.
Compatibilidad con DCR en Microsoft Sentinel
En Log Analytics, las reglas de recopilación de datos (DCR) determinan el flujo de datos de los diferentes flujos de entrada. Un flujo de datos incluye: la secuencia de datos que se va a transformar (estándar o personalizada), el área de trabajo de destino, la transformación de KQL y la tabla de salida. En el caso de los flujos de entrada estándar, la tabla de salida es la misma que el flujo de entrada.
La compatibilidad con las reglas de recopilación de datos en Microsoft Sentinel incluye:
DCR estándar, que actualmente solo son compatibles con los conectores y flujos de trabajo basados en AMA mediante la API de ingesta de registros.
Cada flujo de trabajo de origen de los registros o conectores puede tener su propio DCR estándar dedicado, aunque también existe la posibilidad de que varios conectores o orígenes compartan un DCR estándar común.
DCR de transformación del área de trabajo, para aquellos flujos de trabajo que actualmente no admiten reglas de recopilación de datos estándar.
Una sola DCR de transformación de área de trabajo sirve a todos aquellos flujos de trabajo admitidos de un área de trabajo a los que las reglas de recopilación de datos estándar no hayan atendido. Un área de trabajo solo puede tener una DCR de transformación del área de trabajo, pero esa DCR contiene transformaciones independientes para cada flujo de entrada. Además, las reglas de recopilación de datos de transformación del área de trabajo solo se admiten para un conjunto específico de tablas.
La compatibilidad de Microsoft Sentinel con la transformación en tiempo de ingesta depende del tipo de conector de datos que se use. Para obtener información más detallada sobre los registros personalizados, la transformación en tiempo de ingesta y las reglas de recopilación de datos, consulte los artículos a los que llevan los vínculos de la sección Contenido relacionado al final de este artículo.
Compatibilidad de DCR con los conectores de datos de Microsoft Sentinel
En la tabla siguiente se describe la compatibilidad de DCR con los tipos de conectores de datos de Microsoft Sentinel:
| Tipo de conector de datos | Compatibilidad con DCR |
|---|---|
| Ingesta directa mediante la API de ingesta de registros | DCR estándar |
| Registros estándar de AMA, como: |
DCR estándar |
| Conexiones basadas en configuración de diagnóstico | DCR de transformación del área de trabajo, en función de las tablas de salida admitidas para conectores de datos concretos |
| Conectores de datos integrados de servicio a servicio, como: |
DCR de transformación del área de trabajo, en función de las tablas de salida admitidas para conectores de datos concretos |
| Conectores de datos integrados basados en API, como: |
DCR estándar |
| Conectores de datos integrados basados en API, como: |
No se admite actualmente. |
Compatibilidad con la transformación de datos para los conectores de datos personalizados
Si ha creado conectores de datos personalizados para Microsoft Sentinel, puede usar las DCR para configurar la forma en que se analizarán y almacenarán los datos de Log Analytics en el área de trabajo.
Actualmente solo se admiten las tablas siguientes para la ingesta de registros personalizada:
- WindowsEvent
- SecurityEvent
- CommonSecurityLog
- Syslog
- ASimAuditEventLogs
- ASimAuthenticationEventLogs
- ASimDnsActivityLogs
- ASimFileEventLogs
- ASimNetworkSessionLogs
- ASimWebSessionLogs
Para obtener más información, vea Tablas que admiten transformaciones en tiempo de ingesta.
Limitaciones
La transformación de datos en tiempo de ingesta tiene actualmente los siguientes problemas conocidos para los conectores de datos de Microsoft Sentinel:
Las transformaciones de datos que usan DCR de transformación del área de trabajo solo se admiten por tabla, no por conector.
No puede haber más de un DCR de transformación de área de trabajo para toda un área de trabajo. Dentro de ese DCR, cada tabla puede usar un flujo de entrada independiente con su propia transformación. La división de datos en varios destinos (áreas de trabajo de Log Analytics) con una DCR de transformación del área de trabajo no es posible. Los conectores de datos basados en AMA usan la configuración que se define en el DCR asociado para flujos y transformaciones de entrada y salida, y omiten el DCR de transformación del área de trabajo.
Las siguientes configuraciones se admiten solo a través de API:
DCR estándar para conectores basados en AMA, como Eventos de seguridad de Windows y Eventos reenviados de Windows.
DCR estándar para la ingesta de registros personalizada en una tabla estándar.
Las configuraciones de la transformación de datos pueden tardar hasta 60 minutos en aplicarse.
Sintaxis de KQL: no se admiten todos los operadores. Para más información, consulte las secciones sobre limitaciones de KQL y Características de KQL admitidas en la documentación de Azure Monitor.
Solo puede enviar registros desde un origen de datos específico a un área de trabajo. Para enviar datos de un único origen de datos a varias áreas de trabajo (destinos) con una DCR estándar, cree una DCR por área de trabajo.
Contenido relacionado
Para más información, vea:
- Transformación o personalización de datos en tiempo de ingesta en Microsoft Sentinel (versión preliminar)
- Conectores de datos de Microsoft Sentinel
- Búsqueda del conector de datos de Microsoft Sentinel
Para obtener información más detallada sobre la transformación en tiempo de ingesta, la API de registros personalizados y las reglas de recopilación de datos, consulte los siguientes artículos en la documentación de Azure Monitor: