Compartir vía

Transformación de datos mediante filtro y división en Microsoft Sentinel

A medida que los volúmenes de datos de seguridad siguen creciendo, las organizaciones se enfrentan al desafío de equilibrar la retención rentable de la telemetría que se usa para la inteligencia artificial, el cumplimiento y las investigaciones, a la vez que garantizan que solo se conservan los datos necesarios en los niveles de almacenamiento de alto rendimiento. Utilice transformaciones de filtrado y división de datos en Microsoft Sentinel para abordar este desafío modificando los datos durante la ingesta para optimizar su estrategia de retención de datos.

En este artículo se describe cómo configurar transformaciones de datos de filtrado y división sin necesidad de crear manualmente configuraciones de regla de recopilación de datos (DCR) personalizadas. Al adaptar la ingesta de datos, estas transformaciones mejoran el rendimiento y reducen el ruido.

Mediante el uso de transformaciones de datos, puede optimizar la canalización de datos de seguridad controlando qué datos se almacenan y en qué nivel. El uso de transformaciones de filtro y división proporciona las siguientes ventajas:

  • Optimización de costos: reduzca los costos de almacenamiento y procesamiento filtrando los datos de bajo valor que no contribuyen a la detección de amenazas. Dirija el tráfico de los datos a los que se accede con menos frecuencia al almacenamiento del lago de datos, a la vez que deja los datos de alta prioridad en la capa Análisis.

  • Mejora de la eficiencia de SOC: centre el centro de operaciones de seguridad (SOC) en eventos accionables y de alto valor. Al eliminar el ruido en el tiempo de ingesta, los analistas dedican menos tiempo a examinar registros irrelevantes y más tiempo investigando amenazas reales.

  • Rendimiento más rápido de las consultas: los conjuntos de datos más pequeños en el nivel de Análisis dan lugar a tiempos de ejecución de consultas más rápidos. Esta mejora hace que la búsqueda de amenazas, las investigaciones de incidentes y las reglas de análisis tengan mayor capacidad de respuesta.

  • Flexibilidad de cumplimiento y retención: realice una retención de los datos completa para las auditorías reglamentarias y el análisis forense en la capa del lago de datos al optimizar la capa de Análisis en cargas de trabajo operativas. Este enfoque satisface los requisitos de cumplimiento sin sacrificar el rendimiento.

  • Administración de datos escalable: a medida que crecen los volúmenes de datos de la organización, las transformaciones le ayudan a mantener el control sobre los costos y el rendimiento. Aplique directivas coherentes entre tablas para garantizar la administración de datos predecible.

Las transformaciones de filtro y división son los primeros pasos de un marco de transformación mayor que le permite evolucionar los datos para adaptarlos a sus necesidades. Para obtener más información sobre los conceptos de transformación de datos, consulte Ingesta y transformación de datos personalizados en Microsoft Sentinel.

Prerrequisitos

Antes de configurar reglas de transformación de filtro o división, compruebe los siguientes requisitos:

  • En el portal de Microsoft Defender con el control de acceso basado en roles unificado (RBAC), verifique los permisos Datos (administrar) en el grupo Operaciones de datos.

  • Para el área de trabajo de Microsoft Sentinel, necesita los siguientes permisos:

  • Rol colaborador de Log Analytics para proporcionar:

    • Microsoft.OperationalInsights/workspaces/write
    • Permisos de Microsoft.OperationalInsights/workspaces/tables/write para el área de trabajo de Log Analytics.

Tablas admitidas

Las transformaciones de filtro y división tienen requisitos de compatibilidad de tablas diferentes:

  • Filtrado: se admite en cualquier tabla que admita reglas de recopilación de datos (DCR).
  • División: se admite en cualquier tabla donde se permita usar la ingesta solo de Analytics, la ingesta solo de lago de datos y las reglas de recopilación de datos (DCR).

Para comprobar si las tablas de un conector admiten DCR, consulte Búsqueda del conector de datos de Microsoft Sentinel.

Transformaciones de filtro

Las transformaciones de filtro permiten reducir el ruido descartando los datos durante la ingesta que no son útiles para las investigaciones. Utiliza una regla de transformación de filtro para especificar una condición de KQL que determine qué datos filtrar, con los datos restantes enviados a la capa de análisis.

Use transformaciones de filtro cuando necesite:

  • Reducir ruido: optimice el trabajo del SOC dando prioridad a eventos críticos y excluyendo los registros rutinarios o de baja severidad, como los eventos permitidos del firewall.
  • Optimización de los costos: reduzca los costos de almacenamiento y procesamiento descartando los datos que no contribuyen a la detección de amenazas.
  • Mejorar el rendimiento: acelere las consultas y optimice el análisis al reducir el volumen de datos almacenados.

Considere el ejemplo siguiente de una transformación de filtro:

La empresa se basa en los registros de firewall para identificar anomalías. La mayoría de los registros de firewall son eventos "permitir" rutinarios con una gravedad baja que no contribuyen a la detección de amenazas. Para conservar solo eventos críticos como el tráfico bloqueado o de alta severidad, y filtrar registros de bajo valor, cree una regla de transformación de filtros con una condición KQL para enviar solo los datos de severidad media o alta que no sean eventos de tipo "permitir" al nivel de Analítica.

Transformaciones divididas

Las transformaciones de división permiten enrutar los datos entre el nivel de Análisis y el nivel de Lago de datos en función de las condiciones especificadas. Use una regla de transformación dividida para definir una expresión KQL que determine qué datos llegan a Analytics. Los datos que no coinciden con la expresión se enrutan solo a la capa del lago de datos.

Nota:

Al configurar una transformación de división de datos, los datos designados en la capa Análisis también se reflejan en la capa del lago de datos. Los datos que no coinciden con los criterios de Analytics van solo a la capa de Data lake. Esta configuración garantiza que todos los datos permanezcan disponibles en Data Lake con fines de retención y cumplimiento a largo plazo.

Use transformaciones divididas cuando necesite equilibrar el costo y el rendimiento mediante el enrutamiento de datos al nivel de almacenamiento adecuado:

  • Optimizar los costos de almacenamiento: Redirija los registros más antiguos o menos frecuentemente accedidos a la capa del lago de datos para un almacenamiento rentable a largo plazo.
  • Mantener el rendimiento: mantenga los registros recientes en el nivel analytics para realizar consultas más rápidas durante la búsqueda de amenazas activa.
  • Cumplir los requisitos de cumplimiento: conserve los registros históricos para las auditorías normativas y el análisis forense sin sacrificar la agilidad operativa.

Considere el ejemplo siguiente de una transformación dividida:

Su empresa ingiere millones de entradas de registro de firewall diariamente para la detección de amenazas y el cumplimiento normativo. El equipo de SOC necesita acceso en tiempo real a registros recientes para investigaciones activas, pero también debe conservar los registros históricos para las auditorías normativas. Cree una regla de transformación dividida para enrutar los datos en tiempo real al nivel de Análisis y los datos históricos al nivel de lago de datos.

Importante

Las transformaciones que cree en Microsoft Sentinel pueden entrar en conflicto con las transformaciones creadas en Azure Monitor mediante DCR. Por ejemplo, si ya se aplica un DCR a una tabla en la que se incluye todo excepto una determinada región, y se aplica un filtro que excluye solo esa región, no se ingiere ningún dato. Asegúrese de comprender y comprobar los efectos combinados de tener un DCR y una transformación aplicada a una tabla.

Configuración de reglas de transformación de filtro

Siga estos pasos para crear una regla de transformación de filtro:

  1. En el portal de Microsoft Defender, vaya a Microsoft Sentinel>Configuración>Tablas.

  2. Seleccione una tabla. En el panel lateral, seleccione Regla de filtro.

    Captura de pantalla que muestra las propiedades de la tabla en Microsoft Sentinel.

  3. En el panel lateral, escriba un nombre de regla.

  4. En el campo Condición , escriba una expresión KQL que designe los datos que se van a filtrar. La expresión KQL debe evaluarse como true para los datos que no desea ingerir.

  5. Establezca el modificador de estado de la regla en Activado para habilitar el filtro.

    Importante

    Los filtros eliminan los datos. Los datos que coinciden con la condición de filtro se descartan y no se ingieren en las capas de Análisis o del Lago de Datos. Asegúrese de que la expresión KQL captura con precisión los datos que desea excluir.

  6. Para agregar otra condición, seleccione Agregar condición y escriba una nueva expresión KQL para filtrar los datos. Se combinan varias condiciones con un OR lógico, por lo que los datos que coinciden con cualquiera de las condiciones se filtran.

  7. Seleccione Guardar para aplicar la regla.

  8. Compruebe que la regla de filtro se aplica comprobando la columna Reglas de transformación de la tabla. La columna muestra Filter cuando una regla de filtro está activa.

    Captura de pantalla que muestra la regla de filtro aplicada en la lista de tablas de Microsoft Sentinel.

Configurar una regla de transformación de división de datos

Siga estos pasos para crear una regla de transformación dividida:

  1. En el portal de Defender, vaya a Microsoft Sentinel>Configuración>Tablas.

  2. Seleccione una tabla y, a continuación, seleccione Dividir regla.

  3. En el panel lateral, escriba un nombre de regla.

  4. En el campo expresión KQL , escriba la expresión KQL que define los datos que se van a ingerir en el nivel de Análisis. Los datos que no coinciden con esta expresión se ingieren en la capa del lago de datos.

  5. Seleccione Guardar para aplicar la regla.

  6. Compruebe que la regla de división se aplica comprobando la columna Reglas de transformación de la tabla. La columna muestra Split cuando una regla de división está activa.

Nota:

Los datos divididos ingeridos en el nivel lago de datos entran en una tabla independiente con el mismo nombre que la tabla original, pero con un sufijo "_SPLT". Por ejemplo, si aplica una regla de división a la tabla "FirewallLogs", los datos enrutados a la capa del lago de datos se ingieren en una tabla "FirewallLogs_SPLT" independiente. Esta configuración le permite administrar las directivas de retención y acceso por separado para los niveles de Análisis y Lago de datos.

Captura de pantalla que muestra la regla de división aplicada en la lista de tablas de Microsoft Sentinel.

Configuración de la retención para tablas divididas

Después de crear una regla de división, configure las opciones de retención para cada nivel:

  1. Debajo de la tabla original, vea las tablas resultantes divididas para Analytics y Data Lake.

  2. Para configurar la retención, seleccione la tabla Analytics o Data lake.

  3. Seleccione Configuración de retención de datos.

  4. Configura el período de retención y guárdalo.

Como alternativa, seleccione la tabla original y configure la retención de Analytics y Data Lake en el cuadro de diálogo de configuración de retención de datos combinada.

Captura de pantalla que muestra la configuración de retención para las tablas divididas en Microsoft Sentinel.

Administrar reglas

Para administrar las reglas existentes, seleccione la tabla y, a continuación, seleccione Regla de división o Regla de filtro en función del tipo de regla que quiera administrar.

  • Para deshabilitar una regla, seleccione el modificador Estado de la regla para desactivar la regla y, a continuación, seleccione Guardar.
  • Para eliminar una regla, seleccione Eliminar.

Compruebe las reglas mediante la ejecución de consultas KQL para confirmar que los datos se ingieren correctamente y se enrutan a la capa correcta.

Limitaciones conocidas

Tenga en cuenta las siguientes limitaciones al usar transformaciones de filtro y división:

  • Visibilidad de la tabla XDR: las transformaciones de división y filtro aplicadas a las tablas XDR no aparecen en búsqueda avanzada durante los primeros 30 días de datos. Las transformaciones se aplican y una vez que los datos superan los primeros 30 días, se comportan normalmente en búsqueda avanzada. Los datos consultados desde Log Analytics o Microsoft Sentinel reflejan el ahorro de costos inmediatamente.

  • Retraso de propagación: las transformaciones pueden tardar hasta una hora en surtir efecto.

  • Compatibilidad con tablas: solo las tablas que admiten reglas de recopilación de datos (DCR) admiten transformaciones de división y filtro.

Contenido relacionado

  • Last updated on