Ingesta y transformación de datos personalizados en Microsoft Sentinel

Azure Monitor Logs actúa como plataforma de datos para Microsoft Sentinel. Todos los registros ingeridos en Microsoft Sentinel se almacenan en un área de trabajo de Log Analytics y las consultas de registro escritas en Lenguaje de consulta Kusto (KQL) se usan para detectar amenazas y supervisar la actividad de red.

Log Analytics proporciona un alto nivel de control sobre los datos que se ingieren en el área de trabajo con reglas personalizadas de ingesta de datos y recopilación de datos (DCR). Los DCR permiten recopilar y manipular los datos antes de almacenarlos en el área de trabajo. Los DCR dan formato y envían datos a tablas estándar de Log Analytics y tablas personalizables para orígenes de datos que generan formatos de registro únicos.

Las transformaciones de filtro y división se pueden aplicar a los datos en el momento de la ingesta para reducir el ruido y enrutar los datos al nivel de almacenamiento adecuado. Estas transformaciones no requieren que cree una DCR y se definen en la página de administración de tablas del Microsoft Sentinel en el portal de Defender. Para obtener más información, vea Filtrar y dividir transformaciones en Microsoft Sentinel.

herramientas de Azure Monitor para la ingesta de datos personalizados en Microsoft Sentinel

Microsoft Sentinel usa las siguientes herramientas de supervisión de Azure para controlar la ingesta de datos personalizados:

• Las transformaciones se definen en DCR y aplican consultas KQL a los datos entrantes antes de almacenarse en el área de trabajo. Estas transformaciones pueden filtrar datos irrelevantes, enriquecer los datos existentes con datos de análisis o externos, o enmascarar información confidencial o personal.

• La API de ingesta de registros le permite enviar registros de formato personalizado desde cualquier origen de datos al área de trabajo de Log Analytics y almacenarlos en determinadas tablas estándar o en tablas con formato personalizado que cree. Tiene control total sobre la creación de estas tablas personalizadas, hasta especificar los nombres y tipos de columna. La API usa DCR para definir, configurar y aplicar transformaciones a estos flujos de datos.

Nota:

Si Microsoft Sentinel está habilitado para el espacio de trabajo de Log Analytics, las transformaciones en tablas Analytics no estarán sujetas al cargo de filtrado de Azure Monitor, independientemente de cuántos datos filtre la transformación. Esta exención no se extiende a las tablas Basic, que incurren en el cargo de filtrado cuando una transformación pierde más de 50% de los datos entrantes. Las transformaciones en Microsoft Sentinel tienen las mismas limitaciones que Azure Monitor. Para obtener más información, consulte Limitaciones y consideraciones.

Compatibilidad con DCR en Microsoft Sentinel

Las transformaciones en tiempo de ingesta se definen en reglas de recopilación de datos (DCR), que controlan el flujo de datos en Azure Monitor. Los DCR se usan en los conectores de Sentinel basados en AMA y en los flujos de trabajo que usan la API de ingesta de registros. Cada DCR contiene la configuración de un escenario de recopilación de datos determinado y varios conectores o orígenes pueden compartir una sola DCR.

Las DCR de transformación del espacio de trabajo admiten flujos de trabajo que, de otro modo, no usan DCR. Las DCR de transformación del área de trabajo contienen transformaciones para cualquier tabla admitida y se aplican a todo el tráfico enviado a dichas tablas.

Para más información, vea:

• Transformaciones de recopilación de datos en Azure Monitor
• API de ingesta de registros en los registros de Azure Monitor
• Reglas de recopilación de datos en Azure Monitor

Casos de uso y escenarios de ejemplo

El artículo Transformaciones de ejemplo en Azure Monitor proporciona una descripción y consultas de ejemplo para escenarios comunes que usan transformaciones en tiempo de ingesta en Azure Monitor. Entre los escenarios que son especialmente útiles para Microsoft Sentinel se incluyen:

• Reduzca los costos de datos. Filtre la recopilación de datos por filas o columnas para reducir los costos de ingesta y almacenamiento.

• Normalizar los datos. Normalice los registros con el modelo de información de seguridad avanzada (ASIM) para mejorar el rendimiento de las consultas normalizadas. Para obtener más información, consulte Normalización del tiempo de ingesta.

• Enriquecer datos. Las transformaciones en el momento de la ingesta te permiten mejorar los análisis al enriquecer tus datos con columnas adicionales añadidas a la transformación KQL configurada. Las columnas adicionales pueden incluir datos analizados o calculados de columnas existentes.

• Quitar datos confidenciales. Las transformaciones durante la ingesta se pueden usar para enmascarar o eliminar información personal, por ejemplo, enmascarando todos los dígitos salvo los últimos de un número de la seguridad social o de una tarjeta de crédito.

Flujo de ingesta de datos en Microsoft Sentinel

En la imagen siguiente se muestra el lugar en que la transformación de datos en tiempo de ingesta entra en el flujo de ingesta de datos en Microsoft Sentinel. Estos datos se pueden admitir en tablas estándar o en un conjunto específico de tablas personalizadas.

Esta imagen muestra la canalización en la nube, que representa el componente de recopilación de datos de Azure Monitor. Puede obtener más información al respecto junto con otros escenarios de recopilación de datos en Reglas de recopilación de datos (DCR) en Azure Monitor.

Microsoft Sentinel recopila datos en el área de trabajo de Log Analytics de varios orígenes.

• Los datos recopilados desde el punto de conexión de la API de ingesta de registros o desde el agente de Azure Monitor (AMA) se procesan mediante una DCR específica que puede incluir una transformación durante la ingesta.
• Los datos de conectores de datos integrados se procesan en Log Analytics mediante una combinación de flujos de trabajo codificados de forma fija y transformaciones en el momento de la ingesta en la DCR del área de trabajo.

En la tabla siguiente se describe la compatibilidad de DCR con los tipos de conector de datos Microsoft Sentinel:

Tipo de conector de datos	Compatibilidad con DCR
registros del agente de Azure Monitor (AMA), como: eventos de Seguridad de Windows a través de AMA Eventos reenviados de Windows Datos de CEF Datos de Syslog	Uno o varios DCR asociados con el agente
Ingesta directa a través de la API de ingesta de registros	DCR especificado en la llamada a la API
Conector de datos integrado basado en API, como: Conectores de datos sin código	DCR creado para el conector
Conexiones basadas en la configuración de diagnóstico	Transformación de Workspace DCR con tablas de salida compatibles
Conectores de datos integrados basados en API, como: Conectores de datos sin código heredados conectores de datos basados en Azure Functions	No se admiten actualmente
Conectores de datos integrados de servicio a servicio, como: Microsoft Office 365 Microsoft Entra ID Amazon S3	Transformación de Workspace DCR para tablas que admiten transformaciones

Contenido relacionado

Para más información, vea:

• Transformación o personalización de datos en tiempo de ingesta en Microsoft Sentinel (versión preliminar)
• Filtrar y dividir transformaciones en Microsoft Sentinel
• conectores de datos Microsoft Sentinel
• Encuentre su conector de datos de Microsoft Sentinel