Tarjeta de aplicación: agentes de Microsoft Security Copilot

¿Qué es una tarjeta de aplicación o plataforma?

Las tarjetas de aplicaciones y plataformas de Microsoft están diseñadas para ayudarle a comprender cómo funciona nuestra tecnología de IA, las decisiones que pueden tomar los propietarios de las aplicaciones que influyen en el rendimiento y el comportamiento de las aplicaciones, y la importancia de tener en cuenta toda la aplicación, incluida la tecnología, las personas y el medio ambiente. Las tarjetas de aplicación se crean para aplicaciones de IA y las tarjetas de plataforma se crean para servicios de plataforma de IA. Estos recursos pueden admitir el desarrollo o la implementación de sus propias aplicaciones y pueden compartirse con los usuarios o partes interesadas afectados por ellas.

Como parte de su compromiso con la IA responsable, Microsoft se adhiere a seis principios básicos: equidad, confiabilidad y seguridad, privacidad y seguridad, inclusión, transparencia y responsabilidad. Estos principios están incrustados en el Responsible AI Standard, que guía a los equipos en el diseño, la creación y las pruebas de aplicaciones de IA. Las tarjetas de aplicaciones y plataformas desempeñan un papel clave en la operacionalización de estos principios, ya que ofrecen transparencia en torno a las funcionalidades, los usos previstos y las limitaciones. Para obtener más información, se anima a los lectores a explorar el Informe de transparencia de IA responsable de Microsoft y el Código de conducta de Microsoft Enterprise AI Services, que describe cómo interactuar con la IA de forma responsable.

Información general

Microsoft Security Copilot es una solución de seguridad generativa basada en inteligencia artificial que ayuda a aumentar la eficiencia y las capacidades de los defensores para mejorar los resultados de seguridad a velocidad y escala de equipo. Security Copilot proporciona una experiencia de copilot de asistencia en lenguaje natural que ayuda a los profesionales de seguridad y administradores de TI a manejar una amplia gama de escenarios de un extremo a otro, incluida la respuesta a incidentes, la búsqueda de amenazas, la recopilación de inteligencia y la administración de posturas.

Security Copilot está diseñado teniendo en cuenta la integración y ofrece una experiencia independiente envolvente en https://securitycopilot.microsoft.com. La plataforma se integra perfectamente con productos de la cartera de seguridad de Microsoft, como Microsoft Defender XDR, Microsoft Sentinel, Microsoft Intune, Microsoft Entra y Microsoft Purview, y servicios de terceros compatibles.

Un agente de Security Copilot genera salidas y puede realizar acciones basadas en la lógica configurada, los permisos y los desencadenadores definidos por el cliente. Los clientes pueden usar agentes autónomos de Security Copilot para automatizar los flujos de trabajo de seguridad, acelerar los tiempos de respuesta, priorizar los riesgos y reducir las cargas de trabajo manuales, todo ello sin perder el control total. La autonomía del agente se refiere a la capacidad de un agente para realizar acciones de forma independiente dentro de los límites definidos.

Un administrador (propietario de Security Copilot) descubre e implementa agentes a través del portal de Security Copilot y Security Store, y algunos agentes también aparecen en experiencias de productos de seguridad de Microsoft incrustados. El administrador establece la identidad del agente y configura el control de acceso basado en roles (RBAC) para el agente.

Entre los usuarios previstos se incluyen analistas de SOC, administradores de TI, administradores de identidad y seguridad de datos, analistas de cumplimiento y líderes de seguridad, como directores de seguridad de la información (CISO).

Security Copilot posee la certificación ISO 42001, que confirma que un tercero independiente revisó la aplicación de Microsoft del marco y las capacidades necesarias para administrar eficazmente los riesgos y oportunidades asociados con el desarrollo, la implementación y el funcionamiento continuos de los sistemas de inteligencia artificial de Microsoft AI.

Para más información, consulte ¿Qué es Microsoft Security Copilot?, Experiencias de Microsoft Security Copilot y Tarjeta de aplicación para Security Copilot.

Términos clave

La tabla siguiente proporciona un glosario de términos clave relacionados con los agentes de Microsoft Security Copilot.

Término Definición
Agente Un agente de Security Copilot procesa las señales del entorno del cliente a través de complementos y orígenes de datos integrados, analiza los datos y genera recomendaciones. Los agentes también pueden realizar acciones de ámbito dentro de los permisos configurados cuando se les solicite, lo que requiere la aprobación adecuada del usuario o administrador. Los agentes pueden variar desde experiencias simples de solicitud y respuesta hasta flujos de trabajo semiautónomos más automatizados con supervisión humana.
Acción de agente Una operación ejecutada por un agente, como recuperar datos, generar salidas o modificar configuraciones, en función de permisos.
Manifiesto de agente Un archivo de configuración que define las capacidades, las herramientas y el comportamiento de un agente. Controla cómo funciona el agente dentro de Security Copilot y se representa en un formato de archivo YAML.
Experiencia integrada Acceso a las funcionalidades de Security Copilot desde otro producto de seguridad de Microsoft, como Microsoft Defender XDR o Microsoft Sentinel. El panel de sidecar de Security Copilot muestra la asistencia de IA directamente en el contexto de ese producto.
Conexión a tierra El proceso de proporcionar orígenes de entrada contextuales al modelo de lenguaje grande relacionado con la indicación de un usuario. Al permitir que Security Copilot acceda a los datos de la organización a través de complementos y productos de seguridad de Microsoft, Security Copilot puede ofrecer respuestas más precisas y contextualmente relevantes.
Modelo de lenguaje grande (LLM) Modelos de IA entrenados con grandes cantidades de datos de texto para predecir palabras en secuencias. Los LLM son capaces de realizar diversas tareas, como generación de texto, resumen, traducción, clasificación y más.
Agente creado por el partner Un agente publicado por los asociados de Microsoft y disponible a través de Security Store para abordar casos de uso de seguridad específicos.
Complemento Una colección de herramientas relacionadas que amplía las capacidades de Security Copilot al proporcionarle acceso a recursos de servicios Microsoft y de otros fabricantes y sitios web públicos a través de API. Los complementos agregan más contexto a las respuestas y salidas que genera Security Copilot.
Posprocesamiento El conjunto de acciones que realiza Security Copilot para refinar y preparar la respuesta de LLM antes de devolvérsela al usuario. Este posprocesamiento incluye llamadas de conexión a tierra adicionales a través de complementos, comprobaciones de IA responsables, comprobaciones de seguridad, cumplimiento y privacidad.
Prompt El texto en lenguaje natural que un usuario envía a Security Copilot para ejecutar una tarea específica u obtener información. Por ejemplo, resuma este incidente y sugiera pasos de corrección.
Libro de indicaciones Una serie de mensajes que se ejecutan en secuencia, basándose en respuestas anteriores, para realizar tareas específicas relacionadas con la seguridad. Los manuales de instrucciones se pueden usar desde la biblioteca o los usuarios pueden crearlos y compartirlos.
Pruebas en equipo rojo Técnicas utilizadas por los expertos para evaluar las limitaciones y vulnerabilidades de un sistema y probar la eficacia de las mitigaciones planificadas. Las pruebas del equipo rojo se utilizan para identificar posibles riesgos y son distintas de la medición sistemática de riesgos.
Inteligencia artificial responsable Directiva, investigación y prácticas de ingeniería de Microsoft que se basan en sus principios de inteligencia artificial y se ponen en funcionamiento a través del estándar de IA responsable. Para obtener más información, consulte la guía de Fluent RAI.
Unidad de proceso de seguridad (SCU) Las SCU son las unidades de capacidad de proceso que se usan para ejecutar cargas de trabajo de Security Copilot y ofrecer un rendimiento coherente en todas sus experiencias. La capacidad de Security Copilot se mide en SCU y se puede consumir a través de modelos de capacidad aprovisionada o por encima del límite. Para obtener más información, consulte Descripción de las SCU.
Centro de operaciones de seguridad (SOC) Un equipo o instalación de seguridad dedicado centrado en la supervisión, el análisis y la respuesta continuos a los incidentes de ciberseguridad dentro de una organización. Los analistas de SOC se encuentran entre los principales usuarios previstos de Security Copilot.
Experiencia independiente La experiencia inmersiva del portal de Security Copilot a la que se accede directamente en https://securitycopilot.microsoft.com.
Tenant El límite organizativo en Microsoft Entra ID que aísla la identidad, el acceso y los datos para Security Copilot. El inquilino gobierna todas las áreas de trabajo, usuarios e interacciones a través de permisos de nivel de inquilino y controles de seguridad.
Trigger Un evento o condición que indica a un agente que inicie la ejecución de su flujo de trabajo. Los desencadenadores pueden estar basados en el tiempo (por ejemplo, una programación semanal para el agente de información de inteligencia sobre amenazas) o manuales (ejecutados a petición por un usuario o administrador). El desencadenador se configura durante la configuración del agente.

Características o funcionalidades clave

Las características y funcionalidades clave de la tabla siguiente describen para qué está diseñado Microsoft Security Copilot y cómo funciona en las tareas admitidas.

Característica o funcionalidad Descripción
Investigación y respuesta ante incidentes Security Copilot ayuda a los profesionales de la seguridad a clasificar e investigar incidentes mediante la generación de resúmenes de alertas de seguridad complejas, correlacionando señales en Microsoft Defender XDR, Microsoft Sentinel y otros productos integrados, y proporcionando instrucciones de corrección paso a paso.
Inteligencia sobre amenazas Security Copilot puede buscar en artículos y perfiles de inteligencia sobre amenazas de Microsoft Defender, informes de análisis de amenazas y publicaciones de divulgación de vulnerabilidades para exponer inteligencia relevante alineada con un mensaje.
Clasificación de alertas de seguridad Security Copilot incluye el agente de clasificación de alertas de seguridad para ayudar a los equipos de seguridad a clasificar las alertas a escala mediante la identificación de ataques reales y falsos positivos, lo que permite a los analistas centrarse en la investigación de amenazas reales con un razonamiento transparente y paso a paso para respaldar cada decisión.
Análisis de scripts y generación de consultas KQL Security Copilot puede analizar scripts sospechosos o malware y traducir el lenguaje natural en consultas KQL, lo que permite a los miembros del equipo de todos los niveles realizar tareas avanzadas de búsqueda y análisis técnico.
Administración de la posición de seguridad Security Copilot ayuda a los usuarios a comprender los riesgos priorizados en su entorno e identificar oportunidades para mejorar su postura mediante la integración con Microsoft Defender XDR, Microsoft Entra y Microsoft Intune.
Creación y administración de directivas de seguridad Los usuarios pueden definir nuevas directivas, hacer referencias cruzadas con las directivas existentes para conflictos y resumir directivas en lenguaje sencillo para administrar el contexto organizativo complejo.
Informes de las partes interesadas Security Copilot puede generar informes que resuman el contexto, los problemas abiertos y las medidas de protección adaptadas al público previsto, como ejecutivos o equipos de seguridad.
Libros de avisos Los promptbooks son secuencias de mensajes que se ejecutan para realizar tareas de seguridad específicas. Los usuarios pueden ejecutar libros de indicaciones desde una biblioteca compartida o crear y compartir los suyos propios.
Agents Security Copilot admite agentes que automatizan y ayudan con tareas de seguridad y operaciones de TI dentro de los permisos concedidos por los administradores. Un agente toma acciones a través de identidades configuradas, controles de acceso y disparadores, y opera con supervisión humana como parte de los flujos de trabajo de seguridad.
Los agentes creados por Microsoft abarcan toda la cartera de productos de seguridad, cubriendo operaciones SOC, búsqueda de amenazas, inteligencia sobre amenazas, administración de identidades, administración de puntos de conexión y seguridad de datos. Los administradores configuran la identidad, los permisos y el desencadenador de cada agente durante la configuración. Los usuarios pueden revisar los desencadenadores, el acceso a datos, la identidad y los permisos de acción de un agente (como lectura o escritura) para comprender cómo funciona el agente dentro de su ámbito definido. Para obtener más información sobre agentes específicos y sus casos de uso, consulte Usos previstos.
Compatibilidad con varios idiomas Security Copilot admite indicaciones y respuestas en varios idiomas. Para obtener más información, consulte Idiomas admitidos.

Security Copilot es una solución de seguridad con tecnología de IA que funciona tanto de forma asistida como como un sistema agencial autónomo. Para comprender la autonomía del agente, considere:

  • Desencadenadores de activación : qué condiciones o acciones del usuario hacen que se ejecute el agente
  • Permisos de acceso : qué datos, sistemas o recursos puede usar el agente
  • Derechos de acción : qué acciones está autorizado a realizar el agente por su cuenta

Las siguientes secciones describen las capacidades agenciales centrales que sustentan cómo los agentes razonan, planifican, recuerdan, adaptan y amplían su alcance.

Razonamiento

Los agentes de Security Copilot usan el modelo de lenguaje grande subyacente para analizar el contexto disponible, evaluar las señales y determinar el curso de acción más adecuado. Por ejemplo, el agente de clasificación de phishing evalúa el contenido del correo electrónico, la reputación del remitente y las señales de comportamiento para producir un veredicto de clasificación con una justificación de lenguaje natural. Los agentes exponen su razonamiento de forma transparente para que los analistas puedan revisar, validar o anular las conclusiones antes de actuar en consecuencia.

Planificación

Los agentes operan contra desencadenantes definidos que instruyen al sistema agéntico para que inicie una secuencia estructurada de acciones hacia un objetivo. Los agentes se pueden configurar para:

  • Ejecutarse automáticamente según una programación (por ejemplo, el Agente de información de inteligencia sobre amenazas se ejecuta cada siete días).
  • Ejecutar manualmente a petición cuando sea necesario.

Este diseño proporciona a los agentes un modelo de ejecución dirigido a objetivos en el que el sistema analiza cuándo y cómo actuar para completar su tarea.

Memoria

Los agentes de Security Copilot pueden retener información a lo largo del tiempo, lo que se conoce como memoria. La memoria permite a un agente incorporar entradas pasadas en el comportamiento futuro, dependiendo de cómo esté diseñado y configurado el agente.

La memoria puede incluir comentarios proporcionados por los usuarios. Los agentes pueden usar estos comentarios para ajustar sus respuestas o acciones en interacciones posteriores.

Adaptabilidad

Los agentes de Security Copilot están diseñados para adaptarse en función de los comentarios de los usuarios y el contexto operativo, mientras continúan operando dentro del ámbito definido por su identidad, permisos y desencadenadores configurados.

  • Bucle de comentarios: los propietarios y colaboradores de Security Copilot pueden proporcionar comentarios sobre las respuestas de un agente. Esta retroalimentación se almacena en la memoria del agente y puede influir en los resultados futuros, según el diseño y la configuración del agente.
  • Conexión a tierra contextual: durante el procesamiento de indicaciones, Security Copilot enriquece las indicaciones mediante la conexión a tierra. Este proceso incorpora datos organizativos relevantes, complementos habilitados e inteligencia sobre amenazas para que las respuestas reflejen el contexto actual.
  • Identidad y permisos configurables: los agentes se pueden actualizar después de la configuración para modificar la identidad, los desencadenadores y los parámetros. Esto permite a los agentes adaptarse a los flujos de trabajo y requisitos en evolución.

Extensibilidad

  • Complementos: los agentes utilizan complementos para llegar a servicios externos a través de API, incluidas búsquedas de reputación, inteligencia sobre amenazas y datos de puntos finales. Se admiten tanto los complementos creados por Microsoft como los creados por partners. Para obtener más información, consulte Descripción general de complementos.
  • Conectores: los conectores de Logic Apps y Copilot Studio incluyen la API de Security Copilot, lo que permite a los desarrolladores y usuarios llamar a la plataforma desde flujos de trabajo de automatización externos. Para obtener más información, consulte Introducción a los conectores.
  • Agentes personalizados: los desarrolladores pueden crear agentes personalizados adaptados a casos de uso específicos y agregarlos al ecosistema de Security Copilot a través de la plataforma para desarrolladores. Para obtener más información, consulte Desarrollo de agentes personalizados.
  • Almacén de seguridad: los agentes precompilados de Microsoft y de asociados se pueden descubrir e implementar desde la biblioteca de agentes integrada y el almacén de seguridad.
  • Experiencias insertadas: los agentes no solo funcionan en el portal independiente de Security Copilot, sino que también están integrados en el ecosistema de seguridad más amplio de Microsoft, incluidos Microsoft Defender XDR, Microsoft Sentinel, Microsoft Intune, Microsoft Entra y Microsoft Purview.

Usos previstos

Los agentes de Microsoft Security Copilot están diseñados para que los profesionales de seguridad y los administradores de TI admitan flujos de trabajo de seguridad, como la recopilación de inteligencia y la correlación. Los agentes pueden operar con los permisos definidos por el administrador y ayudar a simplificar las tareas que, de otro modo, requerirían un esfuerzo manual significativo, a la vez que mantienen el control de las personas. Algunos ejemplos de casos de uso de agentes previstos incluyen:

  • Informes de inteligencia sobre amenazas: el Agente de informes de inteligencia sobre amenazas genera informes detallados y oportunos de inteligencia sobre amenazas mediante la correlación de datos de la Inteligencia contra amenazas contra amenazas de Microsoft Defender Señales de la Administración de superficie expuesta a ataques externos de Defender (EASM) y contexto del cliente en tiempo real. Los analistas de seguridad pueden usar este agente para reemplazar horas o días de recopilación manual de inteligencia y correlación con un informe generado en minutos.

  • Análisis de datos de seguridad (Microsoft Defender XDR): el agente de analista de seguridad ayuda a los analistas de seguridad a identificar, evaluar y priorizar rápidamente los riesgos en grandes volúmenes de datos de seguridad. El agente realiza tareas de análisis básicas, como análisis de patrones, análisis de tendencias y visualización, y tareas avanzadas como detección de anomalías, agrupación, puntuación de riesgos y modelado predictivo. Integra datos de Microsoft Defender XDR, Microsoft Sentinel Log Analytics, Microsoft Sentinel Data Lake y archivos CSV cargados, generando información priorizada con un rastro de evidencia completo en una experiencia de chat interactiva y sin código.

  • Operaciones de seguridad y respuesta a incidentes (Microsoft Defender XDR):

    • El agente de clasificación de phishing evalúa los correos electrónicos de phishing notificados por los usuarios a medida que se envían, clasifica los veredictos con razonamiento transparente e incorpora los comentarios de los analistas a lo largo del tiempo.
    • El agente de detección dinámica de amenazas se ejecuta continuamente en segundo plano para descubrir amenazas y brechas ocultas en entornos de Defender y Microsoft Sentinel correlacionando alertas, eventos, anomalías e inteligencia sobre amenazas.

  • Búsqueda de amenazas (Microsoft Defender XDR): el Asistente para la búsqueda de amenazas permite la búsqueda de amenazas de un extremo a otro mediante lenguaje natural. Genera consultas KQL, interpreta resultados, saca a la luz información y guía a los analistas a través de sesiones de búsqueda completas para encontrar amenazas más rápido y con mayor confianza.

  • Administración de identidades y acceso (Microsoft Entra):

    • El Agente de optimización de acceso condicional analiza las directivas de acceso condicional y recomienda mejoras basadas en las prácticas recomendadas de Microsoft y los principios de Confianza cero.
    • El Agente de gestión de riesgos de identidad ayuda a los administradores de identidades a investigar posibles riesgos y tomar medidas para proteger los recursos críticos.

  • Administración de puntos de conexión (Microsoft Intune):

    • El Agente de corrección de vulnerabilidades usa datos de Defender para supervisar las vulnerabilidades y priorizar la corrección con evaluaciones de riesgos controladas por inteligencia artificial.
    • El Agente de configuración de directivas permite a los administradores importar documentos o escribir instrucciones en lenguaje sencillo para buscar la configuración correspondiente en el catálogo de configuración de Intune y crear directivas.
    • Change Review Agent evalúa el efecto de las solicitudes de aprobación en Intune y realiza recomendaciones sobre las acciones que pueden realizar los administradores.

  • Investigación de seguridad de datos (Microsoft Purview):

    • El agente de evaluación de prioridades de Insider Risk Management evalúa las alertas en función del riesgo, el usuario y la actividad, y las ordena automáticamente en categorías priorizadas para ayudar a los equipos de seguridad a centrarse en los casos de mayor riesgo.
    • El agente de clasificación de Purview en Prevención de pérdida de datos evalúa las alertas DLP en función del riesgo de sensibilidad, el riesgo de exfiltración y el riesgo de directiva, lo que ayuda a los administradores de seguridad de datos a actuar sobre los incidentes más críticos.

  • Flujos de trabajo agenciales personalizados: los desarrolladores pueden crear e implementar agentes personalizados mediante el procesamiento de lenguaje natural, cargando el manifiesto del agente o utilizando las herramientas MCP adaptadas a los casos de uso de seguridad específicos de su organización, ampliando las capacidades del agente a través de complementos y conectores a servicios Microsoft y no Microsoft. Para obtener más información, vea Agentes personalizados.

    También puede crear un agente de chat interactivo cuando los agentes y los usuarios necesiten colaborar para obtener una experiencia guiada para resolver algo. Para obtener más información, consulte Agente interactivo.

Modelos y datos de entrenamiento

Microsoft Security Copilot usa modelos de lenguaje grande (LLM) de Azure OpenAI de modelos de fundición vendidos por Azure para potenciar experiencias de lenguaje natural. Estos modelos no están entrenados con datos de clientes de Security Copilot. Las capacidades del modelo varían en cuanto a razonamiento, velocidad, limitaciones y escenarios admitidos.

Security Copilot también incorpora conocimientos y contexto específicos de seguridad a través de complementos y conexión a tierra, que proporcionan al LLM datos organizativos relevantes, inteligencia sobre amenazas y contenido autoritativo en tiempo de inferencia en lugar de a través del entrenamiento de modelos.

Rendimiento

Security Copilot está diseñado para operar en entornos de seguridad empresarial donde se generan grandes volúmenes de señales de seguridad en tiempo real en los productos de seguridad de Microsoft y otros orígenes de datos configurados por la organización. Integra señales de estas fuentes, combinando el procesamiento en tiempo real de datos de registros estructurados con razonamiento de investigación. Este objetivo es ayudar a detectar, analizar y rastrear el origen y el impacto de los incidentes de seguridad en varios orígenes de datos.

Security Copilot se ejecuta en la infraestructura de hiperescala de Microsoft y en un nivel de orquestación específico de seguridad, que están pensados para admitir un rendimiento escalable y resistente en escenarios repetidos de detección e investigación de amenazas.

Los agentes amplían la capacidad de Security Copilot para actuar sobre señales de seguridad mediante la ejecución de tareas de seguridad definidas a través de permisos configurados por el administrador. Los agentes razonan sobre las señales disponibles, planean y ejecutan acciones estructuradas y producen resultados como decisiones de clasificación, informes de inteligencia y orientación de corrección basadas en datos de inteligencia organizacional y de amenazas en tiempo real. La ejecución del agente es transparente a través de mapas de nodos paso a paso, lo que permite a los analistas revisar los pasos generados (no un resumen detallado de las acciones específicas realizadas en cada nodo) y validar los resultados en todas las ejecuciones.

La confiabilidad del rendimiento se admite aún más a través de agentes preconfigurados creados por Microsoft, que se prueban con flujos de trabajo representativos, y agentes personalizados, donde un archivo YAML de manifiesto puede ayudar a promover un comportamiento más coherente al especificar funcionalidades, herramientas, desencadenadores y límites operativos. Cuando las instrucciones del manifiesto están claramente definidas, el agente puede ser más capaz de interpretar su tarea, seleccionar las acciones apropiadas y operar dentro de su ámbito previsto. Para obtener más información, vea Agentes personalizados.

Para los agentes interactivos, el rendimiento se configura principalmente a través del intercambio iterativo entre el agente y el usuario. El agente genera una respuesta inicial y el usuario refina el contexto a través de indicaciones de seguimiento basadas en lo que el agente muestra. Esta interacción de ida y vuelta permite al usuario guiar gradualmente al agente hacia resultados más precisos y específicos que los que produciría una sola ejecución autónoma. Para obtener más información, consulte Agentes interactivos.

Limitaciones

Comprender las limitaciones de Security Copilot es importante para garantizar que se usa dentro de límites seguros y eficaces. Aunque se anima a los clientes a usar Security Copilot en sus flujos de trabajo de seguridad, es importante tener en cuenta que Security Copilot no se diseñó para todos los escenarios posibles. Consulte el Código de conducta de Microsoft Enterprise AI Services , así como las siguientes consideraciones al elegir un caso de uso:

  • Estado de versión preliminar pública: algunos agentes se encuentran en versión preliminar pública y es posible que se modifiquen sustancialmente antes de la disponibilidad general. Microsoft no ofrece garantías, expresas o implícitas, con respecto a estas funcionalidades. Al igual que con cualquier salida de IA, los clientes deben revisar la toma de decisiones del agente antes de actuar sobre sus salidas.
  • Precisión e integridad: como cualquier tecnología con tecnología de IA, Security Copilot no lo hace todo bien. Las respuestas pueden ser inexactas, incompletas u obsoletas, especialmente si los complementos relevantes no están habilitados o si los datos más recientes no están disponibles a través de la entrada del usuario o el contexto de la organización. Los usuarios siempre deben ejercer su juicio humano y verificar los resultados críticos en lugar de depender únicamente de la respuesta generada por IA.
  • Ámbito específico del dominio: Security Copilot está diseñado para responder a mensajes relacionados con el dominio de seguridad, como la investigación de incidentes y la inteligencia sobre amenazas. Las consultas fuera del ámbito de la seguridad pueden dar lugar a respuestas que carecen de precisión y exhaustividad.
  • Generación de scripts y código: Security Copilot puede generar código o incluirlo en las respuestas. Las respuestas pueden parecer válidas, pero pueden no ser semántica o sintácticamente correctas, o pueden no reflejar con precisión la intención del solicitante. El código generado no debe implementarse en entornos de producción sin los procedimientos adecuados de validación, prueba y revisión. Los usuarios también deben comprobar que los parámetros utilizados por el código generado se alinean con la solicitud original. Por ejemplo, si un agente opera con alertas dentro de un intervalo de tiempo específico, confirme que el intervalo de tiempo del código generado coincide con el intervalo de tiempo especificado en el mensaje de lenguaje natural.
  • Restricciones de longitud de la consulta: es posible que el sistema no pueda procesar indicaciones largas, como las que contienen cientos de miles de caracteres. El LLM subyacente tiene un límite de tokens y las consultas demasiado detalladas o las sesiones prolongadas pueden desbordar el espacio de tokens. Cuando ocurre este escenario, Security Copilot intenta aplicar mitigaciones para garantizar que siempre haya una salida disponible, incluso si el contenido no es óptimo; sin embargo, esas mitigaciones no siempre son eficaces y puede que sea necesario probar un mensaje o complemento diferente.
  • Límites de uso y latencia: el uso de la plataforma puede estar sujeto a límites de uso o limitación de capacidad. La generación de respuestas, incluida la realización de llamadas API a través de complementos y la verificación de respuestas antes de mostrarlas, puede llevar tiempo y requerir una alta capacidad de GPU. Las organizaciones deben supervisar el consumo de sus SCU y ajustar la capacidad aprovisionada según sea necesario para evitar interrupciones inesperadas del servicio.
  • Sesgo, estereotipado y contenido sin fundamento: a pesar de la implementación de controles de IA responsables tanto en las indicaciones del usuario como en las salidas de LLM, los servicios de IA son falibles y probabilísticos. Esto dificulta el bloqueo exhaustivo de todo el contenido inapropiado, lo que puede dar lugar a posibles sesgos, estereotipos o contenido sin fundamento en la producción generada por IA.
  • Gobierno y nube pública/privada soberana de Microsoft: Security Copilot no es compatible con estos entornos en este momento.
  • Límites de agente específicos de tareas: los agentes son adecuados solo para la tarea específica para la que están diseñados. Para obtener más información, consulta la sección Casos de uso previstos . No son adecuados para ninguna otra tarea y no deben reutilizarse más allá de su ámbito definido.
  • Detalle del mapa del nodo: El mapa del nodo del agente proporciona una vista de alto nivel de los pasos realizados durante un flujo de trabajo del agente. Cada nodo representa un paso del proceso y muestra el título de la aptitud utilizada, junto con metadatos básicos como el estado de finalización, la duración y la marca de tiempo. El mapa de nodos está diseñado para mostrar la secuencia de acciones, pero no proporciona información detallada sobre las operaciones o decisiones específicas tomadas dentro de cada paso. Dado que el mapa de nodos presenta solo información resumida, es posible que no capture completamente el contexto o la complejidad de cada acción.
  • Comentarios del agente y transparencia de la memoria: cuando los usuarios envían comentarios a un agente para almacenarlos en la memoria, el agente no proporciona un resumen de su interpretación de los comentarios. Para aumentar la precisión de las salidas futuras, los usuarios deben proporcionar comentarios claros, concisos y específicos. Los comentarios enviados a un agente se pueden almacenar y usar para influir en los resultados futuros. Sin embargo, la visibilidad de estos comentarios almacenados puede variar en función de la experiencia del agente y el rol del usuario. Para obtener más información, consulte Enviar comentarios.

Evaluaciones

Las evaluaciones de rendimiento y seguridad evalúan si las aplicaciones de IA funcionan de forma confiable y segura examinando factores como la conexión a tierra, la relevancia y la coherencia, al tiempo que identifican los riesgos de generar contenido perjudicial. Las siguientes evaluaciones se llevaron a cabo con componentes de seguridad ya implementados, que también se describen en Componentes y mitigaciones de seguridad.

Datos de evaluación de la calidad y la seguridad

Nuestros datos de evaluación están diseñados a medida para evaluar el rendimiento de las aplicaciones de IA en áreas clave de seguridad y calidad, simulando escenarios del mundo real y riesgos. Comenzamos identificando aspectos de evaluación relevantes de interés basados en investigaciones multidisciplinarias y aportes de expertos. Estas preocupaciones se traducen en objetivos de evaluación específicos y guían la formulación de métricas de evaluación.

Por motivos de seguridad, creamos indicaciones adversas para obtener respuestas no deseadas o de casos extremos, que luego se puntúan mediante anotadores asistidos por IA formados para evaluar la alineación con los estándares de seguridad de Microsoft. Para la calidad, elaboramos indicaciones basadas en rúbricas relevantes para escenarios, incluida la evaluación de aplicaciones y agentes de generación aumentada por recuperación (RAG).

Los conjuntos de datos se seleccionan a partir de diversos orígenes, incluidos conjuntos de datos públicos y sintéticos, para simular escenarios de usuarios del mundo real. Con los conjuntos de datos seleccionados, ambas evaluaciones se someten a un refinamiento iterativo y a una alineación humana para mejorar la eficacia y fiabilidad de las métricas. Esta metodología constituye la base de evaluaciones rigurosas y repetibles que reflejan cómo los clientes usan las evaluaciones para crear una IA mejor y más segura.

Evaluaciones personalizadas

Se realizaron evaluaciones personalizadas para validar el rendimiento del modelo en escenarios de grounding, solidez adversa y contenido perjudicial mediante pruebas de regresión, conjuntos de datos de mensajes seleccionados y ejemplos alineados con la producción. La evaluación comparó los resultados entre los modelos GPT, mediante herramientas internas para evaluar la conexión a tierra y el filtrado de contenido de Azure OpenAI para validar las protecciones contra jailbreak, inyección rápida y violaciones de propiedad intelectual. Los resultados muestran un rendimiento consistente o mejorado, incluidas tasas de protección sólidas en escenarios adversarios y una precisión mejorada de conexión a tierra.

El control de contenido perjudicial sigue siendo coherente en todos los modelos y funciona en modo de anotación para admitir casos de uso centrados en la seguridad, con pruebas adicionales a gran escala que confirman altos índices de protección en todas las categorías. Se realizan pruebas de regresión para comprobar que el contenido, que no es dañino, no se clasifica como dañino.

Los agentes de Security Copilot fueron evaluados por su equipo de investigación y productos con casos de uso y aportes de diseño de los clientes. La seguridad del sistema de agentes también se evaluó a través de un ejercicio dedicado de equipos rojos. Microsoft también completó pruebas de penetración en el servicio Security Copilot para validar la protección contra el acceso no autorizado.

Ahora que se ha publicado Security Copilot, los comentarios de los usuarios son fundamentales para ayudar a Microsoft a mejorar el sistema. Los usuarios tienen la opción de proporcionar comentarios sobre la respuesta del agente de Security Copilot. Estos comentarios van directamente a Microsoft y se usan para mejorar el rendimiento de la plataforma mediante el refinamiento iterativo continuo. Para obtener más información, consulte Enviar comentarios.

Componentes de seguridad y mitigaciones

A medida que identificábamos posibles riesgos y usos indebidos a través de procesos como pruebas de equipos rojos y los medíamos, desarrollábamos mitigaciones para reducir el potencial de daño. Seguiremos evaluando la experiencia de Microsoft Security Copilot para mejorar el rendimiento y las mitigaciones del producto. En la lista siguiente se describen algunas de esas mitigaciones:

  • Filtrado de contenido dañino y medidas de seguridad: Security Copilot integra barreras de seguridad (filtros de contenido) y modelos de detección de abusos desarrollados por Microsoft como parte de la base de Azure OpenAI Service. Estos modelos de clasificación neuronal detectan y filtran contenido dañino en distintas categorías, como el odio, el sexual, la violencia y las autolesiones en varios niveles de gravedad. Los modelos de clasificación opcionales también detectan riesgos de jailbreak, material de texto o código conocido y ataques indirectos de inyección de mensajes. Estos controles en capas ayudan a evitar que la IA produzca respuestas que infrinjan los estándares de seguridad de Microsoft.
  • Diseñado para minimizar las acciones irreversibles: los escenarios de agente diseñados por Microsoft están pensados para minimizar las acciones irreversibles y mantener a los usuarios en control de las decisiones críticas. En el caso de los agentes personalizados, agentes no diseñados por Microsoft, los desarrolladores de agentes pueden modificar el comportamiento del agente para garantizar que se minimicen las acciones irreversibles.
  • Diseño del sistema de seguridad: Microsoft desarrolló un sistema de seguridad para Security Copilot que está diseñado para mitigar los errores y evitar el uso incorrecto, incluida la anotación de contenido perjudicial, la supervisión operativa y otras medidas de seguridad. Los requisitos de mitigación de IA responsable del servicio Azure OpenAI no se aplican directamente a los clientes de Security Copilot porque Security Copilot implementa estas mitigaciones en nombre del cliente.
  • Bucle de comentarios del usuario: después de que un agente devuelve una respuesta, los usuarios pueden proporcionar comentarios. En función de la configuración, los usuarios también pueden enviar comentarios adicionales por escrito para proporcionar contexto sobre su experiencia. Microsoft recopila y usa los comentarios enviados para mejorar la calidad del producto, identificar problemas y priorizar mejoras en las experiencias de Security Copilot.
  • Gobierno de identidad de agente y control de acceso basado en roles (RBAC): cada agente de Security Copilot se ejecuta en una identidad administrada o en una cuenta de usuario, lo que permite al administrador controlar los datos a los que tiene acceso. Cada agente tiene controles RBAC y los agentes pueden estar aún más restringidos en cuanto a los datos que procesan. Al limitar los permisos de cada agente, el sistema mitiga los riesgos de exposición de datos no autorizados y garantiza que todas las acciones automatizadas sean auditables y rastreables.
  • Cifrado de datos y protección de acceso: los datos de clientes tratados por Security Copilot se cifran tanto en tránsito como en reposo, como se describe en el anexo de protección de datos de productos y servicios de Microsoft. De forma predeterminada, ningún usuario humano tiene acceso a la base de datos y el acceso de red está restringido a la red privada donde se implementa la aplicación Security Copilot; si se necesita acceso humano (para la respuesta a incidentes), los empleados autorizados de Microsoft deben aprobar el acceso elevado y el acceso a la red. Consulte Cumplimiento.
  • Enfoque de implementación por fases: Security Copilot publica características a través de un programa de acceso anticipado solo por invitación, lo que permite a Microsoft recopilar comentarios y refinar características antes de una disponibilidad más amplia.

Nuestro enfoque para asignar, medir y administrar riesgos sigue evolucionando a medida que aprendemos más y realizamos mejoras en función de los comentarios recibidos de los clientes.

Procedimientos recomendados para implementar y adoptar Microsoft Security Copilot

La IA responsable es un compromiso compartido entre Microsoft y sus clientes. Si bien Microsoft crea sistemas de inteligencia artificial con seguridad, equidad y transparencia en el centro, los clientes desempeñan un papel fundamental en la implementación y el uso responsables de estas tecnologías dentro de sus propios contextos.

Los agentes de Security Copilot están diseñados para aumentar la experiencia humana, no para reemplazarlos. Los clientes siguen siendo responsables de revisar los resultados, validar las decisiones y garantizar el cumplimiento de las leyes, normativas y directivas organizativas aplicables.

Los implementadores y los usuarios finales deben:

  • Tenga cuidado y evalúe los resultados al usar Security Copilot para decisiones consecuentes o en dominios confidenciales: Las decisiones consecuentes son aquellas que pueden tener un impacto legal o significativo en el acceso de una persona al empleo, los servicios legales, la atención médica, o que podrían resultar en daños físicos, psicológicos o financieros. Los dominios sensibles, como los servicios financieros, la atención médica y el legal, requieren un cuidado especial debido al potencial de impacto desproporcionado en diferentes grupos de personas. Al usar IA para tomar decisiones en estas áreas, los clientes deben asegurarse de que las partes interesadas afectadas puedan comprender cómo se toman las decisiones, apelar las decisiones y actualizar los datos de entrada relevantes.

  • Evalúa las consideraciones legales y normativas: los clientes deben evaluar posibles obligaciones legales y normativas específicas al usar cualquier servicio y solución de IA, que pueden no ser adecuados para su uso en todos los sectores o escenarios. Además, los servicios o soluciones de IA no están diseñados para y no pueden usarse de formas prohibidas en los términos de servicio aplicables y los códigos de conducta relevantes.

  • Habilitar y mantener complementos relevantes: la calidad y precisión de las respuestas de Security Copilot dependen significativamente de los complementos que estén habilitados. Los administradores deben asegurarse de que se configuren y mantengan complementos apropiados de Microsoft y de terceros para que los usuarios reciban respuestas fundamentadas y contextualmente relevantes.

Los usuarios finales deben:

  • Escriba indicaciones eficaces: escribir indicaciones claras y específicas es clave para obtener mejores resultados con Security Copilot. Incluya contexto relevante, como identificadores de incidentes, nombres de activos o intervalos de tiempo. Itera y regenera las indicaciones según sea necesario, y revisa y comprueba siempre las respuestas generadas por IA. Para obtener más información, consulte Sugerencias de solicitud para Security Copilot.

  • Ejercer supervisión humana cuando corresponda: la supervisión humana es una protección importante al interactuar con sistemas de IA. Aunque mejoramos continuamente Security Copilot, los sistemas de IA pueden cometer errores. La salida generada puede ser inexacta, incompleta, sesgada o no estar totalmente alineada con sus objetivos previstos debido a la ambigüedad en las entradas o las limitaciones de los modelos subyacentes. Los usuarios deben revisar las respuestas generadas por Security Copilot y comprobar que cumplen con sus expectativas y requisitos antes de tomar medidas.

  • Tenga en cuenta el riesgo de dependencia excesiva: la dependencia excesiva de la inteligencia artificial se produce cuando los usuarios aceptan resultados de inteligencia artificial incorrectos o incompletos, principalmente porque los errores en los resultados de inteligencia artificial pueden ser difíciles de detectar. Para los profesionales de la seguridad, la dependencia excesiva podría dar lugar a amenazas perdidas, conclusiones incorrectas de incidentes o cambios de directivas basados en recomendaciones erróneas. Security Copilot incluye la divulgación de IA y cita materiales de origen para ayudar a mitigar este riesgo, pero los usuarios deben asegurarse de comprobar la precisión de las respuestas. Los usuarios pueden revisar el mapa de nodos del agente que proporciona una vista de alto nivel de los pasos realizados durante el flujo de trabajo de un agente.

  • Tenga cuidado al implementar o diseñar IA agente en dominios sensibles: los usuarios deben implementar la supervisión humana adecuada al configurar e implementar sistemas de IA agentica en dominios donde las acciones del agente son irreversibles o altamente consecuentes. Se deben tomar precauciones adicionales al crear una IA agente autónoma, como se describe en el Código de conducta de los servicios de IA empresarial de Microsoft.

Los implementadores deben:

  • Configure RBAC y los permisos del agente con cuidado: Los administradores son responsables de configurar los controles de acceso basados en roles tanto para los usuarios como para los agentes. Los permisos deben seguir el principio de privilegios mínimos. A los agentes solo se les debe conceder acceso a los datos y las acciones necesarias para la tarea designada.

  • Supervisar el uso y revisar la actividad: los administradores (propietarios) pueden usar el panel de supervisión de uso de Security Copilot para revisar los datos de nivel de sesión, como el uso a lo largo del tiempo, los iniciadores de sesión y los complementos utilizados durante las sesiones. Esta visibilidad ayuda a las organizaciones a comprender cómo se usa Security Copilot en los mensajes, los libros de indicaciones y los agentes. Para obtener más información, consulta Administrar el uso.

  • Administrar la configuración del uso compartido de datos: los propietarios pueden configurar las preferencias de uso compartido de datos del cliente en cualquier momento y deben revisar y actualizar esta configuración de acuerdo con los requisitos de privacidad y cumplimiento de su organización. Para obtener más información, consulte Privacidad y seguridad de datos en Microsoft Security Copilot.

  • Informar a los usuarios sobre capacidades y limitaciones: el uso eficaz y responsable de Security Copilot requiere que los usuarios comprendan lo que el sistema puede y no puede hacer. Los implementadores deben proporcionar formación y orientación para ayudar a los usuarios a interactuar con Security Copilot de forma eficaz, incluida la importancia de comprobar los resultados generados por IA antes de tomar medidas.

Más información sobre los agentes de Security Copilot

Para más información sobre el uso responsable de Microsoft Security Copilot, consulte la siguiente documentación:

Más información sobre la IA responsable

  • Last updated on