Supervisión de abusos

Los modelos de Foundry comercializados por Azure detectan y mitigan casos de contenido recurrente y/o comportamientos que sugieren que el servicio se está utilizando de una manera que podría infringir el Código de conducta. Puede encontrar detalles sobre cómo se controlan los datos en la página Datos, Privacidad y Seguridad .

Componentes de la supervisión de abusos

Hay varios componentes para la supervisión del abuso:

  • Clasificación de contenido: los modelos clasificadores detectan texto y/o imágenes perjudiciales en solicitudes de usuario (entradas) y finalizaciones (salidas). El sistema busca categorías de daños según se define en Los requisitos de contenido y asigna niveles de gravedad, como se describe con más detalle en la página Filtrado de contenido . Las señales de clasificación de contenido contribuyen a la detección de patrones, como se describe a continuación.
  • Abuse Pattern Capture: El sistema de supervisión de abusos para modelos vendidos por Azure examina los patrones de uso de los clientes y emplea algoritmos y heurística para detectar y puntuar indicadores de posibles abusos. Los patrones detectados consideran, por ejemplo, la frecuencia y la gravedad en las que se detecta contenido dañino (como se indica en las señales del clasificador de contenido) en las indicaciones y finalizaciones de un cliente, así como la intencionalidad del comportamiento. Las tendencias y la urgencia del patrón detectado también afectarán a la puntuación de la gravedad potencial del abuso. Por ejemplo, un mayor volumen de contenido dañino clasificado como de mayor gravedad, o conducta periódica que indica intencionalidad (como los intentos recurrentes de jailbreak) tienen más probabilidades de recibir una puntuación alta que indica potencial abuso.
  • Revisión y decisión: las solicitudes y finalizaciones marcadas a través de la clasificación de contenido o identificadas como parte de un patrón de uso potencialmente abusivo están sujetos a otro proceso de revisión para ayudar a confirmar el análisis del sistema e informar a las decisiones de acción para la supervisión del abuso. Dicha revisión se lleva a cabo a través de dos métodos: revisión automatizada y revisión humana.
    • De forma predeterminada, si las solicitudes y respuestas se marcan a través de la clasificación de contenido como perjudiciales y/o se identifican como parte de un patrón de uso potencialmente abusivo, es posible que se muestreen para su revisión mediante el uso de medios automatizados, incluidos modelos de inteligencia artificial como los LLMs en lugar de un revisor humano. El modelo utilizado para este propósito procesa solicitudes y finalizaciones solo para confirmar el análisis del sistema e informar de las decisiones de acción; las solicitudes y finalizaciones que se someten a dicha revisión no se almacenan en el sistema de supervisión de abusos o se usan para entrenar el modelo de IA u otros sistemas.
    • En algunos casos, cuando la revisión automatizada no cumple los umbrales de confianza aplicables en contextos complejos o si los sistemas de revisión automatizados no están disponibles, es posible que se introduzca una revisión visual humana para hacer un juicio adicional. Los empleados autorizados Microsoft pueden evaluar el contenido marcado a través de la clasificación de contenido o identificado como parte de un patrón de uso potencialmente abusivo, y confirmar o corregir la clasificación o determinación en función de las directrices y directivas predefinidas. Los empleados autorizados de Microsoft solo pueden acceder a estas indicaciones y finalizaciones a través de estaciones de trabajo de acceso seguro (SAW) con la aprobación de solicitudes Just-In-Time (JIT) concedidas por los administradores del equipo. Para Modelos vendidos por Azure implementados en el Espacio Económico Europeo, los empleados autorizados Microsoft se encuentran en el Espacio Económico Europeo. Este proceso de supervisión de abuso mediante revisión humana no tendrá lugar si el cliente ha sido aprobado para la supervisión de abuso modificada.
  • Notificación y acción: cuando se ha confirmado un umbral de comportamiento abusivo en función de los pasos anteriores, se informa al cliente de la determinación por correo electrónico. Excepto en los casos de abuso grave o recurrente, los clientes suelen tener la oportunidad de explicar o corregir, e implementar mecanismos para evitar la periodicidad del comportamiento abusivo. Si no se aborda el comportamiento (o abuso periódico o grave) puede provocar la suspensión o finalización del acceso del cliente a Modelos vendidos por Azure o funcionalidades.

Supervisión de abuso modificada

Es posible que algunos clientes quieran usar modelos vendidos por Azure para un caso de uso que implique el procesamiento de datos altamente confidenciales o extremadamente confidenciales, o de lo contrario, pueden concluir que no quieren o no tienen derecho a permitir que Microsoft almacenar y realizar revisiones humanas en sus solicitudes y finalizaciones para la detección de abusos. Para solucionar estos problemas, Microsoft permite a los clientes que cumplen criterios adicionales de idoneidad de acceso limitado aplicar para modificar la supervisión del abuso completando este formulario. Algunos modelos avanzados vendidos por Azure pueden tener criterios más estrictos para desactivar la supervisión de abusos. Obtenga más información sobre cómo aplicar la supervisión de abusos modificados en Acceso limitado a modelos vendidos por Azure.

Nota

Cuando se modifica la supervisión del abuso y no se realiza la revisión humana, la detección de posibles abusos puede ser menos precisa. Los clientes reciben una notificación sobre la posible detección de abusos, tal como se ha descrito anteriormente, y deben estar preparados para responder a dicha notificación para evitar interrupciones del servicio si es posible.

Pasos siguientes

  • Last updated on