Compartir vía

¿Qué es Azure AI Content Safety?

  • Artículo

Azure AI Content Safety detecta contenido perjudicial generado por usuario y generado por inteligencia artificial en aplicaciones y servicios. Seguridad del contenido de Azure AI incluye varias API de texto e imagen que permiten detectar todo aquel material que sea perjudicial. También tenemos Content Safety Studio, que es interactivo y permite ver, explorar y probar código de ejemplo para detectar contenido perjudicial en diferentes modalidades.

El software de filtrado de contenido pueden ayudar a que cualquier aplicación cumpla las regulaciones o mantenga el entorno previsto para los usuarios.

Esta documentación contiene los siguientes tipos de artículos:

  • Los inicios rápidos son instrucciones de inicio que le guiarán a la hora de hacer solicitudes al servicio.
  • Las guías de procedimientos contienen instrucciones para usar el servicio de una manera más específica o personalizada.
  • Los conceptos proporcionan explicaciones detalladas sobre la funcionalidad y las características del servicio.

Dónde se usa

Los siguientes son algunos escenarios en los que un desarrollador o un equipo de desarrolladores de software usaría un servicio de moderación de contenido:

  • El usuario solicita que se envíe a un servicio de IA generativa.
  • Contenido generado por modelos de IA generativa.
  • Mercados en línea que moderan catálogos de productos y otro contenido generado por el usuario.
  • Empresas de juegos que moderan los artefactos de juego generados por el usuario y las salas de chat.
  • Plataformas de mensajería de las redes sociales que moderan las imágenes y el texto que agregan los usuarios.
  • Empresas multimedia que implementan la moderación de centralizada de su contenido.
  • Proveedores de soluciones educativas de tipo K-12 que filtran contenido que no es apropiado para alumnos y educadores.

Importante

Seguridad del contenido de Azure AI no se puede usar para detectar imágenes ilegales de explotación infantil.

Tipos de producto

Este servicio dispone de diferentes tipos de análisis. En la tabla siguiente se describen las API que están disponibles en la actualidad.

Tipo Funcionalidad
Escudos de avisos (versión preliminar) Examina el texto del riesgo de un ataque de entrada de usuario en un modelo de lenguaje grande. Guía de inicio rápido
Detección de la base (versión preliminar) Detecta si las respuestas de texto de los modelos de lenguaje grande (LLM) se basan en los materiales de origen proporcionados por los usuarios. Guía de inicio rápido
Detección de texto de material protegido (versión preliminar) Examina el texto generado por IA para obtener contenido de texto conocido (por ejemplo, letras de canciones, artículos, recetas, contenido web seleccionado). Guía de inicio rápido
API de categorías personalizadas (versión preliminar) Permite crear y entrenar sus propias categorías de contenido personalizadas y examinar texto para buscar coincidencias. Guía de inicio rápido
API de categorías personalizadas (rápidas) (versión preliminar) Esta le permite definir rápidamente patrones de contenido dañinos emergentes y examinar texto e imágenes para buscar coincidencias. Guía paso a paso
API de análisis de texto Examina si en el texto hay contenido sexual, violencia, odio y autolesiones con niveles de gravedad múltiple.
API de análisis de imagen Examina si en las imágenes hay contenido sexual, violencia, odio y autolesiones con niveles de gravedad múltiple.

Content Safety Studio

Azure AI Content Safety Studio es una herramienta en línea diseñada para controlar todo aquel contenido que sea potencialmente ofensivo, arriesgado o no deseable mediante vanguardistas modelos de ML de moderación de contenido. Proporciona plantillas y flujos de trabajo personalizados, lo que permite a los usuarios elegir y crear su propio sistema de moderación de contenido. Los usuarios pueden cargar su propio contenido, o bien probarlo con el contenido de ejemplo que se proporciona.

Content Safety Studio no solo contiene modelos de inteligencia artificial integrados, sino que también incluye listas de bloqueados integradas de Microsoft para marcar palabras soeces y mantenerse al día de las nuevas tendencias. También puede cargar sus propias listas de bloqueados para mejorar la cobertura del contenido perjudicial específico de su caso de uso.

Studio también permite configurar un flujo de trabajo de moderación, donde se puede supervisar y mejorar continuamente el rendimiento de la moderación de contenido. Puede ayudarle a cumplir los requisitos de contenido de todo tipo de sectores, como juegos, multimedia, educación, comercio electrónico, etc. Las empresas pueden conectar fácilmente sus servicios a Studio, lo que permite que su contenido se modere en tiempo real, tanto el que generan los usuarios como el que genera la inteligencia artificial.

Todas estas funcionalidades las controlan Studio y su backend; los clientes no necesitan preocuparse por el desarrollo de modelos. Puede incorporar los datos para una validación rápida y supervisar los KPI en consecuencia, como métricas técnicas (latencia, precisión, recuperación) o métricas empresariales (tasa de bloques, volumen de bloques, proporciones de categoría, proporciones de idioma, etc.). Con configuraciones y operaciones sencillas, los clientes pueden probar diferentes soluciones rápidamente y encontrar la mejor opción, en lugar de dedicar tiempo a experimentar con modelos personalizados o realizar la moderación de forma manual.

Content Safety Studio

Características de Content Safety Studio

En Content Safety Studio, están disponibles las siguientes características del servicio de seguridad del contenido de Azure AI:

  • Contenido de texto moderado: con la herramienta de moderación de texto, se pueden ejecutar fácilmente pruebas en el contenido de texto. Independientemente de que desee probar una sola oración o todo un conjunto de datos completo, nuestra herramienta ofrece una interfaz fácil de usar que le permite evaluar los resultados de las pruebas directamente en el portal. Puede experimentar con diferentes niveles de confidencialidad para configurar los filtros de contenido y la administración de listas de bloqueos, lo que garantiza que el contenido siempre se modera en función de las especificaciones exactas. Además, con la capacidad de exportar el código, puede implementar la herramienta directamente en la aplicación, lo que simplifica el flujo de trabajo y ahorra tiempo.

  • Contenido de imágenes moderado: con la herramienta de moderación de imágenes, puede ejecutar fácilmente pruebas en imágenes para asegurarse de que cumplen los estándares de contenido. Nuestra interfaz fácil de usar le permite evaluar los resultados de la prueba directamente en el portal y, además, puede experimentar con diferentes niveles de confidencialidad para configurar los filtros de contenido. Una vez que haya personalizado la configuración, puede exportar fácilmente el código para implementar la herramienta en la aplicación.

  • Supervisión de la actividad en línea: la eficaz página de supervisión le permite realizar fácilmente un seguimiento del uso y las tendencias de la API de moderación en distintas modalidades. Con esta característica, puede acceder a información de respuesta detallada, incluidas la distribución de categorías y gravedad, la latencia, el error y la detección de listas de bloqueados. Esta información le proporciona una visión general completa del rendimiento de la moderación de contenido, lo que le permite optimizar el flujo de trabajo y asegurarse de que el contenido siempre se modera en función de sus especificaciones exactas. Con nuestra interfaz fácil de usar, puede desplazarse de forma rápida y sencilla por la página de supervisión para acceder a la información que necesita para tomar decisiones informadas sobre su estrategia de moderación de contenido. Tiene las herramientas necesarias para mantenerse al día del rendimiento de la moderación de contenido y lograr sus objetivos, en lo relativo al contenido.

Seguridad

Uso de Microsoft Entra ID o identidad administrada para administrar el acceso

Para mejorar la seguridad, puede usar Microsoft Entra ID o Identidad administrada (MI) para administrar el acceso a los recursos.

  • La identidad administrada se habilita automáticamente al crear un recurso de Content Safety.
  • Microsoft Entra ID se admite en escenarios de API y SDK. Consulte la guía general de servicios de inteligencia artificial de Autenticación con Microsoft Entra ID. Para conceder acceso a otros usuarios de su organización, asígneles los roles de Lector y Usuario de Cognitive Services. Para más información sobre cómo conceder acceso de usuario a los recursos de Azure desde Azure Portal, consulte la Guía de control de acceso basado en roles.

Cifrado de datos en reposo

Obtenga información sobre la forma en que seguridad del contenido de Azure AI controla el cifrado y descifrado de los datos. Las claves administradas por el cliente (CMK), que también se conocen como Bring Your Own Key (BYOK), ofrecen más flexibilidad para crear, girar, deshabilitar y revocar controles de acceso. También permite auditar las claves de cifrado que se usan para proteger los datos.

Precios

Actualmente, seguridad del contenido de Azure AI tiene un plan de tarifa F0 y S0. Consulte la página de precios para más información.

Límites de servicio

Requisitos de entrada

Vea la siguiente lista para obtener los requisitos de entrada de cada característica.

  • API de análisis de texto:
    • Longitud máxima predeterminada: 10 000 caracteres (los textos más largos se dividen según sea necesario).
  • API de análisis de imagen:
    • Tamaño máximo de archivo de imagen: 4 MB
    • Dimensiones entre 50 x 50 y 2048 x 2048 píxeles.
    • Las imágenes pueden estar en formato JPEG, PNG, GIF, BMP, TIFF o WEBP.
  • Escudos de avisos (versión preliminar):
    • Longitud máxima del mensaje: 10 000 caracteres.
    • Hasta cinco documentos con un total de 10 000 caracteres.
  • Detección de la base (versión preliminar):
    • Longitud máxima para orígenes de base: 55 000 caracteres (por llamada API).
    • Longitud máxima de texto y consulta: 7500 caracteres.
  • Detección de material protegido (versión preliminar):
    • Longitud máxima predeterminada: 1000 caracteres.
    • Longitud mínima predeterminada: 110 caracteres (para examinar finalizaciones de LLM, no solicitudes de usuario).
  • Categorías personalizadas (estándar):
    • Longitud máxima de entrada de inferencia: mil caracteres.

Compatibilidad con idiomas

Los modelos de Seguridad del contenido se han entrenado y probado específicamente en los siguientes idiomas: inglés, alemán, japonés, español, francés, italiano, portugués y chino. Sin embargo, el servicio puede funcionar en muchos otros idiomas, pero la calidad puede variar. En todos los casos, debe realizar sus propias pruebas para asegurarse de que funciona para la aplicación.

Actualmente, las categorías personalizadas solo funcionan bien en inglés. Puede intentar usar otros idiomas con su propio conjunto de datos, pero la calidad puede variar en todos los idiomas.

Para obtener más información, consulte Compatibilidad de idioma.

Disponibilidad regional

Para usar las API de Seguridad del contenido, debe crear el recurso seguridad del contenido de Azure AI en las regiones admitidas. Actualmente, las características de seguridad del contenido están disponibles en las siguientes regiones de Azure:

Region API de moderación Escudos de avisos
(versión preliminar)		 Material protegido
detección (versión preliminar)		 Base
detección (versión preliminar)		 Categorías personalizadas
(rápido) (versión preliminar)		 Categorías personalizadas
(estándar)		 Listas de bloqueados
Este de EE. UU. ✅ ✅ ✅ ✅ ✅ ✅ ✅
Este de EE. UU. 2 ✅ ✅ ✅ ✅
Oeste de EE. UU. ✅
Oeste de EE. UU. 2 ✅ ✅ ✅
Centro de EE. UU. ✅ ✅
Centro-Norte de EE. UU ✅ ✅ ✅
Centro-sur de EE. UU. ✅ ✅ ✅
Este de Canadá ✅ ✅ ✅
Norte de Suiza ✅ ✅ ✅ ✅
Centro de Suecia ✅ ✅ ✅ ✅
Sur de Reino Unido ✅ ✅ ✅
Centro de Francia ✅ ✅ ✅
Oeste de Europa ✅ ✅ ✅ ✅ ✅
Japón Oriental ✅ ✅ ✅
Este de Australia ✅ ✅ ✅ ✅ ✅

No dude en ponerse en contacto con nosotros si necesita otras regiones para su negocio.

Tasas de consulta

Las características de seguridad de contenido tienen límites de frecuencia de consulta en solicitudes por segundo (RPS) o solicitudes por 10 segundos (RP10S). Vea la tabla siguiente para obtener los límites de frecuencia de cada característica.

Plan de tarifa API de moderación Escudos de avisos
(versión preliminar)		 Material protegido
detección (versión preliminar)		 Base
detección (versión preliminar)		 Categorías personalizadas
(rápido) (versión preliminar)		 Categorías personalizadas
(estándar) (versión preliminar)
F0 1000 RP10S 1000 RP10S 1000 RP10S 50 RP10S 1000 RP10S 5 RPS
S0 1000 RP10S 1000 RP10S 1000 RP10S 50 RP10S 1000 RP10S 5 RPS

Si necesita una tarifa más rápida, póngase en contacto con nosotros para solicitarla.

Ponerse en contacto con nosotros

Si no sabe cómo proceder, envíenos un correo electrónico o use el widget de comentarios en la parte inferior de cualquier página de Microsoft Learn.

Pasos siguientes

Siga un inicio rápido para empezar a usar seguridad del contenido de Azure AI en la aplicación.

Inicio rápido sobre Content Safety