¿Qué es Azure AI Content Safety?
Azure AI Content Safety detecta contenido perjudicial generado por usuario y generado por inteligencia artificial en aplicaciones y servicios. Seguridad del contenido de Azure AI incluye varias API de texto e imagen que permiten detectar todo aquel material que sea perjudicial. También tenemos Content Safety Studio, que es interactivo y permite ver, explorar y probar código de ejemplo para detectar contenido perjudicial en diferentes modalidades.
El software de filtrado de contenido pueden ayudar a que cualquier aplicación cumpla las regulaciones o mantenga el entorno previsto para los usuarios.
Esta documentación contiene los siguientes tipos de artículos:
- Los inicios rápidos son instrucciones de inicio que le guiarán a la hora de hacer solicitudes al servicio.
- Las guías de procedimientos contienen instrucciones para usar el servicio de una manera más específica o personalizada.
- Los conceptos proporcionan explicaciones detalladas sobre la funcionalidad y las características del servicio.
Dónde se usa
Los siguientes son algunos escenarios en los que un desarrollador o un equipo de desarrolladores de software usaría un servicio de moderación de contenido:
- Mercados en línea que moderan catálogos de productos y otro contenido generado por el usuario.
- Empresas de juegos que moderan los artefactos de juego generados por el usuario y las salas de chat.
- Plataformas de mensajería de las redes sociales que moderan las imágenes y el texto que agregan los usuarios.
- Empresas multimedia que implementan la moderación de centralizada de su contenido.
- Proveedores de soluciones educativas de tipo K-12 que filtran contenido que no es apropiado para alumnos y educadores.
Importante
Seguridad del contenido de Azure AI no se puede usar para detectar imágenes ilegales de explotación infantil.
Tipos de producto
Este servicio dispone de diferentes tipos de análisis. En la tabla siguiente se describen las API que están disponibles en la actualidad.
| Tipo | Funcionalidad |
|---|---|
| API de análisis de texto | Examina si en el texto hay contenido sexual, violencia, odio y autolesiones con niveles de gravedad múltiple. |
| API de análisis de imagen | Examina si en las imágenes hay contenido sexual, violencia, odio y autolesiones con niveles de gravedad múltiple. |
| Escudos de avisos (versión preliminar) | Examina el texto del riesgo de un ataque de entrada de usuario en un modelo de lenguaje grande. Guía de inicio rápido |
| Detección de la base (versión preliminar) | Detecta si las respuestas de texto de los modelos de lenguaje grande (LLM) se basan en los materiales de origen proporcionados por los usuarios. Guía de inicio rápido |
| Detección de texto de material protegido (versión preliminar) | Examina el texto generado por IA para obtener contenido de texto conocido (por ejemplo, letras de canciones, artículos, recetas, contenido web seleccionado). Guía de inicio rápido |
Content Safety Studio
Azure AI Content Safety Studio es una herramienta en línea diseñada para controlar todo aquel contenido que sea potencialmente ofensivo, arriesgado o no deseable mediante vanguardistas modelos de ML de moderación de contenido. Proporciona plantillas y flujos de trabajo personalizados, lo que permite a los usuarios elegir y crear su propio sistema de moderación de contenido. Los usuarios pueden cargar su propio contenido, o bien probarlo con el contenido de ejemplo que se proporciona.
Content Safety Studio no solo contiene modelos de inteligencia artificial integrados, sino que también incluye listas de bloqueados integradas de Microsoft para marcar palabras soeces y mantenerse al día de las nuevas tendencias. También puede cargar sus propias listas de bloqueados para mejorar la cobertura del contenido perjudicial específico de su caso de uso.
Studio también permite configurar un flujo de trabajo de moderación, donde se puede supervisar y mejorar continuamente el rendimiento de la moderación de contenido. Puede ayudarle a cumplir los requisitos de contenido de todo tipo de sectores, como juegos, multimedia, educación, comercio electrónico, etc. Las empresas pueden conectar fácilmente sus servicios a Studio, lo que permite que su contenido se modere en tiempo real, tanto el que generan los usuarios como el que genera la inteligencia artificial.
Todas estas funcionalidades las controlan Studio y su backend; los clientes no necesitan preocuparse por el desarrollo de modelos. Puede incorporar los datos para una validación rápida y supervisar los KPI en consecuencia, como métricas técnicas (latencia, precisión, recuperación) o métricas empresariales (tasa de bloques, volumen de bloques, proporciones de categoría, proporciones de idioma, etc.). Con configuraciones y operaciones sencillas, los clientes pueden probar diferentes soluciones rápidamente y encontrar la mejor opción, en lugar de dedicar tiempo a experimentar con modelos personalizados o realizar la moderación de forma manual.
Características de Content Safety Studio
En Content Safety Studio, están disponibles las siguientes características del servicio de seguridad del contenido de Azure AI:
Contenido de texto moderado: con la herramienta de moderación de texto, se pueden ejecutar fácilmente pruebas en el contenido de texto. Independientemente de que desee probar una sola oración o todo un conjunto de datos completo, nuestra herramienta ofrece una interfaz fácil de usar que le permite evaluar los resultados de las pruebas directamente en el portal. Puede experimentar con diferentes niveles de confidencialidad para configurar los filtros de contenido y la administración de listas de bloqueos, lo que garantiza que el contenido siempre se modera en función de las especificaciones exactas. Además, con la capacidad de exportar el código, puede implementar la herramienta directamente en la aplicación, lo que simplifica el flujo de trabajo y ahorra tiempo.
Contenido de imágenes moderado: con la herramienta de moderación de imágenes, puede ejecutar fácilmente pruebas en imágenes para asegurarse de que cumplen los estándares de contenido. Nuestra interfaz fácil de usar le permite evaluar los resultados de la prueba directamente en el portal y, además, puede experimentar con diferentes niveles de confidencialidad para configurar los filtros de contenido. Una vez que haya personalizado la configuración, puede exportar fácilmente el código para implementar la herramienta en la aplicación.
Supervisión de la actividad en línea: la eficaz página de supervisión le permite realizar fácilmente un seguimiento del uso y las tendencias de la API de moderación en distintas modalidades. Con esta característica, puede acceder a información de respuesta detallada, incluidas la distribución de categorías y gravedad, la latencia, el error y la detección de listas de bloqueados. Esta información le proporciona una visión general completa del rendimiento de la moderación de contenido, lo que le permite optimizar el flujo de trabajo y asegurarse de que el contenido siempre se modera en función de sus especificaciones exactas. Con nuestra interfaz fácil de usar, puede desplazarse de forma rápida y sencilla por la página de supervisión para acceder a la información que necesita para tomar decisiones informadas sobre su estrategia de moderación de contenido. Tiene las herramientas necesarias para mantenerse al día del rendimiento de la moderación de contenido y lograr sus objetivos, en lo relativo al contenido.
Requisitos de entrada
La longitud máxima predeterminada para envíos de texto es 10 000 caracteres. Si necesita analizar bloques de texto más largos, puede dividir el texto de entrada (por ejemplo, por puntuación o espaciado) en varios envíos relacionados.
El tamaño máximo de los envíos de imágenes es de 4 MB y las dimensiones de las imágenes deben estar entre 50 x 50 píxeles y 2048 x 2048 píxeles. Las imágenes pueden estar en los siguientes formatos: JPEG, PNG, GIF, BMP, TIFF o WEBP.
Seguridad
Uso de Microsoft Entra ID o identidad administrada para administrar el acceso
Para mejorar la seguridad, puede usar Microsoft Entra ID o Identidad administrada (MI) para administrar el acceso a los recursos.
- La identidad administrada se habilita automáticamente al crear un recurso de Content Safety.
- Microsoft Entra ID se admite en escenarios de API y SDK. Consulte la guía general de servicios de inteligencia artificial de Autenticación con Microsoft Entra ID. Para conceder acceso a otros usuarios de su organización, asígneles los roles de Lector y Usuario de Cognitive Services. Para más información sobre cómo conceder acceso de usuario a los recursos de Azure desde Azure Portal, consulte la Guía de control de acceso basado en roles.
Cifrado de datos en reposo
Obtenga información sobre la forma en que seguridad del contenido de Azure AI controla el cifrado y descifrado de los datos. Las claves administradas por el cliente (CMK), que también se conocen como Bring Your Own Key (BYOK), ofrecen más flexibilidad para crear, girar, deshabilitar y revocar controles de acceso. También permite auditar las claves de cifrado que se usan para proteger los datos.
Precios
Actualmente, seguridad del contenido de Azure AI tiene un plan de tarifa F0 y S0.
Límites de servicio
Compatibilidad con idiomas
Los modelos de Seguridad del contenido se han entrenado y probado específicamente en los siguientes idiomas: inglés, alemán, japonés, español, francés, italiano, portugués y chino. Sin embargo, el servicio puede funcionar en muchos otros idiomas, pero la calidad puede variar. En todos los casos, debe realizar sus propias pruebas para asegurarse de que funciona para la aplicación.
Para obtener más información, consulte Compatibilidad de idioma.
Región o ubicación
Para usar las API de Seguridad del contenido, debe crear el recurso seguridad del contenido de Azure AI en las regiones admitidas. Actualmente, está disponible en las siguientes regiones de Azure:
- Este de Australia
- Este de Canadá
- Centro de EE. UU.
- Este de EE. UU.
- Este de EE. UU. 2
- Centro de Francia
- Japón Oriental
- Centro-Norte de EE. UU
- Centro-sur de EE. UU.
- Norte de Suiza
- Sur de Reino Unido
- Oeste de Europa
- Oeste de EE. UU. 2
- Centro de Suecia
Las características en versión preliminar pública, como los escudos de avisos y la detección de material protegido, están disponibles en las siguientes regiones de Azure:
- Este de EE. UU.
- Oeste de Europa
No dude en ponerse en contacto con nosotros si necesita otras regiones para su negocio.
Tasas de consulta
| Nivel de precios | Solicitudes en 10 segundos (RPS) |
|---|---|
| F0 | 1 000 |
| S0 | 1 000 |
Si necesita una tarifa más rápida, póngase en contacto con nosotros para solicitarla.
Ponerse en contacto con nosotros
Si se queda bloqueado, envíenos un correo electrónico o use el widget de comentarios de la esquina superior derecha de cualquier página de documentos.
Pasos siguientes
Siga un inicio rápido para empezar a usar seguridad del contenido de Azure AI en la aplicación.