Revisión humana para automatización con una pregunta

Este artículo enfatiza el papel fundamental de la revisión humana en la implementación de la característica Crear texto con GPT en Power Automate. Esta característica utiliza el modelo generación de texto de AI Builder, impulsado por el servicio OpenAI de Azure. Aunque estos modelos son muy eficaces, a veces pueden generar información engañosa o inventada y son susceptibles a ataques de inyección rápidos.

Importante

• Las preguntas de AI Builder se ejecutan en el modelo GPT-3.5 Turbo con tecnología de Azure OpenAI Service.
• Esta capacidad está limitada a algunas regiones.
• Esta capacidad puede estar sujeta a límites de uso o limitación de capacidad.

Ataques de inyección rápida

Un ataque de inyección rápida ocurre cuando un tercero aprovecha la confianza inherente del modelo en todas las fuentes de entrada. El atacante inyecta una pregunta en el contenido con el que un usuario legítimo solicita a la solución de IA que interactúe, lo que provoca un cambio en la salida de la solución de IA y, potencialmente, en sus acciones.

Por ejemplo, considere un escenario en el que un desarrollador ciudadano utiliza la acción Crear texto con GPT para formular respuestas a las quejas de los clientes recopiladas de varias plataformas, como correos electrónicos, redes sociales o foros. Un atacante podría insertar un mensaje en el contenido de una de estas fuentes. Este escenario podría engañar al modelo y generar una respuesta que difiera de la prevista. La respuesta podría ser inapropiada, incorrecta o dañina. El envío de información incorrecta a los clientes podría afectar negativamente la reputación de la empresa y el número de cliente Relaciones.

Fabricación en modelos de IA

La fabricación, también conocida como alucinación, es otro desafío al que se enfrentan los modelos de IA, incluido el modelo de generación de texto. La fabricación ocurre cuando el modelo de IA genera información que no se basa en entradas proporcionadas o datos preexistentes, esencialmente inventando o alucinando información.

Por ejemplo, si se pide al modelo de IA que genere un resumen de un evento histórico basado en un texto determinado, puede incluir detalles o eventos que no se mencionaron en el texto fuente. Por ejemplo, un flujo crea una sinopsis de una reunión basada en la transcripción de la grabación. Los datos de entrada incluyen detalles sobre los asistentes, los artículos discutidos y las decisiones tomadas. Sin embargo, el modelo podría generar un resumen que incluya un elemento de acción o una decisión que nunca se discutió en la reunión. Esta situación es un ejemplo de fabricación, donde el modelo ha alucinado una información que no existe en los datos de entrada.

Para mitigar el riesgo de fabricación, es fundamental implementar prácticas responsables de IA. Esto incluye pruebas rigurosas del aviso y el flujo, proporcionar al modelo tanta información básica como sea posible y, finalmente, implementar un sistema sólido para la supervisión humana.

Abordar los riesgos mediante prácticas responsables de IA

Abogamos por prácticas responsables de IA como medio para reducir los riesgos. A pesar de contar con estrategias para moderar el contenido producido por el modelo, gestionar la propensión del modelo a generar respuestas fabricadas o sucumbir a ataques de inyección sigue siendo un desafío complejo. Reconocemos estos riesgos y reafirmamos nuestro compromiso con la supervisión y el control humanos.

En reconocimiento de la necesidad de una automatización perfecta, estamos mejorando proactivamente nuestros sistemas de seguridad y buscando una comprensión más profunda de estos desafíos. Nuestro objetivo es perfeccionar aún más el modelo de generación de texto con medidas de seguridad adecuadas, de acuerdo con nuestros principios de IA responsable desde el diseño, devolviendo el control a los desarrolladores siempre que sea posible.

Consulte también

IA responsable - Preguntas frecuentes