Compartir a través de

Nota sobre transparencia para generar automáticamente variantes de solicitud en el flujo de avisos

¿Qué es una nota de transparencia?

Un sistema de inteligencia artificial incluye no solo la tecnología, sino también a las personas que lo usan, las personas a las que afecta y el entorno en el que se implementa. La creación de un sistema adecuado a su finalidad requiere comprender cómo funciona la tecnología, cuáles son sus capacidades y limitaciones, y cómo conseguir el mejor rendimiento.

Las notas sobre transparencia de Microsoft le ayudan a comprender:

  • Cómo funciona nuestra tecnología de inteligencia artificial.
  • Las decisiones que pueden tomar los propietarios del sistema y que influyen en su rendimiento y comportamiento.
  • La importancia de pensar en todo el sistema, incluyendo la tecnología, las personas y el entorno.

Puede usar las notas sobre transparencia al desarrollar o implementar su propio sistema. O bien puede compartirlas con las personas que usan el sistema o que se ven afectadas por este.

Las notas sobre transparencia forman parte de un esfuerzo más amplio de Microsoft de poner en práctica los principios de la inteligencia artificial. Para más información, consulte los principios de inteligencia artificial de Microsoft.

Importante

Las variantes de avisos de generación automática se encuentran actualmente en versión preliminar pública. Esta versión preliminar se ofrece sin acuerdo de nivel de servicio y no se recomienda para las cargas de trabajo de producción. Es posible que algunas características no sean compatibles o que tengan sus funcionalidades limitadas. Para más información, consulte Términos de uso complementarios de las Versiones Preliminares de Microsoft Azure.

Aspectos básicos de la generación automática de variantes de solicitud en el flujo de avisos

En el centro de la creación de aplicaciones mediante modelos de lenguaje se encuentra la ingeniería de avisos. El flujo de avisos de Microsoft ofrece funcionalidades enriquecidas para editar, probar de forma masiva y evaluar interactivamente los avisos con flujos integrados para elegir el mejor aviso.

La característica de generación automática de variantes de avisos en el flujo de avisos puede generar automáticamente variaciones del aviso base con la ayuda de los modelos de lenguaje. Puede probar esas variaciones en el flujo de avisos para alcanzar la solución óptima para el modelo y el caso de uso.

Esta nota sobre transparencia usa los siguientes términos clave:

Término Definición
Flujo de avisos Una herramienta de desarrollo que simplifica el ciclo de desarrollo de aplicaciones de inteligencia artificial que usan modelos de lenguaje. Para obtener más información, vea ¿Qué es el flujo de avisos de Azure Machine Learning?.
Ingeniería rápida La práctica de crear y refinar avisos de entrada para obtener respuestas más deseables de un modelo de lenguaje.
Variantes de solicitud Diferentes versiones o modificaciones de un aviso de entrada diseñadas para probar o lograr respuestas variadas de un modelo de lenguaje.
Solicitud base El aviso inicial o principal que sirve como punto de partida para obtener respuesta de los modelos de lenguaje. En este caso, se proporciona el aviso base y se modifica para crear variantes de avisos.
Solicitud del sistema Un aviso predefinido que genera un sistema, normalmente para iniciar una tarea o buscar información específica. Un aviso del sistema no es visible, pero se usa internamente para generar variantes de avisos.

Funcionalidades

Comportamiento del sistema

Use la característica de variantes de avisos de generación automática para generar automáticamente y, a continuación, evaluar las variaciones de avisos, para que pueda encontrar rápidamente el mejor aviso para su caso de uso. Esta característica mejora las funcionalidades del flujo de avisos para editar y evaluar los avisos de forma interactiva, con el objetivo de simplificar la ingeniería de avisos.

Cuando se proporciona un mensaje base, la característica de generación automática de variantes de aviso genera varias variaciones mediante la potencia generativa de Azure OpenAI en los modelos de Modelos de Azure AI Foundry y un aviso interno del sistema. Aunque Azure OpenAI en Azure AI Foundry Models proporciona filtros de administración de contenido, se recomienda comprobar las solicitudes generadas antes de usarlas en escenarios de producción.

Casos de uso

El uso previsto de las variantes de avisos de generación automática es el de generar nuevos avisos a partir de un aviso base proporcionado con la ayuda de los modelos de lenguaje. No use la generación automática de variantes de avisos con decisiones que podrían tener consecuencias adversas graves.

Las variantes de avisos de generación automática no se diseñaron ni probaron para recomendar elementos que requieran más consideraciones relacionadas con la precisión, la gobernanza, la directiva o los conocimientos legales o expertos. Estas consideraciones suelen darse fuera del ámbito de los patrones de uso que llevan a cabo los usuarios normales (no expertos). Ejemplos de estos casos de uso son los diagnósticos médicos, las recomendaciones bancarias o financieras, las recomendaciones de contratación o colocación laboral, o las recomendaciones relacionadas con la vivienda.

Limitaciones

En la generación de variantes de avisos es importante comprender que, aunque los sistemas de inteligencia artificial son herramientas valiosas, no son deterministas. Es decir, la precisión perfecta (en qué medida los eventos generados por el sistema corresponden a eventos reales que se producen en un espacio) de las predicciones no es posible. Un buen modelo tiene una alta precisión, pero en ocasiones hace predicciones incorrectas. No comprender esta limitación puede llevar a confiar demasiado en el sistema y a tomar decisiones inmerecidas que pueden afectar a las partes interesadas.

Las variantes de avisos que genera la característica mediante modelos de lenguaje aparecen tal cual. Le recomendamos que evalúe y compare estas variantes para determinar el mejor aviso para un escenario.

Muchas de las evaluaciones que se ofrecen en los ecosistemas del flujo de avisos también dependen de los modelos de lenguaje. Esta dependencia puede reducir potencialmente la utilidad de cualquier aviso. Se recomienda encarecidamente hacer una revisión manual.

Limitaciones técnicas, factores operativos e intervalos

La característica de variantes de avisos de generación automática no proporciona una medida ni una evaluación de las variantes de avisos que proporciona. Se recomienda encarecidamente evaluar los avisos sugeridos de la manera que mejor se adapte a sus requisitos y casos de uso específicos.

La característica de generación automática de variantes de avisos se limita a generar cinco variaciones como máximo a partir de un aviso base. Si necesita más variaciones, modifique el aviso base para generarlas.

En este momento, las variantes de indicaciones generadas automáticamente solo admiten modelos de Azure OpenAI. También limita el contenido a lo que es aceptable en términos de la directiva de administración de contenido en Azure OpenAI. La característica no admite usos fuera de esta directiva.

Rendimiento del sistema

El caso de uso en cada escenario determina el rendimiento de la característica de variantes de avisos de generación automática. La característica no evalúa los avisos ni genera métricas.

El funcionamiento del ecosistema del flujo de avisos, que se centra en la ingeniería de avisos, proporciona una historia sólida para el control de errores. Al reintentar la operación a menudo se resuelve un error.

Un error que puede surgir específico de esta característica es el filtrado de respuestas del recurso de Azure OpenAI para la detección de contenido o daños. Este error se produce cuando el contenido de las indicaciones base contraviene la política de gestión de contenido en Azure OpenAI. Para resolver este error, actualice el mensaje base de acuerdo con las instrucciones del filtrado de contenido de Azure OpenAI.

Prácticas recomendadas para mejorar el rendimiento del sistema

Para mejorar el rendimiento, puede modificar los parámetros siguientes, según el caso de uso y los requisitos del aviso:

  • Modelo: la elección de modelos que se usan con esta característica afecta al rendimiento. Como guía general, el modelo GPT-4 es más eficaz que el modelo GPT-3.5, por lo que puede prever que genere variantes de avisos que sean más eficaces.
  • Número de variantes: este parámetro especifica cuántas variantes se van a generar. Un mayor número de variantes genera más avisos y aumenta la probabilidad de encontrar el mejor aviso para el caso de uso.
  • Aviso base: dado que esta herramienta genera variantes del aviso base proporcionado, un aviso base sólido puede configurar la herramienta para proporcionar el valor máximo para su caso. Consulte las directrices de Técnicas de ingeniería de avisos.

Evaluación de la generación automática de variantes de solicitud

El equipo de desarrollo de Microsoft ha probado la característica de variantes de avisos de generación automática para evaluar la mitigación de daños y la adecuación para su propósito.

Las pruebas de mitigación de daños mostraron compatibilidad con la combinación de avisos del sistema y las directivas de administración de contenidos de Azure OpenAI para proteger activamente las respuestas. Puede encontrar más oportunidades para minimizar el riesgo de daños en la supervisión del abuso de Azure OpenAI y el filtrado de contenido de Azure OpenAI.

Las pruebas de idoneidad respaldaron la calidad de los avisos generados con fines creativos (poesía) y los agentes de bots de chat. Se le recomienda que no saque conclusiones generales, dada la amplitud de los posibles avisos base y casos de uso. Para su entorno, use evaluaciones adecuadas para los casos de uso necesarios y asegúrese de que un revisor humano forme parte del proceso.

Evaluación e integración de la generación automática de variantes de solicitud para su uso

El rendimiento de la característica de generación automática de variantes de avisos varía según el aviso base y el caso de uso. El uso verdadero de los avisos generados dependerá de una combinación de los muchos elementos del sistema en los que se usan los avisos.

Para garantizar un rendimiento óptimo en sus escenarios, debe hacer sus propias evaluaciones de las soluciones que implemente mediante variantes de avisos de generación automática. En general, siga un proceso de evaluación que:

  • Usa a las partes interesadas internas para evaluar cualquier solicitud generada.
  • Use a las partes interesadas internas para evaluar los resultados de cualquier sistema que emplee un aviso generado.
  • Incorpore KPI (indicadores clave de rendimiento) y supervisión de métricas al implementar el servicio mediante avisos generados que cumplan los objetivos de evaluación.

Obtener más información sobre la IA responsable

Más información sobre la generación automática de variantes de solicitud