Nota sobre transparencia para generar automáticamente variantes de solicitud en el flujo de avisos
Artículo
¿Qué es una nota de transparencia?
Un sistema de inteligencia artificial incluye no solo la tecnología, sino también a las personas que lo usan, las personas a las que afecta y el entorno en el que se implementa. La creación de un sistema adecuado a su finalidad requiere comprender cómo funciona la tecnología, cuáles son sus capacidades y limitaciones, y cómo conseguir el mejor rendimiento.
Las notas sobre transparencia de Microsoft le ayudan a comprender:
Cómo funciona nuestra tecnología de inteligencia artificial.
Las decisiones que pueden tomar los propietarios del sistema y que influyen en su rendimiento y comportamiento.
La importancia de pensar en todo el sistema, incluyendo la tecnología, las personas y el entorno.
Puede usar las notas sobre transparencia al desarrollar o implementar su propio sistema. O bien puede compartirlas con las personas que usan el sistema o que se ven afectadas por este.
Las notas sobre transparencia forman parte de un esfuerzo más amplio de Microsoft de poner en práctica los principios de la inteligencia artificial. Para más información, consulte los principios de inteligencia artificial de Microsoft.
Importante
Las variantes de avisos de generación automática se encuentran actualmente en versión preliminar pública. Esta versión preliminar se ofrece sin acuerdo de nivel de servicio y no se recomienda para las cargas de trabajo de producción. Es posible que algunas características no sean compatibles o que tengan sus funcionalidades limitadas.
Para más información, consulte Términos de uso complementarios de las Versiones Preliminares de Microsoft Azure.
Aspectos básicos de la generación automática de variantes de solicitud en el flujo de avisos
En el centro de la creación de aplicaciones mediante modelos de lenguaje se encuentra la ingeniería de avisos. El flujo de avisos de Microsoft ofrece funcionalidades enriquecidas para editar, probar de forma masiva y evaluar interactivamente los avisos con flujos integrados para elegir el mejor aviso.
La característica de generación automática de variantes de avisos en el flujo de avisos puede generar automáticamente variaciones del aviso base con la ayuda de los modelos de lenguaje. Puede probar esas variaciones en el flujo de avisos para alcanzar la solución óptima para el modelo y el caso de uso.
Esta nota sobre transparencia usa los siguientes términos clave:
Término
Definición
Flujo de avisos
Una herramienta de desarrollo que simplifica el ciclo de desarrollo de aplicaciones de inteligencia artificial que usan modelos de lenguaje. Para obtener más información, vea ¿Qué es el flujo de avisos de Azure Machine Learning?.
Ingeniería rápida
La práctica de crear y refinar avisos de entrada para obtener respuestas más deseables de un modelo de lenguaje.
Variantes de solicitud
Diferentes versiones o modificaciones de un aviso de entrada diseñadas para probar o lograr respuestas variadas de un modelo de lenguaje.
Solicitud base
El aviso inicial o principal que sirve como punto de partida para obtener respuesta de los modelos de lenguaje. En este caso, se proporciona el aviso base y se modifica para crear variantes de avisos.
Solicitud del sistema
Un aviso predefinido que genera un sistema, normalmente para iniciar una tarea o buscar información específica. Un aviso del sistema no es visible, pero se usa internamente para generar variantes de avisos.
Funcionalidades
Comportamiento del sistema
Use la característica de variantes de avisos de generación automática para generar automáticamente y, a continuación, evaluar las variaciones de avisos, para que pueda encontrar rápidamente el mejor aviso para su caso de uso. Esta característica mejora las funcionalidades del flujo de avisos para editar y evaluar los avisos de forma interactiva, con el objetivo de simplificar la ingeniería de avisos.
Cuando se proporciona un aviso base, la característica de generación automática de variantes de avisos genera varias variaciones mediante la potencia generativa de los modelos de Azure OpenAI Service y un aviso de sistema interno. Aunque Azure OpenAI Service proporciona filtros de administración de contenido, se recomienda comprobar los avisos generados antes de usarlos en escenarios de producción.
Casos de uso
El uso previsto de las variantes de avisos de generación automática es el de generar nuevos avisos a partir de un aviso base proporcionado con la ayuda de los modelos de lenguaje. No use la generación automática de variantes de avisos con decisiones que podrían tener consecuencias adversas graves.
Las variantes de avisos de generación automática no se diseñaron ni probaron para recomendar elementos que requieran más consideraciones relacionadas con la precisión, la gobernanza, la directiva o los conocimientos legales o expertos. Estas consideraciones suelen darse fuera del ámbito de los patrones de uso que llevan a cabo los usuarios normales (no expertos). Ejemplos de estos casos de uso son los diagnósticos médicos, las recomendaciones bancarias o financieras, las recomendaciones de contratación o colocación laboral, o las recomendaciones relacionadas con la vivienda.
Limitaciones
En la generación de variantes de avisos es importante comprender que, aunque los sistemas de inteligencia artificial son herramientas valiosas, no son deterministas. Es decir, la precisión perfecta (en qué medida los eventos generados por el sistema corresponden a eventos reales que se producen en un espacio) de las predicciones no es posible. Un buen modelo tiene una alta precisión, pero en ocasiones hace predicciones incorrectas. No comprender esta limitación puede llevar a confiar demasiado en el sistema y a tomar decisiones inmerecidas que pueden afectar a las partes interesadas.
Las variantes de avisos que genera la característica mediante modelos de lenguaje aparecen tal cual. Le recomendamos que evalúe y compare estas variantes para determinar el mejor aviso para un escenario.
Muchas de las evaluaciones que se ofrecen en los ecosistemas del flujo de avisos también dependen de los modelos de lenguaje. Esta dependencia puede reducir potencialmente la utilidad de cualquier aviso. Se recomienda encarecidamente hacer una revisión manual.
Limitaciones técnicas, factores operativos e intervalos
La característica de variantes de avisos de generación automática no proporciona una medida ni una evaluación de las variantes de avisos que proporciona. Se recomienda encarecidamente evaluar los avisos sugeridos de la manera que mejor se adapte a sus requisitos y casos de uso específicos.
La característica de generación automática de variantes de avisos se limita a generar cinco variaciones como máximo a partir de un aviso base. Si necesita más variaciones, modifique el aviso base para generarlas.
Las variantes de avisos de generación automática actualmente solo admiten los modelos de Azure OpenAI Service. También limita el contenido a lo que es aceptable en términos de la directiva de administración de contenidos en Azure OpenAI Service. La característica no admite usos fuera de esta directiva.
Rendimiento del sistema
El caso de uso en cada escenario determina el rendimiento de la característica de variantes de avisos de generación automática. La característica no evalúa los avisos ni genera métricas.
El funcionamiento del ecosistema del flujo de avisos, que se centra en la ingeniería de avisos, proporciona una historia sólida para el control de errores. Al reintentar la operación a menudo se resuelve un error.
Un error que puede surgir específico de esta característica es el filtrado de respuestas del recurso de Azure OpenAI Service para la detección de contenidos o daños. Este error se produce cuando el contenido del aviso base está en contra de la directiva de administración de contenidos de Azure OpenAI Service. Para resolver este error, actualice el aviso base de acuerdo con las instrucciones de filtrado de contenido de Azure OpenAI Service.
Prácticas recomendadas para mejorar el rendimiento del sistema
Para mejorar el rendimiento, puede modificar los parámetros siguientes, según el caso de uso y los requisitos del aviso:
Modelo: la elección de modelos que se usan con esta característica afecta al rendimiento. Como guía general, el modelo GPT-4 es más eficaz que el modelo GPT-3.5, por lo que puede prever que genere variantes de avisos que sean más eficaces.
Número de variantes: este parámetro especifica cuántas variantes se van a generar. Un mayor número de variantes genera más avisos y aumenta la probabilidad de encontrar el mejor aviso para el caso de uso.
Aviso base: dado que esta herramienta genera variantes del aviso base proporcionado, un aviso base sólido puede configurar la herramienta para proporcionar el valor máximo para su caso. Consulte las directrices de Técnicas de ingeniería de avisos.
Evaluación de la generación automática de variantes de solicitud
El equipo de desarrollo de Microsoft ha probado la característica de variantes de avisos de generación automática para evaluar la mitigación de daños y la adecuación para su propósito.
Las pruebas de mitigación de daños mostraron compatibilidad con la combinación de avisos del sistema y las directivas de administración de contenidos de Azure OpenAI para proteger activamente las respuestas. Encontrará más oportunidades para minimizar el riesgo de daños en Supervisión de abusos en Azure OpenAI Service y Filtrado de contenido de Azure OpenAI Service.
Las pruebas de idoneidad respaldaron la calidad de los avisos generados con fines creativos (poesía) y los agentes de bots de chat. Se le recomienda que no saque conclusiones generales, dada la amplitud de los posibles avisos base y casos de uso. Para su entorno, use evaluaciones adecuadas para los casos de uso necesarios y asegúrese de que un revisor humano forme parte del proceso.
Evaluación e integración de la generación automática de variantes de solicitud para su uso
El rendimiento de la característica de generación automática de variantes de avisos varía según el aviso base y el caso de uso. El uso verdadero de los avisos generados dependerá de una combinación de los muchos elementos del sistema en los que se usan los avisos.
Para garantizar un rendimiento óptimo en sus escenarios, debe hacer sus propias evaluaciones de las soluciones que implemente mediante variantes de avisos de generación automática. En general, siga un proceso de evaluación que:
Usa a las partes interesadas internas para evaluar cualquier solicitud generada.
Use a las partes interesadas internas para evaluar los resultados de cualquier sistema que emplee un aviso generado.
Incorpore KPI (indicadores clave de rendimiento) y supervisión de métricas al implementar el servicio mediante avisos generados que cumplan los objetivos de evaluación.
Obtenga información sobre cómo crear solicitudes atractivas e informativas con Microsoft Copilot. Este módulo le enseñará los conceptos básicos de la ingeniería de solicitudes, los elementos de una solicitud eficaz y los procedimientos recomendados para la escritura de solicitudes.
Demostrar conceptos fundamentales de inteligencia artificial relacionados con el desarrollo de software y servicios de Microsoft Azure para crear soluciones de inteligencia artificial.
Aprenda a implementar en el flujo de avisos un flujo como punto de conexión en línea administrado para la inferencia en tiempo real con Estudio de Azure Machine Learning.
El flujo de solicitudes de Azure Machine Learning es una herramienta de desarrollo diseñada para simplificar todo el ciclo de desarrollo de aplicaciones de inteligencia artificial con tecnología de modelos de lenguaje grandes (LLM).