Herramienta LLM para flujos en Inteligencia artificial de Azure Studio

Importante

Los elementos marcados (versión preliminar) en este artículo se encuentran actualmente en versión preliminar pública. Esta versión preliminar se ofrece sin acuerdo de nivel de servicio y no se recomienda para las cargas de trabajo de producción. Es posible que algunas características no sean compatibles o que tengan sus funcionalidades limitadas. Para más información, consulte Términos de uso complementarios de las Versiones Preliminares de Microsoft Azure.

Para usar modelos de lenguaje de gran tamaño (LLM) para el procesamiento de lenguaje natural, use la herramienta de flujo de avisos de LLM.

Nota:

Para inserciones que conviertan texto en representaciones vectoriales densas para varias tareas de procesamiento de lenguaje natural, consulte herramienta de inserción.

Requisitos previos

Prepare un mensaje tal como se describe en la documentación de herramienta de solicitudes. La herramienta LLM y la herramienta de solicitudes admiten plantillas de Jinja. Para obtener más información y procedimientos recomendados, consulte las técnicas de ingeniería de solicitudes.

Compilación con la herramienta LLM

1. Crear o abrir un flujo en Azure AI Studio. Para más información, consulte Creación de un flujo.

2. Seleccione + LLM para agregar la herramienta LLM al flujo.

   

3. Seleccione la conexión a uno de los recursos aprovisionados. Por ejemplo, seleccione Default_AzureOpenAI.

4. En la lista desplegable Api, seleccione chat o finalización.

5. Escriba valores para los parámetros de entrada de la herramienta de LLM descritos en la tabla de entradas de finalización de texto. Si seleccionó la API de chat, consulte la tabla de entradas de chat. Si seleccionó la API de finalización, consulte la tabla de entradas de finalización de texto. Para obtener información sobre cómo preparar la entrada de la solicitud, consulte los requisitos previos.

6. Agregue más herramientas al flujo, según sea necesario. O bien, seleccione Ejecutar para ejecutar el flujo.

7. Las salidas se describen en la tabla Salidas.

Entradas

Están disponibles los siguientes parámetros de entrada.

Entradas de finalización de texto

Nombre	Escribir	Descripción	Obligatorio
símbolo del sistema	cadena	Solicitud de texto para el modelo de lenguaje.	Sí
model, deployment_name	string	Modelo de lenguaje que se va a usar.	Sí
max_tokens	integer	El número máximo de tokens a generar en la finalización. El valor predeterminado es 16.	No
temperatura	FLOAT	La aleatoriedad del texto generado. El valor predeterminado es 1.	No
stop	list	La secuencia de detención para el texto generado. El valor predeterminado es null.	No
sufijo	string	El texto anexado al final de la finalización.	No
top_p	FLOAT	La probabilidad de usar la opción superior de los tokens generados. El valor predeterminado es 1.	No
logprobs	integer	El número de probabilidades de registro a generar. El valor predeterminado es null.	No
echo	boolean	El valor que indica si se devuelve la solicitud en la respuesta. El valor predeterminado es False.	No
presence_penalty	flotante	El valor que controla el comportamiento del modelo con respecto a las frases repetidas. El valor predeterminado es 0.	No
frequency_penalty	flotante	El valor que controla el comportamiento del modelo con respecto a la generación de frases poco frecuentes. El valor predeterminado es 0.	No
best_of	integer	El número de mejores finalizaciones a generar. El valor predeterminado es 1.	No
logit_bias	diccionario	El sesgo logit para el modelo de lenguaje. El valor predeterminado es un diccionario vacío.	No

Entradas de chat

Nombre	Escribir	Descripción	Obligatorio
símbolo del sistema	string	El mensaje de solicitud que el modelo de lenguaje responderá.	Sí
model, deployment_name	string	Modelo de lenguaje que se va a usar.	Sí
max_tokens	integer	El número máximo de tokens a generar en la respuesta. El valor predeterminado es inf.	No
temperatura	FLOAT	La aleatoriedad del texto generado. El valor predeterminado es 1.	No
stop	list	La secuencia de detención para el texto generado. El valor predeterminado es null.	No
top_p	FLOAT	La probabilidad de usar la opción superior de los tokens generados. El valor predeterminado es 1.	No
presence_penalty	flotante	El valor que controla el comportamiento del modelo con respecto a las frases repetidas. El valor predeterminado es 0.	No
frequency_penalty	flotante	El valor que controla el comportamiento del modelo con respecto a la generación de frases poco frecuentes. El valor predeterminado es 0.	No
logit_bias	diccionario	El sesgo logit para el modelo de lenguaje. El valor predeterminado es un diccionario vacío.	No

Salidas

La salida varía en función de la API seleccionada para las entradas.

API	Tipo de valor devuelto	Descripción
Completion	string	El texto de una finalización prevista.
Chat	string	El texto de una respuesta de conversación.

Pasos siguientes

• Obtenga más información sobre cómo crear un flujo