Compartir a través de

Herramienta Azure OpenAI GPT-4 Turbo con Visión en el portal de Azure AI Foundry

Importante

Los elementos marcados (versión preliminar) en este artículo se encuentran actualmente en versión preliminar pública. Esta versión preliminar se ofrece sin acuerdo de nivel de servicio y no se recomienda para las cargas de trabajo de producción. Es posible que algunas características no sean compatibles o que tengan sus funcionalidades limitadas. Para más información, consulte Términos de uso complementarios para las versiones preliminares de Microsoft Azure.

La herramienta de flujo de avisos Azure OpenAI GPT-4 Turbo con Vision le permite usar la implementación de modelo Azure OpenAI GPT-4 Turbo con Vision para analizar imágenes y proporcionar respuestas textuales a preguntas sobre ellas.

Prerrequisitos

Nota:

Debe usar un proyecto basado en concentrador para esta característica. No se admite un proyecto foundry . Consulte ¿Cómo sé qué tipo de proyecto tengo? y Creación de un proyecto basado en concentrador.

Compilación con la herramienta Azure OpenAI GPT-4 Turbo con Vision

  1. Cree o abra un flujo en Azure AI Foundry. Para más información, consulte Creación de un flujo.

  2. Seleccione + Más herramientas>Azure OpenAI GPT-4 Turbo con Vision para agregar la herramienta Azure OpenAI GPT-4 Turbo con Vision al flujo.

    Recorte de pantalla que muestra la herramienta Azure OpenAI GPT-4 Turbo con Visión agregada a un flujo en el portal de Azure AI Foundry.

  3. Seleccione la conexión a Azure OpenAI en Modelos de Azure AI Foundry. Por ejemplo, puede seleccionar la conexión Default_AzureOpenAI. Para obtener más información, consulte Requisitos previos.

  4. Escriba los valores para los parámetros de entrada de la herramienta Azure OpenAI GPT-4 Turbo con Vision que se describen en la tabla de entradas. Por ejemplo, puede usar este mensaje de ejemplo:

    # system:
As an AI assistant, your task involves interpreting images and responding to questions about the image.
Remember to provide accurate answers based on the information present in the image.

# user:
Can you tell me what the image depicts?
![image]({{image_input}})

  5. Seleccione Validar y analizar la entrada para validar las entradas de la herramienta.

  6. Especifique una imagen que se va a analizar en el parámetro de entrada image_input. Por ejemplo, puede cargar una imagen o escribir la dirección URL de una imagen que se va a analizar. De lo contrario, puede pegar o arrastrar y colocar una imagen en la herramienta.

  7. Agregue más herramientas al flujo, según sea necesario. O bien, seleccione Ejecutar para ejecutar el flujo.

Las salidas se describen en la tabla Salidas.

Esta es una respuesta de salida de ejemplo:

{
    "system_metrics": {
        "completion_tokens": 96,
        "duration": 4.874329,
        "prompt_tokens": 1157,
        "total_tokens": 1253
    },
    "output": "The image depicts a user interface for Azure's OpenAI GPT-4 service. It is showing a configuration screen where settings related to the AI's behavior can be adjusted, such as the model (GPT-4), temperature, top_p, frequency penalty, etc. There's also an area where users can enter a prompt to generate text, and an option to include an image input for the AI to interpret, suggesting that this particular interface supports both text and image inputs."
}

Entradas

Están disponibles los siguientes parámetros de entrada.

Nombre Tipo Descripción Obligatorio
conexión AzureOpenAI Conexión de Azure OpenAI que se va a usar en la herramienta. Sí
nombre_de_despliegue cuerda / cadena Modelo de lenguaje que se va a usar. Sí
inmediato cuerda / cadena Mensaje de texto que usa el modelo de lenguaje para generar su respuesta. La plantilla Jinja para redactar avisos en esta herramienta sigue una estructura similar a la API de chat de la herramienta de modelo de gran tamaño (LLM). Para representar una entrada de imagen en el símbolo del sistema, puede usar la sintaxis ![image]({{INPUT NAME}}). La entrada de imagen se puede pasar en los mensajes user, system y assistant. Sí
max_tokens entero El número máximo de tokens a generar en la respuesta. El valor predeterminado es 512. No
temperatura flotante La aleatoriedad del texto generado. El valor predeterminado es 1. No
parar lista La secuencia de detención para el texto generado. El valor predeterminado es null. No
top_p flotante La probabilidad de usar la opción superior de los tokens generados. El valor predeterminado es 1. No
presence_penalty flotante El valor que controla el comportamiento del modelo con respecto a las frases repetidas. El valor predeterminado es 0. No
frequency_penalty flotante El valor que controla el comportamiento del modelo con respecto a la generación de frases poco frecuentes. El valor predeterminado es 0. No

Salidas

Están disponibles los siguientes parámetros de salida.

Tipo de retorno Descripción
cuerda / cadena Texto de una respuesta de conversación

Pasos siguientes