Chat empresarial de Azure OpenAI con imágenes mediante GPT-4 Turbo with Vision

Importante

Los elementos marcados (versión preliminar) en este artículo se encuentran actualmente en versión preliminar pública. Esta versión preliminar se ofrece sin acuerdo de nivel de servicio y no se recomienda para las cargas de trabajo de producción. Es posible que algunas características no sean compatibles o que tengan sus funcionalidades limitadas. Para más información, consulte Términos de uso complementarios de las Versiones Preliminares de Microsoft Azure.

Use este artículo para aprender a proporcionar sus propios datos de imagen para GPT-4 Turbo con Vision, el modelo de visión de Azure OpenAI. El chat empresarial GPT-4 Turbo with Vision permite al modelo generar respuestas más personalizadas y dirigidas mediante la generación aumentada de recuperación basada en imágenes propias y metadatos de imagen.

Sugerencia

Este artículo sirve para usar los datos de imagen en el modelo GPT-4 Turbo con Vision. Vea Implementación de una aplicación web de chat empresarial para obtener un tutorial sobre cómo implementar una aplicación web de chat mediante los datos de texto.

Requisitos previos

• Una suscripción a Azure (cree una cuenta gratuita).
• Un recurso de Azure OpenAI con el modelo de GPT-4 Turbo con Vision implementado. Para obtener más información sobre la implementación de modelos, consulte la guía de implementación de recursos.
• Asegúrese de que tiene asignado al menos el rol de Colaborador de Cognitive Services para el recurso de Azure OpenAI.
• Un recurso de Azure AI Search. Consulte Creación de un servicio Azure AI Search en el portal. Si no tiene un recurso de Búsqueda de Azure AI, se le pedirá que cree uno al agregar el origen de datos más adelante en esta guía.
• Un centro de AI Studio con el recurso de Azure OpenAI y el recurso de Búsqueda de Azure AI agregados como conexiones.

Implementación de un modelo GPT-4 Turbo con Visión

1. Inicie sesión en Inteligencia artificial de Azure Studio y seleccione el centro en el que quiere trabajar.
2. En el menú de navegación izquierdo, seleccione Servicios de IA. Seleccione el panel Probar GPT-4 Turbo.
3. En la página gpt-4, seleccione Implementar. En la ventana que aparece, seleccione el recurso de Azure OpenAI. Seleccione vision-preview como versión del modelo.
4. Seleccione Implementar.
5. A continuación, vaya a la página del nuevo modelo y seleccione Abrir en el área de juegos. En el área de juegos del chat, la implementación de GPT-4 que creó debe seleccionarse en la lista desplegable Implementación.

Selección del origen de datos de la imagen

1. En el panel izquierdo, seleccione la pestaña Agregar los datos y seleccione Agregar un origen de datos.
2. En la ventana que aparece, seleccione una opción de origen de datos. Cada opción usa un índice de Búsqueda de Azure AI entrenado en las imágenes y se puede usar para recuperar la generación aumentada en el área de juegos del chat.
   • Búsqueda de Azure AI: si tiene un índice de Búsqueda de Azure AI existente, puede usarlo como un origen de datos.
   • Azure Blob Storage: la opción Azure Blob Storage es especialmente útil si tiene un gran número de archivos de imagen y no desea cargar manualmente cada uno. La Inteligencia artificial de Azure Studio generará un índice de búsqueda de imágenes automáticamente.
   • Cargar archivos de imagen y metadatos: puede cargar archivos de imagen y metadatos mediante el área de juegos. Esta opción es útil si tiene un pequeño número de archivos de imagen. La Inteligencia artificial de Azure Studio generará un índice de búsqueda de imágenes automáticamente.

Adición de los datos de imagen

Azure AI Search

Si tiene un índice de Búsqueda de Azure AI existente, puede usarlo como un origen de datos. Si todavía no tiene un índice de búsqueda, pero le gustaría crear uno por su cuenta, siga el repositorio de vector de búsqueda de Búsqueda de AI de GitHub, que proporciona scripts para crear un índice con los archivos de imagen.

1. En la ventana Seleccionar o agregar origen de datos, elija Búsqueda de Azure AI y escriba los detalles del índice. Seleccione los cuadros para confirmar que las implementaciones y las conexiones incurren en uso en su cuenta.
2. Si lo desea, puede habilitar la opción Usar asignación de campos personalizada. Esto le permite controlar la asignación entre los campos personalizados del índice de búsqueda y los campos estándar que usan los modelos del chat de Azure OpenAI durante la generación aumentada de recuperación.
3. Seleccione Siguiente y revise la configuración en la página siguiente. A continuación, seleccione Guardar y cerrar.
4. En el área de juegos del chat, puede ver que se han agregado los datos.

Almacenamiento de blobs de Azure

Si ya tiene un contenedor de Azure Blob Storage con imágenes, puede usarlo para crear un índice de búsqueda de imágenes. Si desea crear una nueva cuenta de Blob Storage, consulte la documentación de la guía de inicio rápido de Azure Blob Storage.

La cuenta de Azure Blob Storage debe contener archivos de imagen y un archivo JSON con las rutas de acceso y los metadatos del archivo de imagen.

El archivo JSON de metadatos debe:

• Tener un nombre de archivo que comience por la palabra metadata (todo en minúsculas sin espacio).
• Enumere no más de 10 000 archivos de imagen. Si tiene más archivos en el contenedor, puede tener varios archivos JSON cada uno con hasta este máximo.

El archivo de metadatos JSON debe tener el formato siguiente:

[
    {
        "image_blob_path": "image1.jpg",
        "description": "description of image1"
    },
    {
        "image_blob_path": "image2.jpg",
        "description": "description of image2"
    },
    ...
    {
        "image_blob_path": "image50.jpg",
        "description": "description of image50"
    }
]

Una vez que haya rellenado un contenedor de almacenamiento de blobs con archivos de imagen y al menos un archivo JSON de metadatos, estará listo para agregar el almacenamiento de blobs como origen de datos.

1. En la ventana Seleccionar o agregar origen de datos del área de juegos, elija Azure Blob Storage y escriba los detalles del origen de datos. Elija también un nombre para el índice de Búsqueda de Azure AI que se creará.

   Nota:

   Azure OpenAI necesita un recurso de cuenta de almacenamiento y un recurso de búsqueda para acceder a los datos e indexarlos. Los datos se almacenan de forma segura en la suscripción de Azure.

   Al agregar datos a la cuenta de almacenamiento seleccionada por primera vez en Azure AI Studio, es posible que se le pida que active el uso compartido de recursos entre orígenes (CORS). Azure AI Studio y Azure OpenAI necesitan acceder a la cuenta de Azure Blob Storage.

   

2. Seleccione los cuadros para confirmar que las implementaciones y las conexiones incurren en uso en su cuenta. Luego, seleccione Siguiente.

3. Revise los detalles que ingresó y seleccione Guardar y cerrar.

   

4. Ahora en el área de juegos del chat, puede ver que la ingesta de datos está en curso. Antes de continuar, espere hasta que vea el origen de datos y el nombre del índice en lugar del estado.

Cargar archivos de imagen y metadatos

1. En la página Seleccionar o agregar origen de datos, seleccione Cargar archivos en la lista desplegable Seleccionar origen de datos.

2. Escriba los detalles del origen de datos. Elija también un nombre para el índice de Búsqueda de Azure AI que se creará.

   Nota:

   Azure OpenAI necesita un recurso de cuenta de almacenamiento y un recurso de búsqueda para acceder a los datos e indexarlos. Los datos se almacenan de forma segura en la suscripción de Azure.

   Al agregar datos a la cuenta de almacenamiento seleccionada por primera vez en Azure AI Studio, es posible que se le pida que active el uso compartido de recursos entre orígenes (CORS). Azure AI Studio y Azure OpenAI necesitan acceder a la cuenta de Azure Blob Storage.

   

3. Seleccione los cuadros para confirmar que las implementaciones y las conexiones incurren en uso en su cuenta. Seleccione Siguiente.

4. En la página Cargar archivos, seleccione Examinar un archivo y, después, los archivos que quiere cargar. Si quiere cargar más de un archivo, hágalo ahora. No lo podrá hacer más adelante en la misma sesión de área de juegos.

   Los siguientes tipos de archivo son compatibles con los archivos de imagen, de hasta 16 MB de tamaño:

   • .jpg
   • .png
   • .gif
   • .bmp
   • .tiff

5. Seleccione Cargar para cargar los archivos en la cuenta de Azure Blob Storage. Luego, seleccione Siguiente.

   

6. En la página Agregar metadatos, escriba una descripción de texto para cada imagen en los campos de texto correspondientes. Luego, seleccione Siguiente.

   

7. Revise los detalles que especificó. Puede ver los nombres del contenedor de almacenamiento y el índice de búsqueda que se creará automáticamente. Seleccione Guardar y cerrar.

   

8. Ahora en el área de juegos del chat, puede ver que la ingesta de datos está en curso. Antes de continuar, espere hasta que vea el origen de datos y el nombre del índice en lugar del estado.

Uso de los datos con el modelo GPT-4 Turbo con Visión

Después de agregar los datos de imagen, puede probar una conversación del chat basada en los datos de la imagen.

1. Use el botón datos adjuntos en la ventana del chat para cargar una nueva imagen. Haga una pregunta sobre su relación con las otras imágenes del conjunto de datos.

2. El modelo responderá con una respuesta basada en los datos de la imagen.

Adición y eliminación de orígenes de datos

Azure OpenAI solo permite usar un origen de datos por sesión del chat. Si desea agregar un nuevo origen de datos, primero debe quitar el origen de datos existente. Para ello, seleccione Quitar origen de datos en la información del origen de datos.

Al quitar un origen de datos, verá un mensaje de advertencia. Al quitar un origen de datos, se borra la sesión de chat y se restablecen todas las configuraciones del área de juegos.

Pasos siguientes

• Obtenga información acerca de cómo crear un proyecto en Azure AI Studio.
• Implementación de una aplicación web de chat empresarial