Azure OpenAI en los datos con imágenes mediante GPT-4 Turbo con Vision (versión preliminar) en el estudio de Azure OpenAI

Use este artículo para aprender a proporcionar sus propios datos de imagen para GPT-4 Turbo con Vision, el modelo de visión de Azure OpenAI. GPT-4 Turbo con Vision en los datos permite al modelo generar respuestas más personalizadas y dirigidas mediante la generación aumentada de recuperación basada en sus propias imágenes y metadatos de imagen.

Importante

Una vez que el modelo GPT4-Turbo con visión en versión preliminar esté en desuso, ya no podrá usar Azure OpenAI en los datos de la imagen. Para implementar una solución de generación aumentada de recuperación (RAG) con datos de imagen, consulte el ejemplo siguiente en github.

Requisitos previos

• Una suscripción a Azure (cree una cuenta gratuita).

• Acceso concedido a Azure OpenAI en la suscripción de Azure que quiera.

  Actualmente, solo la aplicación concede acceso a este servicio. Para solicitar acceso a Azure OpenAI, rellene el formulario en https://aka.ms/oai/access. Si tiene algún problema, abra una incidencia en este repositorio para ponerse en contacto con nosotros.

• Un recurso de Azure OpenAI con el modelo de GPT-4 Turbo con Vision implementado. Para obtener más información sobre la implementación de modelos, consulte la guía de implementación de recursos.

• Asegúrese de que tiene asignado al menos el rol de Colaborador de Cognitive Services para el recurso de Azure OpenAI.

Agregue su Origen de datos

Vaya a Azure OpenAI Studio e inicie sesión con credenciales que le permitan acceder al recurso de Azure OpenAI. Durante o después del flujo de trabajo de inicio de sesión, seleccione el directorio, la suscripción de Azure y el recurso de Azure OpenAI adecuados.

En el icono Configuración del Asistente, seleccione Agregue sus datos (versión preliminar)>+ Agregar un origen de datos.

En el panel que aparece después de seleccionar Agregar un origen de datos verá varias opciones para seleccionar un origen de datos.

Tiene tres opciones diferentes para agregar los datos para el origen de datos de GPT-4 Turbo con Vision:

• Uso de sus propios archivos de imagen y metadatos de imagen
• Uso de Búsqueda de Azure AI
• Uso de Azure Blob Storage

Las tres opciones usan un índice de Búsqueda de Azure AI para realizar la búsqueda de imágenes a imágenes y recuperar los resultados de búsqueda principales de la imagen de solicitud de entrada. En el caso de las opciones de Azure Blob Storage y Carga de archivos, Azure OpenAI generará un índice de búsqueda de imágenes automáticamente. Para la Búsqueda de Azure AI, debe tener un índice de búsqueda de imágenes. Las secciones siguientes contienen detalles sobre cómo crear el índice de búsqueda.

Al usar estas opciones por primera vez, es posible que vea este aviso de color rojo en el que se le pide que active el uso compartido de recursos entre orígenes (CORS). Se trata de un aviso que le pide que habilite CORS para que Azure OpenAI pueda acceder a la cuenta de Blob Storage. Para corregir la advertencia, seleccione Activar CORS.

Agregar los datos mediante la carga de archivos

Puede cargar manualmente los archivos de imagen y escribir los metadatos de ellos manualmente mediante Azure OpenAI. Esto resulta especialmente útil si está experimentando con un pequeño conjunto de imágenes y desea crear el origen de datos.

1. Vaya al botón Seleccionar un origen de datos en Azure OpenAI como se describe anteriormente. Seleccione Upload files (Cargar archivos).

2. Seleccione su suscripción. Seleccione una instancia de Azure Blob Storage en la que se almacenarán los archivos de imagen cargados. Seleccione un recurso de Búsqueda de Azure AI en el que se creará el nuevo índice de búsqueda de imágenes. Escriba el nombre del índice de búsqueda de imágenes que prefiera.

   Una vez que haya rellenado todos los campos, active las dos casillas en la parte inferior que reconocen el uso que incurre y seleccione Siguiente.

   

   Los siguientes tipos de archivo son compatibles con los archivos de imagen:

   • .jpg
   • .png
   • .gif
   • .bmp
   • .tiff

3. Seleccione Buscar un archivo para seleccionar los archivos de imagen que desea usar del directorio local.

4. Una vez que seleccione los archivos de imagen, verá los archivos de imagen seleccionados en la tabla derecha. Seleccione Upload files (Cargar archivos). Una vez cargados los archivos, verá que el estado de cada uno es Cargado. Seleccione Siguiente.

   

5. Escriba los metadatos en los campos de descripción proporcionados para cada archivo de imagen. Una vez que tenga descripciones para cada imagen, seleccione Siguiente.

   

6. Revise que toda la información es correcta. Seleccione Guardar y cerrar.

Agregar sus datos mediante búsqueda de Azure AI

Si tiene un índice Azure AI Search existente, puede usarlo como origen de datos. Si todavía no tiene un índice de búsqueda creado para las imágenes, puede crear uno mediante el repositorio de vector de búsqueda de AI Search de GitHub, que proporciona scripts para crear un índice con los archivos de imagen. Esta opción también es excelente si desea crear el origen de datos con sus propios archivos como la opción anterior y, después, volver a la experiencia del área de juegos para seleccionar ese origen de datos que ya ha creado pero aún no ha agregado.

1. Vaya al botón Seleccionar un origen de datos en Azure OpenAI como se describe anteriormente. Seleccione Búsqueda de Azure AI.

   Sugerencia

   Puede seleccionar un índice de búsqueda de imágenes que haya creado con las opciones Azure Blob Storage o Cargar archivos.

2. Seleccione la suscripción y el servicio de Búsqueda de Azure AI que usó para crear el índice de búsqueda de imágenes.

3. Seleccione el índice de Búsqueda de Azure AI que ha creado con las imágenes.

4. Una vez que haya rellenado todos los campos, active las dos casillas de la parte inferior en las que se le pide que confirme los cargos que se incurren en el uso de las incrustaciones vectoriales de GPT-4 Turbo con Vision y Búsqueda de Azure AI. Seleccione Siguiente. Si CORS aún no está activado para el recurso de AI Search, verá una advertencia. Para corregir la advertencia, seleccione Activar CORS.

   

5. Revise los detalles de la prueba y, a continuación, seleccione Guardar y cerrar.

Agregar datos mediante Azure Blob Storage

Si ya tiene un contenedor de Azure Blob Storage existente, puede usarlo para crear un índice de búsqueda de imágenes. Si desea crear un nuevo Blob Storage, consulte la documentación de la guía de inicio rápido de Azure Blob Storage.

El almacenamiento de blobs debe contener archivos de imagen y un archivo JSON con las rutas de acceso y los metadatos del archivo de imagen. Esta opción Azure Blob Storage es especialmente útil si tiene un gran número de archivos de imagen y no desea cargar manualmente cada uno.

Si aún no tiene un almacenamiento de blobs rellenado con estos archivos y desea cargar archivos uno por uno, puede cargarlos mediante Azure OpenAI Studio en su lugar.

Antes de empezar a agregar el contenedor de Azure Blob Storage como origen de datos, asegúrese de que el almacenamiento de blobs contiene todas las imágenes que desea ingerir y un archivo JSON que contiene las rutas de acceso y los metadatos del archivo de imagen.

Importante

El archivo JSON de metadatos debe:

• Tener un nombre de archivo que comience por la palabra “metadata”, todo en minúsculas sin espacio.
• Tener un máximo de 10 000 archivos de imagen. Si tiene más de este número de archivos en el contenedor, puede tener varios archivos JSON cada uno con hasta este máximo.

[
    {
        "image_blob_path": "image1.jpg",
        "description": "description of image1"
    },
    {
        "image_blob_path": "image2.jpg",
        "description": "description of image2"
    },
    ...
    {
        "image_blob_path": "image50.jpg",
        "description": "description of image50"
    }
]

Una vez que haya rellenado un almacenamiento de blobs con archivos de imagen y al menos un archivo JSON de metadatos, estará listo para agregar el almacenamiento de blobs como origen de datos.

1. Vaya al botón Seleccionar un origen de datos en Azure OpenAI como se describe anteriormente. Seleccione Azure Blob Storage.

2. Seleccione la suscripción, Azure Blob Storage y el contenedor de almacenamiento. También deberá seleccionar un recurso de Búsqueda de Azure AI, ya que se creará un nuevo índice de búsqueda de imágenes en este grupo de recursos. Si no tiene un recurso de Búsqueda de Azure AI, puede crear uno mediante el vínculo debajo de la lista desplegable. Si CORS aún no está activado para el recurso de Azure Blob Storage, verá una advertencia. Para corregir la advertencia, seleccione Activar CORS.

3. Una vez que haya seleccionado un recurso de búsqueda de Azure AI, escriba un nombre para el índice de búsqueda en el campo Nombre del índice.

   Nota:

   El nombre del índice entrá el sufijo –v para indicar que se trata de un índice con vectores de imagen extraídos de las imágenes proporcionadas. La descripción archivada en metadata.json se agregará como metadatos de texto en el índice.

4. Una vez que haya rellenado todos los campos, active las dos casillas de la parte inferior en las que se le pide que confirme los cargos que se incurren en el uso de las incrustaciones vectoriales de GPT-4 Turbo con Vision y Búsqueda de Azure AI. Seleccione Siguiente.

   

5. Revise los detalles de la prueba y, a continuación, seleccione Guardar y cerrar.

Uso de los datos ingeridos con el modelo GPT-4 Turbo con Vision

Después de conectar el origen de datos mediante cualquiera de los tres métodos enumerados anteriormente, el proceso de ingesta de datos tardará algún tiempo en finalizar. Verá un icono y un mensaje de Ingesta en curso a medida que avanza el proceso. Una vez completada la ingesta, verá que se ha creado un origen de datos.

Cuando el origen de datos haya terminado de ingerirse, verá los detalles del origen de datos, así como el nombre del índice de búsqueda de imágenes. Ahora estos datos ingeridos están listos para usarse como datos de contextualización para el modelo GPT-4 Turbo implementado. El modelo usará los datos de recuperación principales del índice de búsqueda de imágenes y generará una respuesta que se adhiere específicamente a los datos ingeridos.

Activar CORS

Si CORS aún no está activado para el origen de datos, verá que aparece el siguiente mensaje.

Si ve este mensaje, seleccione Activar CORS al conectar el origen de datos.

Consejos adicionales

Adición y eliminación de orígenes de datos

Actualmente, Azure OpenAI solo permite usar un origen de datos por sesión de chat. Si desea agregar un nuevo origen de datos, primero debe quitar el origen de datos existente. Para ello, seleccione Quitar origen de datos en la información del origen de datos.

Al quitar un origen de datos, verá un mensaje de advertencia. Al quitar un origen de datos, se borra la sesión de chat y se restablecen todas las configuraciones del área de juegos.

Importante

Si cambia a una implementación de modelos que no usa el modelo GPT-4 Turbo con Vision, verá un mensaje de advertencia para quitar un origen de datos. Tenga en cuenta que al quitar un origen de datos se borrará la sesión de chat y se restablecerán todas las configuraciones del área de juegos.

Pasos siguientes

• También puede chatear en los modelos de texto de Azure OpenAI. Consulte Usar los datos de texto para obtener más información.
• O bien, use GPT-4 Turbo con Vision en un escenario de chat siguiendo el inicio rápido.
• Preguntas frecuentes de GPT-4 Turbo con Vision
• Referencia de GPT-4 Turbo con la API de Visión