Partager via

Utiliser vos données image pour Azure OpenAI en utilisant GPT-4 Turbo avec Vision (préversion) dans Azure OpenAI Studio

  • Article

Lisez cet article pour découvrir comment fournir vos propres données image pour GPT-4 Turbo avec Vision, le modèle de vision dans Azure OpenAI Service. GPT-4 Turbo avec Vision sur vos données permet au modèle de générer des réponses plus personnalisées et ciblées en utilisant la génération augmentée de récupération (RAG) basée sur vos propres images et métadonnées d’image.

Important

Une fois que le modèle GPT4-Turbo avec Vision en préversion est déprécié, vous ne pourrez plus utiliser Azure OpenAI sur vos données image. Pour implémenter une solution RAG avec des données image, consultez l’exemple sur GitHub.

Prérequis

Ajouter votre source de données

Accédez à Azure OpenAI Studio et connectez-vous avec les informations d’identification qui ont accès à votre ressource Azure OpenAI. Pendant ou après le flux de travail de connexion, sélectionnez le répertoire approprié, l’abonnement Azure et la ressource Azure OpenAI.

Capture d’écran montrant le terrain de jeu de conversation dans Azure OpenAI Studio.

Dans la vignette Assistant setup (Configuration de l’Assistant), sélectionnez Add your data (preview) (Ajouter vos données (préversion))>+ Add a data source (Ajouter une source de données).

Capture d’écran montrant le bouton permettant d’ajouter des données dans Azure OpenAI Studio.

Dans le volet qui s’affiche après avoir sélectionné Ajouter une source de données, vous disposez de trois options pour sélectionner une source de données :

Capture d’écran présentant la sélection d’une source de données.

Les trois options utilisent un index Recherche Azure AI pour effectuer une recherche d’image à image et récupérer les premiers résultats de recherche pour l’image de votre prompt d’entrée. Pour les options Stockage Blob Azure et Charger des fichiers, Azure OpenAI génère un index de recherche d’images pour vous. Pour Recherche Azure AI, vous devez disposer d’un index de recherche d’images. Les sections suivantes contiennent des détails sur la création de l’index de recherche.

Activer CORS

Lorsque vous ajoutez une source de données pour la première fois, vous risquez de voir apparaître un avertissement en rouge vous demandant d’activer CORS (cross-origin resource sharing). Pour faire disparaître l’avertissement, sélectionnez Activer CORS afin qu’Azure OpenAI puisse accéder à la source de données.

Capture d’écran montrant une erreur indiquant que CORS n’est pas activé.

Ajouter vos données en chargeant des fichiers

Vous pouvez charger manuellement vos fichiers image et entrer manuellement leurs métadonnées à l’aide d’Azure OpenAI. Cette fonctionnalité est particulièrement utile si vous faites des expériences avec un petit ensemble d’images et souhaitez créer votre source de données.

  1. Dans Azure OpenAI, accédez au bouton Ajouter une source de données et sélectionnez-le, comme décrit plus tôt. Sélectionnez ensuite Charger des fichiers.

  2. Sélectionnez votre abonnement. Sélectionnez un compte Stockage Blob dans lequel vous souhaitez stocker vos fichiers image chargés. Sélectionnez une ressource Recherche Azure AI qui contient l’index de recherche d’images que vous venez de créer. Entrez le nom de l’index de recherche d’images de votre choix.

    Une fois que vous avez renseigné toutes les valeurs, cochez les deux cases en bas pour indiquer que vous acceptez les frais d’utilisation, puis sélectionnez Suivant.

    Capture d’écran montrant les cases cochées lors de la sélection d’un abonnement Stockage Blob Azure.

    Les types de fichiers suivants sont pris en charge pour vos fichiers image :

    • .jpg
    • .png
    • .gif
    • .bmp
    • .tiff

  3. Sélectionnez Rechercher un fichier pour sélectionner les fichiers image que vous voulez utiliser à partir de votre répertoire local.

  4. Une fois que vous avez sélectionné vos fichiers image, ces derniers apparaissent dans le tableau. Sélectionnez Charger des fichiers. Après avoir chargé les fichiers, vérifiez que l’état de chacun d’eux est Chargé. Sélectionnez ensuite Suivant.

    Capture d’écran montrant les fichiers chargés.

  5. Pour chaque fichier image, entrez les métadonnées dans les zones de description fournies. Sélectionnez ensuite Suivant.

    Capture d’écran montrant les zones pour l’entrée des métadonnées.

  6. Vérifiez toutes les informations pour vous assurer qu’elles sont correctes. Sélectionnez ensuite Enregistrer et fermer.

Si vous disposez d’un index Recherche Azure AI existant, vous pouvez l’utiliser comme source de données. Si vous n’avez pas encore d’index de recherche créé pour vos images, vous pouvez en créer un à l’aide du dépôt de recherche vectorielle Recherche Azure AI sur GitHub. Ce dépôt vous fournit des scripts pour créer un index avec vos fichiers image.

Cette option est également utile si vous souhaitez créer votre source de données à l’aide de vos propres fichiers, comme l’option précédente, puis revenir à l’expérience du terrain de jeu pour sélectionner la source de données que vous avez créée, mais que vous n’avez pas encore ajoutée.

  1. Dans Azure OpenAI, accédez au bouton Ajouter une source de données et sélectionnez-le, comme décrit plus tôt. Sélectionnez ensuite Recherche Azure AI.

    Conseil

    Vous pouvez sélectionner un index de recherche d’images que vous avez créé en utilisant les options Stockage Blob Azure ou Charger les fichiers.

  2. Sélectionnez votre abonnement et le service Recherche Azure AI que vous avez utilisé pour créer l’index de recherche d’images.

  3. Sélectionnez l’index Recherche Azure AI que vous avez créé avec vos images.

  4. Une fois que vous avez renseigné toutes les valeurs, cochez les deux cases en bas pour indiquer que vous acceptez les frais qu’engendre l’utilisation des incorporations vectorielles GPT-4 Turbo avec Vision et de Recherche Azure AI. Sélectionnez ensuite Suivant.

    Capture d’écran montrant les cases cochées pour l’utilisation d’un index Recherche Azure AI.

  5. Passez en revue les détails, puis sélectionnez Enregistrer et fermer.

Ajouter vos données en utilisant le Stockage Blob Azure

Si vous disposez d’un conteneur Stockage Blob Azure existant, vous pouvez l’utiliser pour créer un index de recherche d’images. Si vous souhaitez créer un nouveau conteneur, consultez la documentation relative au Démarrage rapide du Stockage Blob.

L’option permettant d’utiliser un conteneur Stockage Blob est particulièrement utile si vous avez un grand nombre de fichiers image et ne souhaitez pas charger manuellement chacun d’eux.

Si vous n’avez pas encore de conteneur Stockage Blob incluant ces fichiers et que vous souhaitez charger vos fichiers un par un, vous pouvez plutôt charger les fichiers avec Azure OpenAI Studio.

Avant de commencer à ajouter votre conteneur Stockage Blob comme source de données, assurez-vous qu’il contient toutes les images que vous souhaitez ingérer. Assurez-vous également qu’il contient un fichier JSON qui inclut les chemins et les métadonnées des fichiers image.

Important

Votre fichier JSON de métadonnées doit :

  • Avoir un nom de fichier qui commence par le mot metadata, tout en minuscule sans espace.
  • Disposer d’un maximum de 10 000 fichiers image. Si vous avez davantage de fichiers dans votre conteneur, vous pouvez avoir plusieurs fichiers JSON chacun sans dépasser cette limite.
[
    {
        "image_blob_path": "image1.jpg",
        "description": "description of image1"
    },
    {
        "image_blob_path": "image2.jpg",
        "description": "description of image2"
    },
    ...
    {
        "image_blob_path": "image50.jpg",
        "description": "description of image50"
    }
]

Une fois que le conteneur Stockage Blob est rempli de fichiers image et d’au moins un fichier JSON de métadonnées, vous êtes prêt à ajouter le conteneur en tant que source de données :

  1. Dans Azure OpenAI, accédez au bouton Ajouter une source de données et sélectionnez-le, comme décrit plus tôt. Ensuite, sélectionnez Stockage Blob Azure.

  2. Sélectionnez votre abonnement, Stockage Blob Azure, et un conteneur de stockage. Vous devez également sélectionner une ressource Recherche Azure AI parce qu’un nouvel index de recherche d’images sera créé dans ce groupe de ressources. Si vous n’avez pas de ressource Recherche Azure AI, vous pouvez en créer un en utilisant le lien situé sous la liste déroulante.

  3. Dans la zone Nom de l’index, entrez un nom pour l’index de recherche.

    Remarque

    Le nom de l’index présente le suffixe –v pour indiquer que cet index a des vecteurs d’image extraits des images fournies. La description figurant dans metadata.json sera ajoutée en tant que métadonnées textuelles dans l’index.

  4. Une fois que vous avez renseigné toutes les valeurs, cochez les deux cases en bas pour indiquer que vous acceptez les frais qu’engendre l’utilisation des incorporations vectorielles GPT-4 Turbo avec Vision et de Recherche Azure AI. Sélectionnez ensuite Suivant.

    Capture d’écran montrant les zones de sélection de la source de données Stockage Blob.

  5. Passez en revue les détails, puis sélectionnez Enregistrer et fermer.

Utiliser vos données ingérées avec votre modèle GPT-4 Turbo avec Vision

Une fois que vous avez connecté votre source de données à l’aide de l’une des trois méthodes mentionnées précédemment, le processus d’ingestion des données prend un certain temps avant de se terminer. Une icône et un message Ingestion en cours apparaissent au fur et à mesure que le processus progresse.

Une fois l’ingestion terminée, vérifiez qu’une source de données est créée. Les détails de votre source de données s’affichent, ainsi que le nom de votre index de recherche d’images.

Capture d’écran montrant l’ingestion terminée d’une source de données.

Maintenant, ces données ingérées sont prêtes à être utilisées comme données de base pour votre modèle GPT-4 Turbo déployé avec Vision. Votre modèle utilisera les données de récupération les plus importantes de votre index de recherche d’images et générera une réponse spécifiquement adaptée à vos données ingérées.

Capture d’écran montrant un exemple de conversation avec une image de tente.

Conseils supplémentaires

Ajout et suppression des sources de données

Azure OpenAI autorise actuellement l’utilisation d’une seule source de données pour chaque session de conversation. Si vous souhaitez ajouter une nouvelle source de données, vous devez d’abord supprimer la source de données existante. Supprimez-la en sélectionnant Supprimer la source de données sous vos informations de source de données.

Lorsque vous supprimez une source de données, un message d’avertissement apparaît. La suppression d’une source de données efface la session de conversation et réinitialise tous les paramètres de terrain de jeu.

Capture d’écran montrant un avertissement sur la suppression d’une source de données.

Important

Si vous basculez vers un déploiement de modèle qui n’utilise pas le modèle GPT-4 Turbo avec Vision, un message d’avertissement apparaît concernant la suppression d’une source de données. La suppression d’une source de données efface la session de conversation et réinitialise tous les paramètres de terrain de jeu.

Contenu connexe