Azure OpenAI sur vos données avec des images utilisant GPT-4 Turbo avec Vision (préversion) dans Azure OpenAI Studio

Consultez cet article pour découvrir comment fournir vos propres données d’image pour GPT-4 Turbo avec Vision, le modèle de vision d’Azure OpenAI. GPT-4 Turbo avec Vision sur vos données permet au modèle de générer des réponses plus personnalisées et ciblées à l’aide de la génération augmentée de récupération basée sur vos propres images et métadonnées d’image.

Important

Une fois que le modèle GPT4-Turbo avec vision en préversion est déconseillé, vous ne pourrez plus utiliser Azure OpenAI sur vos données d’image. Pour implémenter une solution de génération augmentée de récupération (RAG) avec des données d’image, consultez l’exemple suivant sur github.

Prérequis

• Un abonnement Azure : créez-en un gratuitement.

• Accès accordé à Azure OpenAI dans l’abonnement Azure souhaité.

  L’accès à ce service n’est accordé qu’à l’application. Vous pouvez demander l’accès à Azure OpenAI en complétant le formulaire à l’adresse https://aka.ms/oai/access. Ouvrez un problème sur ce dépôt pour nous contacter si vous rencontrez un problème.

• Une ressource Azure OpenAI avec le modèle GPT-4 Turbo avec Vision déployé. Pour plus d’informations sur le déploiement de modèle, consultez le guide de déploiement de ressources.

• Assurez-vous de disposer au moins du rôle Contributeur Cognitive Services pour la ressource Azure OpenAI.

Ajouter votre source de données

Accédez à Azure OpenAI Studio et connectez-vous avec les informations d’identification qui ont accès à votre ressource Azure OpenAI. Pendant ou après le flux de travail de connexion, sélectionnez le répertoire approprié, l’abonnement Azure et la ressource Azure OpenAI.

Dans la vignette Assistant setup (Configuration de l’Assistant), sélectionnez Add your data (preview) (Ajouter vos données (préversion))>+ Add a data source (Ajouter une source de données).

Dans le volet qui s’affiche après avoir sélectionné Ajouter une source de données, plusieurs options s’affichent pour sélectionner une source de données.

Vous avez trois options différentes pour ajouter vos données pour la source de données GPT-4 Turbo avec Vision :

• Utilisation de vos propres fichiers image et métadonnées d’image
• Utilisation de la Recherche Azure AI
• Utilisation du Stockage Blob Azure

Les trois options utilisent l’index Recherche Azure AI pour effectuer une recherche d’image à image et récupérer les principaux résultats de recherche pour votre image d’invite d’entrée. Pour les options Stockage Blob Azure et Charger des fichiers, Azure OpenAI génère un index de recherche d’images pour vous. Pour Recherche Azure AI, vous devez disposer d’un index de recherche d’images. Les sections suivantes contiennent des détails sur la création de l’index de recherche.

Lorsque vous utilisez ces options pour la première fois, vous pouvez voir apparaître cette notice rouge vous demandant d’activer le partage des ressources inter-origines (CORS). Il s’agit d’un avis vous demandant d’activer CORS, afin qu’Azure OpenAI puisse accéder à votre compte de stockage blob. Pour résoudre l’avertissement, sélectionnez Activer CORS.

Ajouter vos données en chargeant des fichiers

Vous pouvez charger manuellement vos fichiers image et saisir manuellement leurs métadonnées à l’aide d’Azure OpenAI. Cela est particulièrement utile si vous faites des expériences avec un petit ensemble d’images et souhaitez créer votre source de données.

1. Accédez au bouton Sélectionner une source de données dans Azure OpenAI, comme décrit ci-dessus. Sélectionnez Charger des fichiers.

2. Sélectionnez votre abonnement. Sélectionnez un stockage Blob Azure dans lequel vos fichiers image chargés seront stockés. Sélectionnez une ressource Recherche Azure AI dans laquelle votre nouvel index de recherche d’images sera créé. Entrez le nom de l’index de recherche d’images de votre choix.

   Une fois que vous avez rempli tous les champs, cochez les deux cases situées en bas pour indiquer que vous acceptez les frais d’utilisation, puis sélectionnez Suivant.

   

   Les types de fichiers suivants sont pris en charge pour vos fichiers image :

   • .jpg
   • .png
   • .gif
   • .bmp
   • .tiff

3. Sélectionnez Rechercher un fichier pour sélectionner les fichiers image que vous souhaitez utiliser à partir de votre répertoire local.

4. Une fois que vous avez sélectionné vos fichiers image, vous les voyez sélectionnés dans le tableau à droite. Sélectionnez Charger des fichiers. Une fois que vous avez chargé les fichiers, vous voyez que l’état de chacun d’eux est Chargé. Cliquez sur Suivant.

   

5. Pour chaque fichier image, entrez les métadonnées dans les champs de description fournis. Une fois que vous avez des descriptions pour chaque image, sélectionnez Suivant.

   

6. Vérifiez que toutes les informations sont correctes. Sélectionnez Enregistrer et fermer.

Ajouter vos données à l’aide de la Recherche Azure AI

Si vous disposez d’un index de recherche Azure AI existant, vous pouvez l’utiliser comme source de données. Si vous n’avez pas encore d’index de recherche créé pour vos images, vous pouvez en créer un à l’aide du référentiel de recherche vectorielle de recherche IA sur GitHub, qui vous fournit des scripts pour créer un index avec vos fichiers image. Cette option est également idéale si vous souhaitez créer votre source de données à l’aide de vos propres fichiers, comme l’option ci-dessus, puis revenir à l’expérience du terrain de jeu pour sélectionner cette source de données que vous avez déjà créée, mais que vous n’avez pas encore ajoutée.

1. Accédez au bouton Sélectionner une source de données dans Azure OpenAI, comme décrit ci-dessus. Sélectionnez Recherche Azure AI.

   Conseil

   Vous pouvez sélectionner un index de recherche d’images que vous avez créé avec les options Stockage Blob Azure ou Charger des fichiers.

2. Sélectionnez votre abonnement et le service Recherche Azure AI que vous avez utilisé pour créer l’index de recherche d’images.

3. Sélectionnez votre index Recherche Azure AI que vous avez créé avec vos images.

4. Une fois que vous avez renseigné tous les champs, cochez les deux cases en bas pour indiquer que vous acceptez les frais encourus suite à l’utilisation des incorporations vectorielles GPT-4 Turbo avec Vision et Recherche Azure AI. Cliquez sur Suivant. Si CORS n’est pas déjà activé pour la ressource Recherche AI, un avertissement s’affiche. Pour résoudre l’avertissement, sélectionnez Activer CORS.

   

5. Passez en revue les détails, puis sélectionnez Enregistrer et fermer.

Ajouter vos données à l’aide du Stockage Blob Azure

Si vous disposez d’un conteneur Stockage Blob Azure existant, vous pouvez l’utiliser pour créer un index de recherche d’images. Si vous souhaitez créer un nouveau stockage blob, consultez la documentation de démarrage rapide du stockage blob Azure.

Votre stockage d’objets blob doit contenir des fichiers image et un fichier JSON avec les chemins et métadonnées des fichiers image. Cette option est particulièrement utile si vous avez un grand nombre de fichiers image et que vous ne souhaitez pas charger manuellement chacun d’eux.

Si vous n’avez pas encore de stockage d’objets blob contenant ces fichiers et que vous souhaitez charger des fichiers un par un, vous pouvez charger vos fichiers à l’aide d’Azure OpenAI Studio à la place.

Avant de commencer à ajouter votre conteneur Stockage Blob Azure comme source de données, assurez-vous que votre stockage d’objets blob contient toutes les images que vous souhaitez ingérer et un fichier JSON qui contient les chemins d’accès et les métadonnées des fichiers image.

Important

Votre fichier JSON de métadonnées doit :

• Avoir un nom de fichier qui commence par le mot « metadata », tout en minuscule sans espace.
• Disposer d’un maximum de 10 000 fichiers image. Si vous avez davantage de fichiers dans votre conteneur, vous pouvez avoir plusieurs fichiers JSON chacun sans dépasser cette limite.

[
    {
        "image_blob_path": "image1.jpg",
        "description": "description of image1"
    },
    {
        "image_blob_path": "image2.jpg",
        "description": "description of image2"
    },
    ...
    {
        "image_blob_path": "image50.jpg",
        "description": "description of image50"
    }
]

Une fois que vous disposez d’un stockage d’objets blob rempli avec des fichiers image et au moins un fichier JSON de métadonnées, vous êtes prêt à ajouter le stockage d’objets blob en tant que source de données.

1. Accédez au bouton Sélectionner une source de données dans Azure OpenAI, comme décrit ci-dessus. Sélectionnez Stockage Blob Azure.

2. Sélectionnez votre abonnement, stockage Blob Azure et conteneur de stockage. Vous devrez également sélectionner une ressource Recherche Azure AI, car un nouvel index de recherche d’images sera créé dans ce groupe de ressources. Si vous n’avez pas de ressource Recherche Azure AI, vous pouvez en créer un à l’aide du lien situé sous la liste déroulante. Si CORS n’est pas déjà activé pour la ressource de stockage Blob Azure, un avertissement s’affiche. Pour résoudre l’avertissement, sélectionnez Activer CORS.

3. Une fois que vous avez sélectionné une ressource de recherche Azure AI, entrez un nom pour l’index de recherche dans le champ Nom de l’index.

   Remarque

   Le nom de l’index présente le suffixe –v, pour indiquer qu’il s’agit d’un index avec des vecteurs d’image extraits des images fournies. La description figurant dans metadata.json sera ajoutée en tant que métadonnées de texte dans l’index.

4. Une fois que vous avez renseigné tous les champs, cochez les deux cases en bas pour indiquer que vous acceptez les frais encourus suite à l’utilisation des incorporations vectorielles GPT-4 Turbo avec Vision et Recherche Azure AI. Cliquez sur Suivant.

   

5. Passez en revue les détails, puis sélectionnez Enregistrer et fermer.

Utilisation de vos données ingérées avec votre modèle GPT-4 Turbo avec Vision

Une fois que vous avez connecté votre source de données à l’aide de l’une des trois méthodes mentionnées ci-dessus, le processus d’ingestion des données prendra un certain temps avant de se terminer. Vous verrez une icône et un message Ingestion en cours au fur et à mesure que le processus progresse. Une fois l’ingestion terminée, vous voyez qu’une source de données a été créée.

Une fois que la source de données a fini d’être ingérée, vous verrez les détails de votre source de données ainsi que le nom de l’index de recherche d’images. Maintenant, ces données ingérées sont prêtes à être utilisées comme données de base pour votre modèle GPT-4 Turbo déployé avec Vision. Votre modèle utilisera les données de récupération les plus importantes de votre index de recherche d’images et générera une réponse spécifiquement adaptée à vos données ingérées.

Activer CORS

Si CORS n’est pas déjà activé pour votre source de données, le message suivant s’affiche.

Si vous voyez ce message, sélectionnez Activer CORS lorsque vous connectez votre source de données.

Conseils supplémentaires

Ajout et suppression de sources de données

Azure OpenAI autorise actuellement l’utilisation d’une seule source de données par session de conversation. Si vous souhaitez ajouter une nouvelle source de données, vous devez d’abord supprimer la source de données existante. Pour ce faire, sélectionnez Supprimer la source de données sous vos informations de source de données.

Lorsque vous supprimez une source de données, un message d’avertissement s’affiche. La suppression d’une source de données efface la session de conversation et réinitialise tous les paramètres de terrain de jeu.

Important

Si vous basculez vers un déploiement de modèle qui n’utilise pas le modèle GPT-4 Turbo avec Vision, un message d’avertissement s’affiche concernant la suppression d’une source de données. Veuillez noter que la suppression d’une source de données efface la session de conversation et réinitialise tous les paramètres de terrain de jeu.

Étapes suivantes

• Vous pouvez également converser sur des modèles de texte Azure OpenAI. Pour plus d’informations, consultez Utiliser vos données texte.
• Vous pouvez également utiliser GPT-4 Turbo avec Vision dans un scénario de conversation en suivant le guide de démarrage rapide.
• Questions fréquentes sur GPT-4 Turbo avec Vision
• Référence API GPT-4 Turbo avec Vision