Partage via

Conversation d’entreprise Azure OpenAI avec des images en utilisant GPT-4 Turbo avec Vision

  • Article

Important

Certaines des fonctionnalités décrites dans cet article peuvent uniquement être disponibles en préversion. Cette préversion est fournie sans contrat de niveau de service, nous la déconseillons dans des charges de travail de production. Certaines fonctionnalités peuvent être limitées ou non prises en charge. Pour plus d’informations, consultez Conditions d’Utilisation Supplémentaires relatives aux Évaluations Microsoft Azure.

Consultez cet article pour découvrir comment fournir vos propres données d’image pour GPT-4 Turbo avec Vision, le modèle de vision d’Azure OpenAI. La conversation d’entreprise GPT-4 Turbo avec Vision permet au modèle de générer des réponses plus personnalisées et ciblées en utilisant la génération augmentée de récupération basée sur vos propres images et métadonnées d’image.

Conseil

Cet article concerne l’utilisation de vos données d’image sur le modèle GPT-4 Turbo avec Vision. Consultez Déployer une application web pour la conversation d’entreprise pour un tutoriel sur la façon de déployer une application web de conversation en utilisant vos données texte.

Prérequis

  • Un abonnement Azure : créez-en un gratuitement.
  • Accès accordé à Azure OpenAI dans l’abonnement Azure souhaité. L’accès à ce service n’est accordé qu’à l’application. Vous pouvez demander l’accès à Azure OpenAI en complétant le formulaire à l’adresse https://aka.ms/oai/access. Ouvrez un problème sur ce dépôt pour nous contacter si vous rencontrez un problème.
  • Une ressource Azure OpenAI avec le modèle GPT-4 Turbo avec Vision déployé. Pour plus d’informations sur le déploiement de modèle, consultez le guide de déploiement de ressources.
  • Assurez-vous de disposer au moins du rôle Contributeur Cognitive Services pour la ressource Azure OpenAI.
  • Une ressource de Recherche Azure AI. Consultez Création d’un service Recherche Azure AI dans le portail. Si vous n’avez pas de ressource Recherche Azure AI, vous êtes invité à en créer une lorsque vous ajoutez votre source de données plus loin dans ce guide.
  • Un hub AI Studio avec votre ressource Azure OpenAI et votre ressource Recherche Azure AI ajoutées en tant que connexions.

Déployer un GPT-4 Turbo avec le modèle Vision

  1. Connectez-vous à Azure AI Studio et sélectionnez le hub dans lequel vous souhaitez travailler.
  2. Dans le menu de gauche, sélectionnez Services IA. Sélectionnez le panneau Essayer GPT-4 Turbo.
  3. Dans la page gpt-4, sélectionnez Déployer. Dans la fenêtre qui s’affiche, sélectionnez votre ressource Azure OpenAI. Sélectionnez vision-preview en tant que version du modèle.
  4. Sélectionnez Déployer.
  5. Ensuite, accédez à la page de votre nouveau modèle et sélectionnez Ouvrir dans le terrain de jeu. Dans le terrain de jeu de conversation, le déploiement GPT-4 que vous avez créé doit être sélectionné dans la liste déroulante Déploiement. Capture d’écran du terrain de jeu de conversation avec le mode et le déploiement mis en surbrillance.

Sélectionnez votre source de données d’image

  1. Dans le volet gauche, sélectionnez l’onglet Ajouter vos données, puis sélectionnez Ajouter une source de données.
  2. Dans la fenêtre qui s’affiche, sélectionnez une option de source de données. Chaque option utilise un index Recherche Azure AI formé sur vos images et peut être utilisé pour récupérer une génération augmentée dans le terrain de jeu de conversation.
    • Recherche Azure AI : si vous disposez d’un index Recherche Azure AI existant, vous pouvez l’utiliser comme source de données.
    • Stockage Blob Azure : l’option Stockage Blob Azure est particulièrement utile si vous avez un grand nombre de fichiers image et ne souhaitez pas charger manuellement chacun d’eux. Azure AI Studio génère un index de recherche d’images pour vous.
    • Charger des fichiers image et des métadonnées : vous pouvez charger des fichiers image et des métadonnées en utilisant le terrain de jeu. Cette option est utile si vous avez un petit nombre de fichiers image. Azure AI Studio génère un index de recherche d’images pour vous.

Ajouter vos données d’image

Utilisez vos données avec votre modèle GPT-4 Turbo avec Vision

Après avoir ajouté vos données d’image, vous pouvez essayer une conversation fondée sur vos données d’image.

  1. Utilisez le bouton pièce jointe dans la fenêtre de conversation pour charger une nouvelle image. Posez une question sur sa relation avec les autres images de votre jeu de données.

  2. Le modèle répond avec une réponse fondée sur vos données d’image.

Ajout et suppression des sources de données

Azure OpenAI autorise uniquement l’utilisation d’une source de données par session de conversation. Si vous souhaitez ajouter une nouvelle source de données, vous devez d’abord supprimer la source de données existante. Faites cela en sélectionnant Supprimer la source de données sous vos informations de source de données.

Lorsque vous supprimez une source de données, un message d’avertissement s’affiche. La suppression d’une source de données efface la session de conversation et réinitialise tous les paramètres de terrain de jeu.

Étapes suivantes