Conversation d’entreprise Azure OpenAI avec des images en utilisant GPT-4 Turbo avec Vision
Important
Les éléments marqués (préversion) dans cet article sont actuellement en préversion publique. Cette préversion est fournie sans contrat de niveau de service, nous la déconseillons dans des charges de travail de production. Certaines fonctionnalités peuvent être limitées ou non prises en charge. Pour plus d’informations, consultez Conditions d’Utilisation Supplémentaires relatives aux Évaluations Microsoft Azure.
Consultez cet article pour découvrir comment fournir vos propres données d’image pour GPT-4 Turbo avec Vision, le modèle de vision d’Azure OpenAI. La conversation d’entreprise GPT-4 Turbo avec Vision permet au modèle de générer des réponses plus personnalisées et ciblées en utilisant la génération augmentée de récupération basée sur vos propres images et métadonnées d’image.
Conseil
Cet article concerne l’utilisation de vos données d’image sur le modèle GPT-4 Turbo avec Vision. Consultez Déployer une application web pour la conversation d’entreprise pour un tutoriel sur la façon de déployer une application web de conversation en utilisant vos données texte.
Prérequis
- Un abonnement Azure : créez-en un gratuitement.
- Une ressource Azure OpenAI avec le modèle GPT-4 Turbo avec Vision déployé. Pour plus d’informations sur le déploiement de modèle, consultez le guide de déploiement de ressources.
- Assurez-vous de disposer au moins du rôle Contributeur Cognitive Services pour la ressource Azure OpenAI.
- Une ressource de Recherche Azure AI. Consultez Création d’un service Recherche Azure AI dans le portail. Si vous n’avez pas de ressource Recherche Azure AI, vous êtes invité à en créer une lorsque vous ajoutez votre source de données plus loin dans ce guide.
- Un hub AI Studio avec votre ressource Azure OpenAI et votre ressource Recherche Azure AI ajoutées en tant que connexions.
Déployer un GPT-4 Turbo avec le modèle Vision
- Connectez-vous à Azure AI Studio et sélectionnez le hub dans lequel vous souhaitez travailler.
- Dans le menu de navigation de gauche, sélectionnez Services IA. Sélectionnez le panneau Essayer GPT-4 Turbo.
- Dans la page gpt-4, sélectionnez Déployer. Dans la fenêtre qui s’affiche, sélectionnez votre ressource Azure OpenAI. Sélectionnez
vision-previewcomme version du modèle. - Sélectionnez Déployer.
- Ensuite, accédez à la page de votre nouveau modèle et sélectionnez Ouvrir dans le terrain de jeu. Dans le terrain de jeu de conversation, le déploiement GPT-4 que vous avez créé doit être sélectionné dans la liste déroulante Déploiement.
Sélectionnez votre source de données d’image
- Dans le volet gauche, sélectionnez l’onglet Ajouter vos données, puis sélectionnez Ajouter une source de données.
- Dans la fenêtre qui s’affiche, sélectionnez une option de source de données. Chaque option utilise un index Recherche Azure AI formé sur vos images et peut être utilisé pour récupérer une génération augmentée dans le terrain de jeu de conversation.
- Recherche Azure AI : si vous disposez d’un index Recherche Azure AI existant, vous pouvez l’utiliser comme source de données.
- Stockage Blob Azure : l’option Stockage Blob Azure est particulièrement utile si vous avez un grand nombre de fichiers image et ne souhaitez pas charger manuellement chacun d’eux. Azure AI Studio génère un index de recherche d’images pour vous.
- Charger des fichiers image et des métadonnées : vous pouvez charger des fichiers image et des métadonnées en utilisant le terrain de jeu. Cette option est utile si vous avez un petit nombre de fichiers image. Azure AI Studio génère un index de recherche d’images pour vous.
Ajouter vos données d’image
Si vous disposez d’un index Recherche Azure AI existant, vous pouvez l’utiliser comme source de données. Si vous n’avez pas encore d’index de recherche mais que vous souhaitez en créer un vous-même, suivez le Référentiel de la recherche vectorielle Recherche AI sur GitHub, qui fournit des scripts pour créer un index avec vos fichiers d’images.
- Dans la fenêtre Sélectionner ou ajouter une source de données , choisissez Recherche Azure AI et entrez les détails de votre index. Cochez les cases pour reconnaître que les déploiements et les connexions entraînent une utilisation de votre compte.
- Activez éventuellement l’option Utiliser le mappage de champs personnalisé. Cela vous permet de contrôler la correspondance entre les champs personnalisés de votre index de recherche et les champs standard que les modèles de conversation d’Azure OpenAI utilisent lors de la récupération de la génération augmentée.
- Sélectionnez Suivant et évaluez vos paramètres sur la page suivante. Sélectionnez ensuite Enregistrer et fermer.
- Dans le terrain de jeu de conversation, vous pouvez voir que vos données ont été ajoutées.
Utilisez vos données avec votre modèle GPT-4 Turbo avec Vision
Après avoir ajouté vos données d’image, vous pouvez essayer une conversation fondée sur vos données d’image.
Utilisez le bouton pièce jointe dans la fenêtre de conversation pour charger une nouvelle image. Posez une question sur sa relation avec les autres images de votre jeu de données.
Le modèle répond avec une réponse fondée sur vos données d’image.
Ajout et suppression des sources de données
Azure OpenAI autorise uniquement l’utilisation d’une source de données par session de conversation. Si vous souhaitez ajouter une nouvelle source de données, vous devez d’abord supprimer la source de données existante. Faites cela en sélectionnant Supprimer la source de données sous vos informations de source de données.
Lorsque vous supprimez une source de données, un message d’avertissement s’affiche. La suppression d’une source de données efface la session de conversation et réinitialise tous les paramètres de terrain de jeu.