Démarrage rapide : Utiliser des images dans vos conversations IA
Démarrez l’utilisation de GPT-4 Turbo avec des images avec Azure OpenAI Service.
Mise à niveau d’un modèle GPT-4 Turbo
La dernière version en disponibilité générale de GPT-4 Turbo est :
gpt-4
Version :turbo-2024-04-09
Il s’agit du remplacement des modèles en préversion suivants :
gpt-4
Version :1106-Preview
gpt-4
Version :0125-Preview
gpt-4
Version :vision-preview
Différences entre les modèles OpenAI et OpenAI GPT-4 Turbo GA
- La version d’OpenAI du dernier modèle
0409
Turbo prend en charge le mode JSON et l’appel de fonction pour toutes les requêtes d’inférence. - La version d’Azure OpenAI du dernier
turbo-2024-04-09
ne prend actuellement pas en charge l’utilisation du mode JSON et l’appel de fonction lors de l’exécution de requêtes d’inférence avec une entrée d’image (vision). Les requêtes d’entrée basées sur du texte (requêtes sansimage_url
et images incluses) prennent par contre en charge le mode JSON et l’appel de fonction.
Différences par rapport à gpt-4 vision-preview
- L’intégration des améliorations de Vision propres à Azure AI à GPT-4 Turbo avec Vision n’est pas prise en charge pour
gpt-4
Version :turbo-2024-04-09
. Cela inclut la reconnaissance optique de caractères (OCR), l’ancrage d’objets, les invites vidéo et la gestion améliorée de vos données avec des images.
Disponibilité managée approvisionnée de GPT-4 Turbo
gpt-4
Version :turbo-2024-04-09
est disponible pour les déploiements standard et approvisionnés. Actuellement, la version approvisionnée de ce modèle ne prend pas en charge les requêtes d’inférence d’image/vision. Les déploiements approvisionnés de ce modèle acceptent uniquement les entrées de texte. Les déploiements de modèles standard acceptent les requêtes d’inférence de texte et d’image/vision.
Disponibilité dans les régions
Pour plus d’informations sur la disponibilité régionale du modèle, consultez la matrice de modèles pour les déploiements standard et approvisionnés.
Déploiement de la disponibilité générale de GPT-4 Turbo avec Vision
Pour déployer le modèle en disponibilité générale à partir de l’interface utilisateur Studio, sélectionnez GPT-4
, puis choisissez la version turbo-2024-04-09
du menu de la liste déroulante. Le quota par défaut pour le modèle gpt-4-turbo-2024-04-09
est le même que le quota actuel pour GPT-4-Turbo. Voir les limites de quota régionales.
Commencez à explorer les fonctionnalités de GPT-4 Turbo avec une approche sans code via Azure OpenAI Studio.
Prérequis
- Un abonnement Azure. Créez-en un gratuitement.
- Accès accordé à Azure OpenAI dans l’abonnement Azure souhaité. L’accès à ce service n’est accordé qu’à l’application. Vous pouvez demander l’accès à Azure OpenAI en complétant le formulaire à l’adresse https://aka.ms/oai/access. Ouvrez un problème sur ce dépôt pour nous contacter si vous rencontrez un problème.
- Une ressource Azure OpenAI Service avec un modèle GPT-4 Turbo avec Vision déployé. Consultez la disponibilité des modèles GPT-4 et GPT-4 Turbo Preview pour les régions disponibles. Pour plus d’informations sur la création des ressources, consultez le guide de déploiement de ressources.
- Pour l’amélioration de Vision (facultatif) : une ressource Vision par ordinateur Azure dans la même région que votre ressource Azure OpenAI, dans le niveau payant (S1).
Remarque
Ce n’est actuellement pas pris en charge pour désactiver le filtrage de contenu pour le modèle GPT-4 Turbo avec Vision.
Connectez-vous à Azure OpenAI Studio
Accédez à Azure OpenAI Studio et connectez-vous avec les informations d’identification associées à votre ressource Azure OpenAI. Pendant ou après le flux de travail de connexion, sélectionnez le répertoire approprié, l’abonnement Azure et la ressource Azure OpenAI.
Sous Gestion sélectionnez Déploiements et Créez un déploiement GPT-4 Turbo avec Vision en sélectionnant le nom du modèle : « gpt-4 » et la version du modèle « vision-preview ». Pour plus d’informations sur le déploiement de modèle, consultez le guide de déploiement de ressources.
Sous la section Terrain de jeu , sélectionnez Conversation.
Terrain de jeu
À partir de cette page, vous pouvez rapidement itérer et expérimenter les fonctionnalités du modèle.
Pour obtenir de l’aide générale sur la configuration de l’Assistant, les sessions de conversation, les paramètres et les panneaux, reportez-vous au guide de démarrage rapide Conversation.
Démarrer une session de conversation pour analyser des images ou des vidéos
- Invites d’images
- Améliorations apportées à l’invite d’images
- Améliorations apportées à l’invite vidéo
Dans cette session de conversation, vous demandez à l’assistant de comprendre les images que vous entrez.
Pour commencer, sélectionnez votre déploiement de GPT-4 Turbo avec Vision dans la liste déroulante.
Dans le volet de configuration de l’Assistant, fournissez un message système pour guider l’Assistant. Le message du système par défaut est : « Vous êtes un assistant IA qui aide les utilisateurs à trouver des informations. Vous pouvez adapter le message système à l’image ou au scénario que vous chargez.
Remarque
Il est recommandé de mettre à jour le message du système pour qu’il soit spécifique à la tâche afin d’éviter des réponses inutiles de la part du modèle.
Enregistrez vos modifications et, lorsque vous y êtes invité à confirmer la mise à jour du message système, sélectionnez Continuer.
Dans le volet session de conversation , entrez une invite de texte telle que « Décrivez cette image » et chargez une image avec le bouton de pièce jointe. Vous pouvez utiliser une autre invite de texte pour votre cas d’usage. Sélectionnez ensuite Envoyer.
Examinez la sortie fournie. Envisagez de poser des questions de suivi relatives à l’analyse de votre image pour en savoir plus.
Nettoyer les ressources
Si vous voulez nettoyer et supprimer une ressource Azure OpenAI, vous pouvez supprimer la ressource ou le groupe de ressources. La suppression du groupe de ressources efface également les autres ressources qui y sont associées.
Utilisez cet article pour commencer à utiliser les API REST Azure OpenAI pour déployer et utiliser le modèle GPT-4 Turbo avec Vision.
Prérequis
- Un abonnement Azure. Créez-en un gratuitement.
- Accès accordé à Azure OpenAI dans l’abonnement Azure souhaité. L’accès à ce service n’est accordé qu’à l’application. Vous pouvez demander l’accès à Azure OpenAI en complétant le formulaire à l’adresse https://aka.ms/oai/access. Ouvrez un problème sur ce dépôt pour nous contacter si vous rencontrez un problème.
- Python 3.8 ou version ultérieure.
- Bibliothèques Python suivantes :
requests
,json
. - Une ressource Azure OpenAI Service avec un modèle GPT-4 Turbo avec Vision déployé. Consultez la disponibilité des modèles GPT-4 et GPT-4 Turbo Preview pour les régions disponibles. Pour plus d’informations sur la création des ressources, consultez le guide de déploiement de ressources.
- Pour l’amélioration de Vision (facultatif) : une ressource Vision par ordinateur Azure dans la même région que votre ressource Azure OpenAI, dans le niveau payant (S1).
Remarque
Ce n’est actuellement pas pris en charge pour désactiver le filtrage de contenu pour le modèle GPT-4 Turbo avec Vision.
Récupérer la clé et le point de terminaison
Pour appeler correctement les API Azure OpenAI, vous avez besoin des informations suivantes sur votre ressource Azure OpenAI :
Variable | Nom | Valeur |
---|---|---|
Point de terminaison | api_base |
La valeur du point de terminaison se trouve sous Clés et point de terminaison pour votre ressource dans le portail Azure. Vous trouverez également la valeur dans l’affichage Azure OpenAI Studio>Playground>Code. Voici un exemple de point de terminaison : https://docs-test-001.openai.azure.com/ . |
Clé | api_key |
La valeur de la clé se trouve également sous Clés et point de terminaison pour votre ressource dans le portail Azure. Azure génère deux clés pour votre ressource. Vous pouvez utiliser l’une ou l’autre de ces valeurs. |
Accédez à votre ressource sur le portail Azure. Dans le volet de navigation, sélectionnez Clés et point de terminaison sous Gestion des ressources. Copiez la valeur Point de terminaison et une valeur de clé d’accès. Vous pouvez utiliser la valeur CLÉ 1 ou CLÉ 2. Avoir deux clés vous permet de faire pivoter et de régénérer en toute sécurité les clés sans provoquer d’interruption de service.
Créer une application Python
Créez un fichier Python nommé quickstart.py. Ouvrez le nouveau fichier dans votre éditeur ou votre IDE favori.
- Invites d’images
- Améliorations apportées à l’invite d’images
- Améliorations apportées à l’invite vidéo
Remplacez le contenu du fichier quickstart.py par le code suivant.
# Packages required: import requests import json api_base = '<your_azure_openai_endpoint>' deployment_name = '<your_deployment_name>' API_KEY = '<your_azure_openai_key>' base_url = f"{api_base}openai/deployments/{deployment_name}" headers = { "Content-Type": "application/json", "api-key": API_KEY } # Prepare endpoint, headers, and request body endpoint = f"{base_url}/chat/completions?api-version=2023-12-01-preview" data = { "messages": [ { "role": "system", "content": "You are a helpful assistant." }, { "role": "user", "content": [ { "type": "text", "text": "Describe this picture:" }, { "type": "image_url", "image_url": { "url": "<image URL>" } } ] } ], "max_tokens": 2000 } # Make the API call response = requests.post(endpoint, headers=headers, data=json.dumps(data)) print(f"Status Code: {response.status_code}") print(response.text)
Apportez les modifications suivantes :
Entrez l’URL et la clé de votre point de terminaison dans les champs appropriés.
Entrez votre GPT-4 Turbo avec le nom du déploiement Vision dans le champ approprié.
Remplacez la valeur du champ
"image"
par l’URL de votre image.Conseil
Vous pouvez également utiliser à la place d’une URL des données d’image encodées en base 64. Pour plus d’informations, consultez le Guide pratique de GPT-4 Turbo avec Vision.
Exécutez l’application avec la commande
python
:python quickstart.py
Nettoyer les ressources
Si vous voulez nettoyer et supprimer une ressource Azure OpenAI, vous pouvez supprimer la ressource ou le groupe de ressources. La suppression du groupe de ressources efface également les autres ressources qui y sont associées.
Utilisez cet article pour commencer à utiliser le SDK Python d’Azure OpenAI pour déployer et utiliser le modèle GPT-4 Turbo avec Vision.
Code source de la bibliothèque | Package (PyPi) |
Prérequis
- Un abonnement Azure. Créez-en un gratuitement.
- Accès accordé à Azure OpenAI dans l’abonnement Azure souhaité. L’accès à ce service n’est accordé qu’à l’application. Vous pouvez demander l’accès à Azure OpenAI en complétant le formulaire à l’adresse https://aka.ms/oai/access. Ouvrez un problème sur ce dépôt pour nous contacter si vous rencontrez un problème.
- Python 3.8 ou version ultérieure.
- Les bibliothèques Python suivantes :
os
- Une ressource Azure OpenAI Service avec un modèle GPT-4 Turbo avec Vision déployé. Consultez la disponibilité des modèles GPT-4 et GPT-4 Turbo Preview pour les régions disponibles. Pour plus d’informations sur la création des ressources, consultez le guide de déploiement de ressources.
- Pour l’amélioration de Vision (facultatif) : une ressource Vision par ordinateur Azure dans la même région que votre ressource Azure OpenAI, dans le niveau payant (S1).
Configurer
Installez la bibliothèque de client Python OpenAI avec :
pip install openai
Remarque
Cette bibliothèque est gérée par OpenAI. Reportez-vous à l’historique des versions pour suivre les dernières mises à jour de la bibliothèque.
Récupérer la clé et le point de terminaison
Pour effectuer correctement un appel sur Azure OpenAI, vous avez besoin d’un point de terminaison et d’une clé.
Nom de la variable | Valeur |
---|---|
ENDPOINT |
Cette valeur se trouve dans la section Clés et point de terminaison quand vous examinez votre ressource à partir du portail Azure. Vous pouvez également trouver la valeur dans l’affichage Azure OpenAI Studio>Playground>Code. Voici un exemple de point de terminaison : https://docs-test-001.openai.azure.com/ . |
API-KEY |
Cette valeur se trouve dans la section Clés et point de terminaison quand vous examinez votre ressource à partir du portail Azure. Vous pouvez utiliser soit KEY1 , soit KEY2 . |
Accédez à votre ressource sur le portail Azure. La section Point de terminaison et les clés se trouvent dans la section Gestion des ressources. Copiez votre point de terminaison et votre clé d’accès, car vous aurez besoin de l’authentification de vos appels d’API. Vous pouvez utiliser soit KEY1
, soit KEY2
. Avoir toujours deux clés vous permet de faire pivoter et de régénérer en toute sécurité les clés sans provoquer d’interruption de service.
Variables d'environnement
Créez et affectez des variables d’environnement persistantes pour votre clé et votre point de terminaison.
setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE"
setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE"
Créer une application Python
Créez un fichier Python nommé quickstart.py. Ouvrez le nouveau fichier dans votre éditeur ou votre IDE favori.
- Invites d’images
- Améliorations apportées à l’invite d’images
- Améliorations apportées à l’invite vidéo
Remplacez le contenu du fichier quickstart.py par le code suivant.
from openai import AzureOpenAI api_base = os.getenv("AZURE_OPENAI_ENDPOINT") api_key= os.getenv("AZURE_OPENAI_API_KEY") deployment_name = '<your_deployment_name>' api_version = '2023-12-01-preview' # this might change in the future client = AzureOpenAI( api_key=api_key, api_version=api_version, base_url=f"{api_base}/openai/deployments/{deployment_name}" ) response = client.chat.completions.create( model=deployment_name, messages=[ { "role": "system", "content": "You are a helpful assistant." }, { "role": "user", "content": [ { "type": "text", "text": "Describe this picture:" }, { "type": "image_url", "image_url": { "url": "<image URL>" } } ] } ], max_tokens=2000 ) print(response)
Apportez les modifications suivantes :
- Entrez le nom de votre déploiement GPT-4 Turbo avec Vision dans le champ approprié.
- Remplacez la valeur du champ
"url"
par l’URL de votre image.Conseil
Vous pouvez également utiliser à la place d’une URL des données d’image encodées en base 64. Pour plus d’informations, consultez le Guide pratique de GPT-4 Turbo avec Vision.
Exécutez l’application avec la commande
python
:python quickstart.py
Nettoyer les ressources
Si vous voulez nettoyer et supprimer une ressource Azure OpenAI, vous pouvez supprimer la ressource ou le groupe de ressources. La suppression du groupe de ressources efface également les autres ressources qui y sont associées.
Étapes suivantes
- En savoir plus sur ces API dans le guide pratique GPT-4 Turbo avec Vision
- Questions fréquentes sur GPT-4 Turbo avec Vision
- Référence API GPT-4 Turbo avec Vision
Commentaires
https://aka.ms/ContentUserFeedback.
Bientôt disponible : Tout au long de 2024, nous allons supprimer progressivement GitHub Issues comme mécanisme de commentaires pour le contenu et le remplacer par un nouveau système de commentaires. Pour plus d’informations, consultezEnvoyer et afficher des commentaires pour