Démarrage rapide : Prise en main de GPT-4 Turbo avec Vision sur vos images et vidéos dans Azure OpenAI Service - Azure OpenAI

Commencez à explorer les fonctionnalités de GPT-4 Turbo avec une approche sans code via Azure OpenAI Studio.

Prérequis

Un abonnement Azure. Créez-en un gratuitement.
Accès accordé à Azure OpenAI dans l’abonnement Azure souhaité. L’accès à ce service n’est accordé qu’à l’application. Vous pouvez demander l’accès à Azure OpenAI en complétant le formulaire à l’adresse https://aka.ms/oai/access. Ouvrez un problème sur ce dépôt pour nous contacter si vous rencontrez un problème.
Une ressource Azure OpenAI Service avec un modèle GPT-4 Turbo avec Vision déployé. Consultez la disponibilité des modèles GPT-4 et GPT-4 Turbo Preview pour les régions disponibles. Pour plus d’informations sur la création des ressources, consultez le guide de déploiement de ressources.
Pour l’amélioration de Vision (facultatif) : une ressource Vision par ordinateur Azure dans la même région que votre ressource Azure OpenAI, dans le niveau payant (S1).

Remarque

Ce n’est actuellement pas pris en charge pour désactiver le filtrage de contenu pour le modèle GPT-4 Turbo avec Vision.

Connectez-vous à Azure OpenAI Studio

Accédez à Azure OpenAI Studio et connectez-vous avec les informations d’identification associées à votre ressource Azure OpenAI. Pendant ou après le flux de travail de connexion, sélectionnez le répertoire approprié, l’abonnement Azure et la ressource Azure OpenAI.

Sous Gestion sélectionnez Déploiements et Créez un déploiement GPT-4 Turbo avec Vision en sélectionnant le nom du modèle : « gpt-4 » et la version du modèle « vision-preview ». Pour plus d’informations sur le déploiement de modèle, consultez le guide de déploiement de ressources.

Sous la section Terrain de jeu , sélectionnez Conversation.

Terrain de jeu

À partir de cette page, vous pouvez rapidement itérer et expérimenter les fonctionnalités du modèle.

Pour obtenir de l’aide générale sur la configuration de l’Assistant, les sessions de conversation, les paramètres et les panneaux, reportez-vous au guide de démarrage rapide Conversation.

Démarrer une session de conversation pour analyser des images ou des vidéos

Dans cette session de conversation, vous demandez à l’assistant de comprendre les images que vous entrez.

Pour commencer, sélectionnez votre déploiement de GPT-4 Turbo avec Vision dans la liste déroulante.
Dans le volet de configuration de l’Assistant, fournissez un message système pour guider l’Assistant. Le message du système par défaut est : « Vous êtes un assistant IA qui aide les utilisateurs à trouver des informations. Vous pouvez adapter le message système à l’image ou au scénario que vous chargez.

Remarque

Il est recommandé de mettre à jour le message du système pour qu’il soit spécifique à la tâche afin d’éviter des réponses inutiles de la part du modèle.
Enregistrez vos modifications et, lorsque vous y êtes invité à confirmer la mise à jour du message système, sélectionnez Continuer.
Dans le volet session de conversation , entrez une invite de texte telle que « Décrivez cette image » et chargez une image avec le bouton de pièce jointe. Vous pouvez utiliser une autre invite de texte pour votre cas d’usage. Sélectionnez ensuite Envoyer.
Examinez la sortie fournie. Envisagez de poser des questions de suivi relatives à l’analyse de votre image pour en savoir plus.

Nettoyer les ressources

Si vous voulez nettoyer et supprimer une ressource Azure OpenAI, vous pouvez supprimer la ressource ou le groupe de ressources. La suppression du groupe de ressources efface également les autres ressources qui y sont associées.

Utilisez cet article pour commencer à utiliser les API REST Azure OpenAI pour déployer et utiliser le modèle GPT-4 Turbo avec Vision.

Prérequis

Un abonnement Azure. Créez-en un gratuitement.
Accès accordé à Azure OpenAI dans l’abonnement Azure souhaité. L’accès à ce service n’est accordé qu’à l’application. Vous pouvez demander l’accès à Azure OpenAI en complétant le formulaire à l’adresse https://aka.ms/oai/access. Ouvrez un problème sur ce dépôt pour nous contacter si vous rencontrez un problème.
Python 3.8 ou version ultérieure.
Bibliothèques Python suivantes : requests, json.
Une ressource Azure OpenAI Service avec un modèle GPT-4 Turbo avec Vision déployé. Consultez la disponibilité des modèles GPT-4 et GPT-4 Turbo Preview pour les régions disponibles. Pour plus d’informations sur la création des ressources, consultez le guide de déploiement de ressources.
Pour l’amélioration de Vision (facultatif) : une ressource Vision par ordinateur Azure dans la même région que votre ressource Azure OpenAI, dans le niveau payant (S1).

Remarque

Ce n’est actuellement pas pris en charge pour désactiver le filtrage de contenu pour le modèle GPT-4 Turbo avec Vision.

Récupérer la clé et le point de terminaison

Pour appeler correctement les API Azure OpenAI, vous avez besoin des informations suivantes sur votre ressource Azure OpenAI :

Variable	Nom	Valeur
Point de terminaison	`api_base`	La valeur du point de terminaison se trouve sous Clés et point de terminaison pour votre ressource dans le portail Azure. Vous trouverez également la valeur dans l’affichage Azure OpenAI Studio>Playground>Code. Voici un exemple de point de terminaison : `https://docs-test-001.openai.azure.com/`.
Clé	`api_key`	La valeur de la clé se trouve également sous Clés et point de terminaison pour votre ressource dans le portail Azure. Azure génère deux clés pour votre ressource. Vous pouvez utiliser l’une ou l’autre de ces valeurs.

Accédez à votre ressource sur le portail Azure. Dans le volet de navigation, sélectionnez Clés et point de terminaison sous Gestion des ressources. Copiez la valeur Point de terminaison et une valeur de clé d’accès. Vous pouvez utiliser la valeur CLÉ 1 ou CLÉ 2. Avoir deux clés vous permet de faire pivoter et de régénérer en toute sécurité les clés sans provoquer d’interruption de service.

Créer une application Python

Créez un fichier Python nommé quickstart.py. Ouvrez le nouveau fichier dans votre éditeur ou votre IDE favori.

Remplacez le contenu du fichier quickstart.py par le code suivant.

# Packages required:
import requests 
import json 

api_base = '<your_azure_openai_endpoint>' 
deployment_name = '<your_deployment_name>'
API_KEY = '<your_azure_openai_key>'

base_url = f"{api_base}openai/deployments/{deployment_name}" 
headers = {   
    "Content-Type": "application/json",   
    "api-key": API_KEY 
} 

# Prepare endpoint, headers, and request body 
endpoint = f"{base_url}/chat/completions?api-version=2023-12-01-preview" 
data = { 
    "messages": [ 
        { "role": "system", "content": "You are a helpful assistant." }, 
        { "role": "user", "content": [  
            { 
                "type": "text", 
                "text": "Describe this picture:" 
            },
            { 
                "type": "image_url",
                "image_url": {
                    "url": "<image URL>"
                }
            }
        ] } 
    ], 
    "max_tokens": 2000 
}   

# Make the API call   
response = requests.post(endpoint, headers=headers, data=json.dumps(data))   

print(f"Status Code: {response.status_code}")   
print(response.text)

Apportez les modifications suivantes :
1. Entrez l’URL et la clé de votre point de terminaison dans les champs appropriés.
2. Entrez votre GPT-4 Turbo avec le nom du déploiement Vision dans le champ approprié.
3. Remplacez la valeur du champ "image" par l’URL de votre image.
  
  Conseil
  
  Vous pouvez également utiliser à la place d’une URL des données d’image encodées en base 64. Pour plus d’informations, consultez le Guide pratique de GPT-4 Turbo avec Vision.
Exécutez l’application avec la commande python :
```
python quickstart.py
```

GPT-4 Turbo avec Vision offre un accès exclusif aux améliorations personnalisées d'Azure AI Services. Combiné à Azure AI Vision, il améliore votre expérience de chat en fournissant au modèle de chat des informations plus détaillées sur le texte visible dans l'image et sur l'emplacement des objets.

L’intégration de reconnaissance optique de caractères (OCR) permet au modèle de produire des réponses de qualité supérieure pour le texte dense, les images transformées et les documents financiers volumineux. Il couvre également un plus grand nombre de langues.

L’intégration de la base d’objets apporte une nouvelle couche à l’analyse des données et à l’interaction utilisateur, car la fonctionnalité peut distinguer visuellement et mettre en évidence des éléments importants dans les images qu’il traite.

Attention

Les améliorations Azure AI pour GPT-4 Turbo avec Vision seront facturées séparément des fonctionnalités de base. Chaque amélioration spécifique d'Azure AI pour GPT-4 Turbo avec Vision a ses propres frais. Pour plus d’informations, consultez les informations tarifaires spéciales.

Remplacez le contenu du fichier quickstart.py par le code suivant.

# Packages required:
import requests 
import json 

api_base = '<your_azure_openai_endpoint>' 
deployment_name = '<your_deployment_name>'
API_KEY = '<your_azure_openai_key>'

base_url = f"{api_base}openai/deployments/{deployment_name}" 
headers = {   
    "Content-Type": "application/json",   
    "api-key": API_KEY 
} 

# Prepare endpoint, headers, and request body 
endpoint = f"{base_url}/extensions/chat/completions?api-version=2023-12-01-preview" 
data = {
    "model": "gpt-4-vision-preview",
    "enhancements": {
        "ocr": {
          "enabled": True
        },
        "grounding": {
          "enabled": True
        }
    },
    "dataSources": [
    {
        "type": "AzureComputerVision",
        "parameters": {
            "endpoint": "<your_computer_vision_endpoint>",
            "key": "<your_computer_vision_key>"
        }
    }],
    "messages": [ 
        { "role": "system", "content": "You are a helpful assistant." }, 
        { "role": "user", 
        "content": [  
            { 
                "type": "text", 
                "text": "Describe this picture:" 
            },
            { 
                "type": "image_url", 
                "image_url": {
                    "url" : "<image URL>"
                }
            }
        ]} 
    ], 
    "max_tokens": 2000 
}   

# Make the API call   
response = requests.post(endpoint, headers=headers, data=json.dumps(data))   

print(f"Status Code: {response.status_code}")   
print(response.text)

Apportez les modifications suivantes :
1. Entrez votre GPT-4 Turbo avec le nom du déploiement Vision dans le champ approprié.
2. Entrez l’URL et la clé de votre point de terminaison Vision par ordinateur dans les champs appropriés.
3. Remplacez la valeur du champ "image" par l’URL de votre image.
  
  Conseil
  
  Vous pouvez également utiliser à la place d’une URL des données d’image encodées en base 64. Pour plus d’informations, consultez le Guide pratique de GPT-4 Turbo avec Vision.
Exécutez l’application avec la commande python :
```
python quickstart.py
```

Nettoyer les ressources

Si vous voulez nettoyer et supprimer une ressource Azure OpenAI, vous pouvez supprimer la ressource ou le groupe de ressources. La suppression du groupe de ressources efface également les autres ressources qui y sont associées.

Utilisez cet article pour commencer à utiliser le SDK Python d’Azure OpenAI pour déployer et utiliser le modèle GPT-4 Turbo avec Vision.

Code source de la bibliothèque | Package (PyPi) |

Prérequis

Un abonnement Azure. Créez-en un gratuitement.
Accès accordé à Azure OpenAI dans l’abonnement Azure souhaité. L’accès à ce service n’est accordé qu’à l’application. Vous pouvez demander l’accès à Azure OpenAI en complétant le formulaire à l’adresse https://aka.ms/oai/access. Ouvrez un problème sur ce dépôt pour nous contacter si vous rencontrez un problème.
Python 3.8 ou version ultérieure.
Les bibliothèques Python suivantes : os
Une ressource Azure OpenAI Service avec un modèle GPT-4 Turbo avec Vision déployé. Consultez la disponibilité des modèles GPT-4 et GPT-4 Turbo Preview pour les régions disponibles. Pour plus d’informations sur la création des ressources, consultez le guide de déploiement de ressources.
Pour l’amélioration de Vision (facultatif) : une ressource Vision par ordinateur Azure dans la même région que votre ressource Azure OpenAI, dans le niveau payant (S1).

Configurer

Installez la bibliothèque de client Python OpenAI avec :

pip install openai

Notes

Cette bibliothèque est gérée par OpenAI et est actuellement en préversion. Reportez-vous à l’historique des mises en production ou à l’historique de validation version.py pour suivre les dernières mises à jour de la bibliothèque.

Récupérer la clé et le point de terminaison

Pour effectuer correctement un appel sur Azure OpenAI, vous avez besoin d’un point de terminaison et d’une clé.

Nom de la variable	Valeur
`ENDPOINT`	Cette valeur se trouve dans la section Clés et point de terminaison quand vous examinez votre ressource à partir du portail Azure. Vous pouvez également trouver la valeur dans l’affichage Azure OpenAI Studio>Playground>Code. Voici un exemple de point de terminaison : `https://docs-test-001.openai.azure.com/`.
`API-KEY`	Cette valeur se trouve dans la section Clés et point de terminaison quand vous examinez votre ressource à partir du portail Azure. Vous pouvez utiliser soit `KEY1`, soit `KEY2`.

Accédez à votre ressource sur le portail Azure. La section Point de terminaison et les clés se trouvent dans la section Gestion des ressources. Copiez votre point de terminaison et votre clé d’accès, car vous aurez besoin de l’authentification de vos appels d’API. Vous pouvez utiliser soit KEY1, soit KEY2. Avoir toujours deux clés vous permet de faire pivoter et de régénérer en toute sécurité les clés sans provoquer d’interruption de service.

Variables d'environnement

Créez et affectez des variables d’environnement persistantes pour votre clé et votre point de terminaison.

setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE" 
setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE"

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_API_KEY', 'REPLACE_WITH_YOUR_KEY_VALUE_HERE', 'User')
[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_ENDPOINT', 'REPLACE_WITH_YOUR_ENDPOINT_HERE', 'User')

export AZURE_OPENAI_API_KEY="REPLACE_WITH_YOUR_KEY_VALUE_HERE"
export AZURE_OPENAI_ENDPOINT="REPLACE_WITH_YOUR_ENDPOINT_HERE"

Créer une application Python

Créez un fichier Python nommé quickstart.py. Ouvrez le nouveau fichier dans votre éditeur ou votre IDE favori.

Remplacez le contenu du fichier quickstart.py par le code suivant.

from openai import AzureOpenAI

api_base = os.getenv("AZURE_OPENAI_ENDPOINT")
api_key= os.getenv("AZURE_OPENAI_API_KEY")
deployment_name = '<your_deployment_name>'
api_version = '2023-12-01-preview' # this might change in the future

client = AzureOpenAI(
    api_key=api_key,  
    api_version=api_version,
    base_url=f"{api_base}/openai/deployments/{deployment_name}"
)

response = client.chat.completions.create(
    model=deployment_name,
    messages=[
        { "role": "system", "content": "You are a helpful assistant." },
        { "role": "user", "content": [  
            { 
                "type": "text", 
                "text": "Describe this picture:" 
            },
            { 
                "type": "image_url",
                "image_url": {
                    "url": "<image URL>"
                }
            }
        ] } 
    ],
    max_tokens=2000 
)

print(response)

Apportez les modifications suivantes :
1. Entrez le nom de votre déploiement GPT-4 Turbo avec Vision dans le champ approprié.
2. Remplacez la valeur du champ "url" par l’URL de votre image.
  
  Conseil
  
  Vous pouvez également utiliser à la place d’une URL des données d’image encodées en base 64. Pour plus d’informations, consultez le Guide pratique de GPT-4 Turbo avec Vision.
Exécutez l’application avec la commande python :
```
python quickstart.py
```

GPT-4 Turbo avec Vision offre un accès exclusif aux améliorations personnalisées d'Azure AI Services. Combiné à Azure AI Vision, il améliore votre expérience de chat en fournissant au modèle de chat des informations plus détaillées sur le texte visible dans l'image et sur l'emplacement des objets.

L’intégration de reconnaissance optique de caractères (OCR) permet au modèle de produire des réponses de qualité supérieure pour le texte dense, les images transformées et les documents financiers volumineux. Il couvre également un plus grand nombre de langues.

L’intégration de la base d’objets apporte une nouvelle couche à l’analyse des données et à l’interaction utilisateur, car la fonctionnalité peut distinguer visuellement et mettre en évidence des éléments importants dans les images qu’il traite.

Attention

Les améliorations Azure AI pour GPT-4 Turbo avec Vision seront facturées séparément des fonctionnalités de base. Chaque amélioration spécifique d'Azure AI pour GPT-4 Turbo avec Vision a ses propres frais. Pour plus d’informations, consultez les informations tarifaires spéciales.

Remplacez le contenu du fichier quickstart.py par le code suivant.

from openai import AzureOpenAI

api_base = os.getenv("AZURE_OPENAI_ENDPOINT")
api_key= os.getenv("AZURE_OPENAI_API_KEY")
deployment_name = '<your_deployment_name>'
api_version = '2023-12-01-preview' # this might change in the future

client = AzureOpenAI(
    api_key=api_key,  
    api_version=api_version,
    base_url=f"{api_base}/openai/deployments/{deployment_name}/extensions",
)

response = client.chat.completions.create(
    model=deployment_name,
    messages=[
        { "role": "system", "content": "You are a helpful assistant." },
        { "role": "user", "content": [  
            { 
                "type": "text", 
                "text": "Describe this picture:" 
            },
            { 
                "type": "image_url",
                "image_url": {
                    "url": "<image URL>"
                }
            }
        ] } 
    ],
    extra_body={
        "dataSources": [
            {
                "type": "AzureComputerVision",
                "parameters": {
                    "endpoint": "<your_computer_vision_endpoint>",
                    "key": "<your_computer_vision_key>"
                }
            }],
        "enhancements": {
            "ocr": {
                "enabled": True
            },
            "grounding": {
                "enabled": True
            }
        }
    },
    max_tokens=2000
)

print(response)

Apportez les modifications suivantes :
1. Entrez votre GPT-4 Turbo avec le nom du déploiement Vision dans le champ approprié.
2. Entrez l’URL et la clé de votre point de terminaison Vision par ordinateur dans les champs appropriés.
3. Remplacez la valeur du champ "url" par l’URL de votre image.
  
  Conseil
  
  Vous pouvez également utiliser à la place d’une URL des données d’image encodées en base 64. Pour plus d’informations, consultez le Guide pratique de GPT-4 Turbo avec Vision.
Exécutez l’application avec la commande python :
```
python quickstart.py
```

Nettoyer les ressources

Si vous voulez nettoyer et supprimer une ressource Azure OpenAI, vous pouvez supprimer la ressource ou le groupe de ressources. La suppression du groupe de ressources efface également les autres ressources qui y sont associées.

Démarrage rapide : Utiliser des images dans vos conversations IA

Prérequis

Connectez-vous à Azure OpenAI Studio

Terrain de jeu

Démarrer une session de conversation pour analyser des images ou des vidéos

Nettoyer les ressources

Prérequis

Récupérer la clé et le point de terminaison

Créer une application Python

Nettoyer les ressources

Prérequis

Configurer

Récupérer la clé et le point de terminaison

Variables d'environnement

Créer une application Python

Nettoyer les ressources

Étapes suivantes

Ressources supplémentaires