Composition d’une image d’étagère (préversion)

Article
06/11/2024

Une partie du workflow de reconnaissance de produits consiste à corriger et modifier les images d’entrée afin que le service puisse fonctionner correctement.

Ce guide vous décrit comment utiliser l’API Stitching pour combiner plusieurs images de la même étagère physique : vous obtenez ainsi une image composite de l’ensemble de l’étagère, même si elle est vue en partie par plusieurs caméras différentes.

Ce guide vous montre également comment utiliser l’API Rectification pour corriger la distorsion de perspective lorsque vous assemblez différentes images.

Prérequis

Un abonnement Azure - En créer un gratuitement
Une fois que vous avez votre abonnement Azure, créez une ressource Vision dans le portail Azure. Elle doit être déployée dans une région Azure prise en charge (voir disponibilité des régions). À la fin du déploiement, sélectionnez Accéder à la ressource.
- Vous aurez besoin de la clé et du point de terminaison de la ressource que vous créez pour connecter votre application au service Azure AI Vision. Vous collerez votre clé et votre point de terminaison dans le code ci-dessous ultérieurement dans le guide de démarrage rapide.
Une ressource stockage Azure avec un conteneur de stockage d’objets blob. Créez-en un
cURL installé. Vous pouvez également utiliser une plateforme REST différente, telle que Swagger ou l’extension client REST pour VS Code.
Ensemble de photos qui montrent des parties adjacentes de la même étagère. Un chevauchement de 50 % entre les images est recommandé. Vous pouvez télécharger et utiliser les images « non fusionnées » d’exemple depuis GitHub.

Utiliser l’API Stitching

L’API Stitching combine plusieurs images d’une même étagère physique.

Trois photos d’étagères, à côté de leur photo composite combinée.

Notes

Les marques affichées dans les images ne sont pas affiliées à Microsoft et n’indiquent aucune forme d’approbation de Microsoft ou de produits Microsoft par les propriétaires de la marque, ni d’approbation des propriétaires de la marque ou de leurs produits par Microsoft.

Pour exécuter l’opération d’assemblage d’images sur un ensemble d’images, procédez comme suit :

Chargez les images que vous souhaitez fusionner dans votre conteneur de stockage d’objets blob et obtenez l’URL absolue de chaque image. Vous pouvez fusionner jusqu’à 10 images à la fois.

Copiez la commande curl suivante dans un éditeur de texte.

curl.exe -H "Ocp-Apim-Subscription-Key: <subscriptionKey>" -H "Content-Type: application/json" "<endpoint>/computervision/imagecomposition:stitch?api-version=2023-04-01-preview" --output <your_filename> -d "{
    'images': [
        '<your_url_string_>',
        '<your_url_string_2>',
        ...
    ]
}"

Modifiez la commande comme ci-dessous :
1. Remplacez la valeur de <subscriptionKey> par votre clé de ressource Vision.
2. Remplacez la valeur de <endpoint> par votre point de terminaison de ressource Vision. Par exemple : https://YourResourceName.cognitiveservices.azure.com.
3. Remplacez le contenu <your_url_string> par les URL d’objet blob des images. Les images doivent être triées de gauche à droite et de haut en bas, en fonction des espaces physiques qu’elles affichent.
4. Remplacez <your_filename> par le nom et l’extension du fichier dans lequel vous souhaitez obtenir le résultat (par exemple, download.jpg).
Ouvrez une fenêtre d’invite de commandes.
Collez votre commande curl modifiée à partir de l’éditeur de texte dans la fenêtre d’invite de commandes, puis exécutez la commande.

Examiner la réponse d’assemblage

L’API retourne une 200 réponse et le nouveau fichier est téléchargé à l’emplacement que vous avez spécifié.

Utiliser l’API de rectification

Une fois l’opération d’assemblage terminée, nous vous recommandons d’effectuer l’opération de rectification pour obtenir des résultats d’analyse optimaux.

Photos d’une étagère de vente au détail, avant et après l’opération de rectification.

Notes

Pour corriger la distorsion de perspective dans l’image composite, procédez comme suit :

Chargez l’image que vous souhaitez rectifier dans votre conteneur de stockage d’objets blob et obtenez l’URL absolue.

Copiez la commande curl suivante dans un éditeur de texte.

curl.exe -H "Ocp-Apim-Subscription-Key: <subscriptionKey>" -H "Content-Type: application/json" "<endpoint>/computervision/imagecomposition:rectify?api-version=2023-04-01-preview" --output <your_filename> -d "{
  'url': '<your_url_string>',
  'controlPoints': {
    'topLeft': {
      'x': 0.1,
      'y': 0.1
    },
    'topRight': {
      'x': 0.2,
      'y': 0.2
    },
    'bottomLeft': {
      'x': 0.3,
      'y': 0.3
    },
    'bottomRight': {
      'x': 0.4,
      'y': 0.4
    }
  }
}"

Modifiez la commande comme ci-dessous :
1. Remplacez la valeur de <subscriptionKey> par votre clé de ressource Vision.
2. Remplacez la valeur de <endpoint> par votre point de terminaison de ressource Vision. Par exemple : https://YourResourceName.cognitiveservices.azure.com.
3. Remplacez <your_url_string> par l’URL de stockage d’objets blob de l’image.
4. Remplacez les quatre coordonnées de point de contrôle dans le corps de la demande. X est la coordonnée horizontale et Y la verticale. Les coordonnées étant normalisées, 0,5,0,5 indique le centre de l’image et 1,1 indique le coin inférieur droit, par exemple. Définissez les coordonnées pour délimiter les quatre coins de l’étagère telle qu’elle apparaît dans l’image.
5. Remplacez <your_filename> par le nom et l’extension du fichier dans lequel vous souhaitez obtenir le résultat (par exemple, download.jpg).
Ouvrez une fenêtre d’invite de commandes.
Collez votre commande curl modifiée à partir de l’éditeur de texte dans la fenêtre d’invite de commandes, puis exécutez la commande.

Examiner la réponse de rectification

L’API retourne une 200 réponse et le nouveau fichier est téléchargé à l’emplacement que vous avez spécifié.

Étapes suivantes

Dans ce guide, vous avez appris à préparer des photos d’étagères pour l’analyse. Ensuite, appelez l’API Product Understanding pour obtenir les résultats de l’analyse.

Analyser une image d’étagère

Vue d’ensemble de l’analyse d’image

Partager via