Azure AI Vision

  • 3 minutes

Bien que vous puissiez entraîner vos propres modèles de Machine Learning pour la vision par ordinateur, l’architecture des modèles vision par ordinateur peut être complexe ; et vous avez besoin de volumes importants d’images de formation et de puissance de calcul pour effectuer le processus de formation.

Le service Azure AI Vision de Microsoft fournit des modèles prédéfinis et personnalisables de vision par ordinateur basés sur le modèle de base de Florence et fournissent diverses fonctionnalités puissantes. Avec Azure AI Vision, vous pouvez créer des solutions de vision par ordinateur sophistiquées rapidement et facilement ; tirer parti de la fonctionnalité « prêt à l’emploi » pour de nombreux scénarios de vision par ordinateur courants, tout en conservant la possibilité de créer des modèles personnalisés à l’aide de vos propres images.

Ressources Azure pour le service Azure AI Vision

Pour utiliser Azure AI Vision, vous devez créer une ressource pour celle-ci dans votre abonnement Azure. Vous pouvez sélectionner l’un des types de ressources suivants :

  • Azure AI Vision : Ressource spécifique du service Azure AI Vision. Utilisez ce type de ressource si vous n’avez pas l’intention d’utiliser d’autres services Azure IA ou si vous souhaitez suivre séparément l’utilisation et les coûts de votre ressource Azure AI Vision.
  • Azure AI services : Une ressource générale qui comprend Azure AI Vision et de nombreux autres services Azure AI, tels que Azure AI Language, Azure AI Custom Vision, Azure AI Traducteur etc. Utilisez ce type de ressource si vous envisagez d’utiliser plusieurs services d’IA afin de simplifier l’administration et le développement.

Analyse des images avec le service Azure AI Vision

Une fois que vous avez créé une ressource appropriée dans votre abonnement, vous pouvez envoyer des images au service Azure AI Vision par ordinateur pour effectuer une large gamme de tâches analytiques.

Azure AI Vision prend en charge plusieurs fonctionnalités d’analyse d’images, notamment :

  • La reconnaissance optique de caractères (OCR) : extraction du texte d’images.
  • Génération de légendes et de descriptions d’images.
  • Détection de milliers d’objets communs dans des images.
  • Balisage des fonctionnalités visuelles dans les images

Ces tâches, et bien plus encore, peuvent être effectuées dans Azure AI Vision Studio.

Screenshot of Vision Studio.

Reconnaissance optique de caractères

Azure AI Vision peut utiliser les fonctionnalités de reconnaissance optique de caractères (OCR) pour détecter du texte dans des images. Par exemple, considérez l’image suivante d’une étiquette de nutrition sur un produit dans une épicerie :

Diagram of a nutrition label.

Le service Azure AI Vision peut analyser cette image et extraire le texte suivant :

Nutrition Facts Amount Per Serving
Serving size:1 bar (40g)
Serving Per Package: 4
Total Fat 13g
Saturated Fat 1.5g
Amount Per Serving
Trans Fat 0g
calories 190
Cholesterol 0mg
ories from Fat 110
Sodium 20mg
ntDaily Values are based on
Vitamin A 50
calorie diet

Conseil

Vous pouvez explorer les fonctionnalités OCR Azure AI Vision plus loin dans le texte en lecture avec le module Azure AI Vision sur Microsoft Learn.

Description d’une image avec des légendes

Azure AI Vision a la possibilité d’analyser une image, d’évaluer les objets qui sont détectés et de générer une expression ou une phrase explicite qui peut décrire ce qui a été détecté dans l’image. Par exemple, considérez l’image suivante :

Diagram of a man on a skateboard.

Azure AI Vision retourne la légende suivante pour cette image :

Un homme sautant sur un skate

Détection d’objets courants dans une image

Azure AI Vision peut identifier des milliers d’objets communs dans des images. Par exemple, lorsqu’il est utilisé pour détecter des objets dans l’image de skateboard décrite précédemment, Azure AI Vision retourne les prédictions suivantes :

  • Skateboard (90,40 %)
  • Personne (95,5 %)

Les prédictions incluent un score de confiance qui indique la probabilité que le modèle ait calculé pour les objets prédits.

Outre les étiquettes d’objets détectées et leurs probabilités, Azure AI Vision retourne des coordonnées de cadre englobant qui indiquent le haut, la gauche, la largeur et la hauteur de l’objet détecté. Vous pouvez utiliser ces coordonnées pour déterminer où, dans l’image, chaque objet a été détecté, comme suit :

Diagram of a skateboarder with bounding boxes around detected objects.

Balisage des caractéristiques visuelles

Azure AI Vision peut suggérer des balises pour une image en fonction de son contenu. Ces balises peuvent être associées à l’image en tant que métadonnées qui résume les attributs de l’image et elles peuvent être utiles si vous souhaitez indexer une image avec un ensemble de termes clés qui peuvent être utilisés pour rechercher des images avec des attributs ou du contenu spécifiques.

Par exemple, les balises retournées pour l’image de skateboard (avec les scores de confiance associés) sont les suivantes :

  • sport (99,60 %)
  • personne (99,56 %)
  • chaussures (98,05 %)
  • roller (96,27 %)
  • sport de glisse (95,58 %)
  • équipement de skate (94,43 %)
  • vêtements (94,02 %)
  • mur (93,81 %)
  • skateboard (93,78 %)
  • skateur (93,25 %)
  • sports individuels (92,80 %)
  • cascades de rue (90,81 %)
  • solde (90,81 %)
  • saut (89,87 %)
  • équipement sportif (88,61 %)
  • sport extrême (88,35 %)
  • kickflip (88,18 %)
  • cascade (87,27 %)
  • skateboard (86,87 %)
  • cascadeur (85,83 %)
  • genou (85,30 %)
  • sports (85,24 %)
  • longboard (84,61 %)
  • faire du longboard (84,45 %)
  • rouler (73,37 %)
  • skate (67,27 %)
  • transport par air (64,83 %)
  • jeune (63,29 %)
  • extérieur (61,39 %)

Formation de modèles personnalisés

Si les modèles intégrés fournis par Azure AI Vision ne répondent pas à vos besoins, vous pouvez utiliser le service pour former un modèle personnalisé pour la classification d’images ou la détection d’objets. Azure AI Vision crée des modèles personnalisés sur le modèle de base pré-formé, ce qui signifie que vous pouvez former des modèles sophistiqués en utilisant relativement peu d’images de formation.

Classification d’images

Un modèle de classification d’images est utilisé pour prédire la catégorie ou la classe d’une image. Par exemple, vous pouvez former un modèle pour déterminer le type de fruit affiché dans une image, comme suit :

Apple Banane Orange
Diagram of an apple. Diagram of a banana. Diagram of an orange.

Détection d’objets

Les modèles de détection d’objets détectent et classent des objets dans une image, en retournant des coordonnées de zone englobantes pour localiser chaque objet. Outre les fonctionnalités intégrées de détection d’objets dans Azure AI Vision, vous pouvez former un modèle de détection d’objet personnalisé avec vos propres images. Par exemple, vous pouvez utiliser des photographies de fruits pour former un modèle qui détecte plusieurs fruits dans une image, comme ceci :

Diagram of multiple detected fruits in an image.

Remarque

Les détails de l’utilisation de Azure AI Vision pour former un modèle personnalisé dépassent l’étendue de ce module. Vous trouverez des informations sur l’entraînement de modèle personnalisé dans la documentation Azure AI Vision.