Classification d’images sur Azure

En utilisant des services Azure comme l’API Vision par ordinateur et Azure Functions, les sociétés n’ont plus besoin de gérer des serveurs individuels. Elles réduisent par ailleurs leurs coûts et tirent parti de l’expertise que Microsoft a déjà développée en matière de traitement d’images avec Azure AI services. Cette idée de solution concerne plus particulièrement un cas d’usage de traitement d’images. Si vos besoins en termes d’intelligence artificielle sont variés, pensez à la suite complète Azure AI services.

Architecture

Téléchargez un fichier Visio de cette idée de solution.

Dataflow

Ce scénario couvre les composants principaux d’une application web ou mobile. Les données circulent dans le scénario comme suit :

1. L’ajout de nouveaux fichiers (chargements d’images) dans le stockage Blob déclenche un événement dans Azure Event Grid. Le processus de chargement peut être orchestré via le web ou une application mobile. Vous pouvez également charger des images séparément dans le stockage Blob Azure.
2. Event Grid envoie une notification qui déclenche les fonctions Azure.
3. Azure Functions appelle l’API Azure AI Vision pour analyser l’image nouvellement chargée. Azure AI Vision accède à l’image via l’URL d’objet Blob analysée par Azure Functions.
4. Azure Functions conserve la réponse de l’API AI Vision dans Azure Cosmos DB. Cette réponse inclut les résultats de l’analyse, ainsi que les métadonnées de l’image.
5. Les résultats peuvent être consommés et réfléchis sur le web ou le front-end mobile. Notez que cette approche récupère les résultats de la classification, mais pas l’image chargée.

Composants

• Azure AI Vision fait partie de la suite Azure AI services et est utilisée pour récupérer des informations sur chaque image.
• Azure Functions fournit l’API back-end pour l’application web. Cette plateforme fournit également le traitement des événements pour les images chargées.
• Azure Event Grid déclenche un événement lorsqu’une nouvelle image est chargée dans le stockage Blob. L’image est ensuite traitée avec Azure Functions.
• Le Stockage Blob Azure stocke tous les fichiers image qui sont chargés dans l’application web, ainsi que les fichiers statiques qui sont consommés par l’application web.
• Azure Cosmos DB stocke les métadonnées de chaque image chargée, notamment les résultats du traitement de l’API Vision par ordinateur.

Autres solutions

• Azure OpenAI GPT-4 Turbo avec Vision (version préliminaire). GPT-4 Turbo avec Vision est un modèle multimodal qui peut analyser des images et répondre à des questions les concernant.
• Service Vision personnalisée. L’API Vision par ordinateur retourne un ensemble de catégories basées sur la taxonomie. Si vous devez traiter des informations qui ne sont pas retournées par l’API Vision par ordinateur, pensez au service Vision personnalisée, qui vous permet de créer des classifieurs d’images personnalisés.
• Recherche Azure AI (anciennement Recherche Azure) Si votre cas d’usage implique l’interrogation de métadonnées pour rechercher des images qui répondent à des critères spécifiques, pensez à utiliser la recherche Azure AI. La recherche Azure AI intègre ce workflow de manière fluide.
• Logic Apps. Si vous n’avez pas besoin de réagir en temps réel sur des fichiers ajoutés à un objet BLOB, vous pouvez envisager d’utiliser Logic Apps. Une application logique qui peut vérifier si un fichier a été ajouté peut être démarrée par le déclencheur de périodicité ou le déclencheur de fenêtres glissantes.
• Si vous avez des images incorporées à des documents, utilisez Azure AI Intelligence documentaire pour les localiser. Ces informations vous permettent d'extraire les images incorporées et d'effectuer d'autres tâches de vision par ordinateur dessus. Utilisez Intelligence documentaire pour collecter des données sur les images incorporées, comme le numéro de page ou le texte de légende. Ces éléments peuvent être stockés avec les autres métadonnées reçues par le biais de l’API Vision par ordinateur.

Détails du scénario

Ce scénario s’applique aux entreprises qui doivent traiter des images.

Applications potentielles : classification d’images pour un site web de mode, analyse de texte et d’images pour les déclarations de sinistre ou compréhension des données de télémétrie issues des captures d’écran de jeux. Traditionnellement, les entreprises devaient développer une expertise en matière de modèles Machine Learning, effectuer l’apprentissage des modèles et enfin exécuter les images via leur processus personnalisé pour obtenir les données des images.

Cas d’usage potentiels

Cette solution est idéale pour les secteurs de la vente au détail, du jeu, de la finance et de l’assurance. Les autres cas d’usage appropriés sont les suivants :

• Classification des images sur un site web de mode. La classification des images peut être utilisée par les vendeurs lors du chargement d’images de produits sur la plateforme de vente. Ils peuvent ensuite automatiser le balisage manuel conséquent impliqué. Les clients peuvent également rechercher dans l’impression visuelle des produits.

• Classification des données de télémétrie provenant de captures d’écran de jeux. La classification des jeux vidéo à partir de captures d’écran évolue en un problème pertinent sur les réseaux sociaux, couplé à la vision par ordinateur. Par exemple, lorsque les streamers de Twitch jouent à différents jeux en succession, ils peuvent ignorer la mise à jour manuelle de leurs informations de flux. L’échec de la mise à jour des informations de flux peut entraîner la mauvaise classification des flux dans les recherches des utilisateurs et la perte d’audience potentielle pour les créateurs de contenu et les plateformes de diffusion en continu. Lors de l’introduction de nouveaux jeux, un itinéraire de modèle personnalisé peut être utile pour introduire la capacité de détecter les nouvelles images de ces jeux.

• Classification des images dans les demandes d’indemnisation. La classification d’images contribue à réduire le temps et le coût de traitement et de sous-écriture des revendications. Elle peut aider à analyser les dommages naturels et les dommages aux véhicules, et à identifier les propriétés résidentielles et commerciales.

Étapes suivantes

Documentation du produit

• Qu’est-ce qu'Azure AI Vision ?
• Enrichissement par l’IA dans Azure AI Search
• Présentation d’Azure Functions
• Qu'est-ce qu'Azure Event Grid ?
• Introduction à Stockage Blob Azure
• Bienvenue dans Azure Cosmos DB

Pour obtenir un parcours d'apprentissage, reportez-vous aux sections suivantes :

• Créer une application web serverless dans Azure
• Classer des images avec Azure AI Custom Vision
• Utiliser l’intelligence artificielle pour reconnaître des objets dans des images à l’aide du service Custom Vision
• Classifier les espèces d’oiseaux menacées avec Custom Vision
• Classifiez les images avec les services Azure AI Custom Vision
• Détecter des objets dans des images avec Azure AI Custom Vision

Ressources associées

Utiliser l’enrichissement par l’IA avec le traitement des images et des textes