Classificatie van afbeeldingen in Azure

Met behulp van Azure-services, zoals de Computer Vision-API en Azure Functions, kunnen bedrijven de noodzaak van het beheren van afzonderlijke servers elimineren, terwijl ze de kosten verlagen en gebruikmaken van de expertise die Microsoft al heeft ontwikkeld met het verwerken van afbeeldingen met Azure AI-services. Dit oplossingsidee heeft specifiek betrekking op een gebruiksscenario voor afbeeldingsverwerking. Als u verschillende AI-behoeften hebt, kunt u de volledige suite met Azure AI-services overwegen.

Architectuur

Download een Visio-bestand van dit oplossingsidee.

Gegevensstroom

In dit scenario worden de back-endonderdelen van een web- of mobiele toepassing behandeld. Gegevens stromen als volgt door het scenario:

1. Als u nieuwe bestanden (afbeeldingsuploads) toevoegt in Blob Storage, wordt een gebeurtenis geactiveerd in Azure Event Grid. Het uploadproces kan worden ingedeeld via internet of een mobiele toepassing. U kunt ook afbeeldingen afzonderlijk uploaden naar de Azure Blob-opslag.
2. Event Grid verzendt een melding waarmee de Azure-functies worden geactiveerd.
3. Azure Functions roept de Azure AI Vision-API aan om de zojuist geüploade afbeelding te analyseren. Azure AI Vision opent de afbeelding via de blob-URL die wordt geparseerd door Azure Functions.
4. Azure Functions behoudt het ANTWOORD van de AI Vision-API in Azure Cosmos DB. Dit antwoord bevat de resultaten van de analyse, samen met de metagegevens van de afbeelding.
5. De resultaten kunnen worden gebruikt en weerspiegeld op het web of mobiele front-end. Houd er rekening mee dat met deze methode de resultaten van de classificatie worden opgehaald, maar niet de geüploade afbeelding.

Onderdelen

• Azure AI Vision maakt deel uit van de Azure AI-servicessuite en wordt gebruikt om informatie over elke afbeelding op te halen.
• Azure Functions biedt de back-end-API voor de webtoepassing. Dit platform biedt ook gebeurtenisverwerking voor geüploade afbeeldingen.
• Azure Event Grid activeert een gebeurtenis wanneer een nieuwe afbeelding wordt geüpload naar blobopslag. De installatiekopieën worden vervolgens verwerkt met Azure Functions.
• In Azure Blob Storage worden alle afbeeldingsbestanden opgeslagen die worden geüpload naar de webtoepassing, evenals statische bestanden die door de webtoepassing worden gebruikt.
• Azure Cosmos DB slaat metagegevens op over elke afbeelding die wordt geüpload, inclusief de resultaten van de verwerking van de Computer Vision-API.

Alternatieven

• Azure OpenAI GPT-4 Turbo met Vision (preview). GPT-4 Turbo with Vision is een multimodale model dat afbeeldingen kan analyseren en vragen over deze modellen kan beantwoorden.
• Custom Vision Service. De Computer Vision-API retourneert een set op taxonomie gebaseerde categorieën. Als u informatie wilt verwerken die niet wordt geretourneerd door de Computer Vision-API, kunt u de Custom Vision-service gebruiken, waarmee u aangepaste afbeeldingsclassificaties kunt maken.
• Azure AI Search (voorheen Azure Search). Als uw use-case betrekking heeft op het uitvoeren van query's op de metagegevens om afbeeldingen te vinden die voldoen aan specifieke criteria, kunt u overwegen Om Azure AI Search te gebruiken. Azure AI Search integreert deze werkstroom naadloos.
• Logic Apps. Als u niet in realtime hoeft te reageren op toegevoegde bestanden in een blob, kunt u overwegen Logic Apps te gebruiken. Een logische app die kan controleren of een bestand is toegevoegd, kan worden gestart door de terugkeertrigger of schuifvenstertrigger.
• Als u afbeeldingen in documenten hebt ingesloten, gebruikt u Azure AI Document Intelligence om deze afbeeldingen te vinden. Met deze informatie kunt u verdere computer vision-taken extraheren en uitvoeren op de ingesloten afbeeldingen. Gebruik Document Intelligence om gegevens over deze ingesloten afbeeldingen te verzamelen, zoals paginanummer of bijschrifttekst die samen met de andere metagegevens van de afbeeldingen kan worden opgeslagen die via de Computer Vision-API worden ontvangen.

Scenariodetails

Dit scenario is relevant voor bedrijven die afbeeldingen moeten verwerken.

Mogelijke toepassingen omvatten het classificeren van afbeeldingen voor een modewebsite, het analyseren van tekst en afbeeldingen voor verzekeringsclaims of het begrijpen van telemetriegegevens uit gameschermafbeeldingen. Normaal gesproken moeten bedrijven expertise ontwikkelen in machine learning-modellen, de modellen trainen en ten slotte de installatiekopieën uitvoeren via hun aangepaste proces om de gegevens uit de installatiekopieën te halen.

Potentiële gebruikscases

Deze oplossing is ideaal voor de detailhandel, game, financiën en verzekeringen. Andere relevante use cases zijn:

• Afbeeldingen classificeren op een modewebsite. Afbeeldingsclassificatie kan worden gebruikt door verkopers tijdens het uploaden van afbeeldingen van producten op het platform dat te koop is. Vervolgens kunnen ze de bijbehorende handmatige taggen automatiseren. De klanten kunnen ook door de visuele indruk van de producten zoeken.

• Telemetriegegevens classificeren uit schermopnamen van games. De classificatie van videogames uit schermopnamen ontwikkelt zich in een relevant probleem in sociale media, in combinatie met computer vision. Wanneer Twitch streamers bijvoorbeeld verschillende games achter elkaar spelen, kunnen ze hun streamgegevens handmatig bijwerken. Het bijwerken van streamgegevens kan leiden tot een onjuiste classificatie van streams in zoekopdrachten van gebruikers en kan leiden tot het verlies van potentiële kijkers voor zowel de makers van inhoud als de streamingplatforms. Tijdens het introduceren van nieuwe games kan een aangepaste modelroute handig zijn om de mogelijkheid te introduceren om nieuwe afbeeldingen van die games te detecteren.

• Afbeeldingen voor verzekeringsclaims classificeren. Afbeeldingsclassificatie kan helpen bij het verminderen van de tijd en kosten voor het verwerken en onderschrijven van claims. Het kan helpen bij het analyseren van natuurrampschade, voertuigschade en het identificeren van woningen en commerciële eigenschappen.

Volgende stappen

Productdocumentatie

• Wat is Azure AI Vision?
• AI-verrijking in Azure AI Search
• Inleiding tot Azure Functions
• Wat is Azure Event Grid?
• Inleiding tot Azure Blob Storage
• Welkom bij Azure Cosmos DB

Zie voor een begeleid leertraject:

• Een serverloze web-app bouwen in Azure
• Afbeeldingen classificeren met Azure AI Custom Vision
• AI gebruiken om objecten in afbeeldingen te herkennen met behulp van de Custom Vision-service
• Bedreigde vogelsoorten classificeren met Custom Vision
• Afbeeldingen classificeren met Azure AI Custom Vision-services
• Objecten in afbeeldingen detecteren met Azure AI Custom Vision

Verwante resources

AI-verrijking gebruiken met afbeeldings- en tekstverwerking