Lösningsidéer
Den här artikeln är en lösningsidé. Om du vill att vi ska utöka innehållet med mer information, till exempel potentiella användningsfall, alternativa tjänster, implementeringsöverväganden eller prisvägledning, kan du meddela oss genom att ge GitHub-feedback.
Den här lösningen presenterar en visuell assistent som tillhandahåller omfattande information som baseras på innehållet i en bild.
Arkitektur
Ladda ned en Visio-fil med den här arkitekturen.
Dataflöde
- Användare interagerar med en robot via en mobilapp eller en webbapp.
- Roboten använder Language Understanding Intelligence Service (LUIS), som är inbyggd i programmet, för att identifiera användarens avsikt och konversationskontext.
- Roboten skickar visuell kontext, till exempel en bild, till API:et för visuell sökning i Bing.
- Roboten hämtar information från API:et för entitetssökning i Bing om personer, platser, konstverk, monument och objekt som är relaterade till bilden.
- Roboten hämtar information från streckkoder.
- Alternativt kan roboten få mer information om streckkoder eller frågor som är begränsade till användarens domän med hjälp av API:et för anpassad Bing-sökning.
- Den visuella assistenten ger användaren information om relaterade produkter, destinationer, kändisar, platser, monument och konstverk.
Komponenter
- Azure App Service är en fullständigt hanterad HTTP-baserad tjänst som är värd för webbappar, REST-API:er och mobila serverdelar.
- Azure Bot Service erbjuder en miljö för att utveckla intelligenta robotar i företagsklass som berikar kundupplevelser. Den integrerade miljön ger också ett sätt att behålla kontrollen över dina data.
- API:et för anpassad sökning i Bing är ett sätt att skapa anpassade sökupplevelser med Bings kraftfulla sökindex i global skala.
- API:et för entitetssökning i Bing erbjuder sökfunktioner som identifierar relevanta entiteter, till exempel välkända personer, platser, filmer, TV-program, tv-spel, böcker och företag.
- API:et för visuell sökning i Bing returnerar data som är relaterade till en viss bild, till exempel liknande bilder, shoppingkällor för att köpa objektet i bilden och webbsidor som innehåller bilden.
- API:et för webbsökning i Bing innehåller sökresultat när du har kört ett enda API-anrop. Resultaten sammanställer relevant information från miljarder webbsidor, bilder, videor och nyheter.
- Azure Cognitive Service for Language är en del av Azure Cognitive Services som erbjuder många bearbetningstjänster för naturligt språk.
- Konversationsspråksförstålning är en funktion i Cognitive Service for Language. Den här molnbaserade API-tjänsten erbjuder funktioner för maskininlärningsinformation för att skapa konversationsappar. Du kan använda LUIS för att förutsäga innebörden av en konversation och hämta relevant, detaljerad information.
Information om scenario
Den här lösningen presenterar en visuell assistent som tillhandahåller omfattande information som baseras på innehållet i en bild. Assistentens funktioner inkluderar att läsa visitkort, dechiffrera streckkoder och känna igen välkända personer, platser, föremål, konstverk och monument.
Potentiella användningsfall
Organisationer kan använda den här lösningen för att tillhandahålla:
- Schemaläggning av avtalade tider.
- Order- och leveransspårning inom tillverkning, fordon och transport.
- Streckkodsköp i detaljhandeln.
- Betalningsbearbetning inom ekonomi och detaljhandel.
- Prenumerationsförnyelser i detaljhandeln.
- Identifiering av välkända personer, platser, föremål, konst och monument, inom utbildnings-, medie- och underhållningsindustrin.
Nästa steg
Information om hur du utformar en app som identifierar kontext som är viktig för dig finns i Snabbstart: Skapa ett objektidentifieringsprojekt med Custom Vision-klientbiblioteket.
Information om vilka sökfunktioner Bing tillhandahåller finns i Bing-serien med sök-API:er.
Information om hur du skapar LUIS i din robot finns i Lägga till förståelse för naturligt språk i din robot.
Om du vill utforska en Learn-modul om hur LUIS fungerar kan du läsa Skapa en språkmodell med Conversational Language Understanding.
Mer information om hur du skapar med Bot Service finns i Skapa en robot med Language Service och Azure Bot Service.
Information om hur du skapar en robot som innehåller QnA Maker och Bot Service finns i Skapa konversations-AI-lösningar.
Information om hur du kan förstå LUIS, Bot Service och API för visuell sökning i Bing finns i Exam AI-900: Grunderna i Microsoft Azure AI.
Information om hur du certifierar dina kunskaper om Cognitive Services finns i Microsoft Certified: Azure AI-ingenjör Associate.
Mer information om komponenterna i den här lösningen finns i följande resurser: