Nápady na řešení
Tento článek je myšlenkou řešení. Pokud chcete, abychom obsah rozšířili o další informace, jako jsou potenciální případy použití, alternativní služby, aspekty implementace nebo pokyny k cenám, dejte nám vědět tím, že nám poskytnete zpětnou vazbu k GitHubu.
Toto řešení představuje vizuálního asistenta, který poskytuje bohaté informace založené na obsahu obrázku.
Architektura
Stáhněte si soubor aplikace Visio s touto architekturou.
Tok dat
- Uživatelé komunikují s robotem prostřednictvím mobilní aplikace nebo webové aplikace.
- Robot používá službu LUIS (Language Understanding Intelligence Service), která je integrovaná do aplikace, k identifikaci záměru uživatele a konverzačního kontextu.
- Robot předává vizuální kontext, například obrázek, do rozhraní API pro vizuální vyhledávání Bingu.
- Robot načte informace z rozhraní API Bingu pro vyhledávání entit o lidech, místech, kresbách, památkách a objektech souvisejících s obrázkem.
- Robot načte informace z čárových kódů.
- Volitelně robot získá další informace o čárových kódech nebo dotazech, které jsou omezené na doménu uživatele pomocí rozhraní API pro vlastní vyhledávání Bingu.
- Vizuální asistent prezentuje uživatele s informacemi o souvisejících produktech, cílech, celebritách, místech, památkách a kresbách.
Komponenty
- Aplikace Azure Service je plně spravovaná služba založená na protokolu HTTP pro hostování webových aplikací, rozhraní REST API a mobilních back-endů.
- Azure Bot Service nabízí prostředí pro vývoj inteligentních robotů na podnikové úrovni, které vylepšují prostředí zákazníků. Integrované prostředí také poskytuje způsob, jak udržovat kontrolu nad daty.
- Rozhraní API Pro vlastní vyhledávání Bingu poskytuje způsob, jak vytvářet přizpůsobená vyhledávací prostředí s výkonným hodnocením Bingu a indexem vyhledávání v globálním měřítku.
- Rozhraní API Bingu pro vyhledávání entit nabízí možnosti vyhledávání, které identifikují relevantní entity, jako jsou známé osoby, místa, filmy, televizní pořady, videohry, knihy a firmy.
- Rozhraní API Pro vizuální vyhledávání Bingu vrací data související s daným obrázkem, jako jsou podobné obrázky, nákupní zdroje pro nákup položky na obrázku a webové stránky, které obrázek obsahují.
- Rozhraní API Bingu pro vyhledávání na webu poskytuje výsledky hledání po vydání jednoho volání rozhraní API. Výsledky kompilují relevantní informace z miliard webových stránek, obrázků, videí a zpráv.
- Azure Cognitive Service pro jazyk je součástí služeb Azure Cognitive Services , které nabízí mnoho služeb zpracování přirozeného jazyka.
- Porozumění konverzačnímu jazyku je funkcí kognitivní služby pro jazyk. Tato cloudová služba ROZHRANÍ API nabízí možnosti analýzy strojového učení pro vytváření konverzačních aplikací. Pomocí služby LUIS můžete předpovědět význam konverzace a vytáhnout relevantní podrobné informace.
Podrobnosti scénáře
Toto řešení představuje vizuálního asistenta, který poskytuje bohaté informace založené na obsahu obrázku. Funkce asistenta zahrnují čtení vizitek, dešifrování čárových kódů a rozpoznávání známých lidí, míst, objektů, uměleckých děl a památek.
Potenciální případy použití
Organizace můžou toto řešení použít k poskytování těchto řešení:
- Plánování událostí.
- Sledování objednávek a dodávek ve výrobních, automobilových a přepravních aplikacích.
- Nákupy čárových kódů v maloobchodě.
- Zpracování plateb v oblasti financí a maloobchodu.
- Prodloužení předplatného v maloobchodě.
- Identifikace známých lidí, míst, objektů, umění a památek, ve vzdělávání, médií a zábavních odvětvích.
Další kroky
Pokud chcete navrhnout aplikaci, která rozpozná kontext, který pro vás záleží, podívejte se na rychlý start: Vytvoření projektu detekce objektů pomocí klientské knihovny Custom Vision.
Pokud chcete prozkoumat možnosti vyhledávání, které Bing poskytuje, podívejte se na řadu rozhraní API Bingu pro vyhledávání.
Pokud chcete do robota začlenit službu LUIS, přečtěte si téma Přidání porozumění přirozenému jazyku do robota.
Pokud chcete prozkoumat modul Learn o tom, jak služba LUIS funguje, přečtěte si téma Vytvoření jazykového modelu pomocí Konverzační služby Language Understanding.
Informace o tom, jak sestavovat pomocí služby Bot Service, najdete v tématu Vytvoření robota se službou Language Service a Azure Bot Service.
Pokud chcete vytvořit robota, který zahrnuje QnA Maker a Bot Service, přečtěte si téma Vytvoření konverzačních řešení AI.
Pokud chcete lépe porozumět rozhraní API služby LUIS, Bot Service a rozhraní API Pro vizuální vyhledávání Bingu, přečtěte si téma Zkouška AI-900: Základy AI Microsoft Azure.
Informace o službách Cognitive Services můžete certifikovat v tématu Microsoft Certified: Azure Technici AI Associate.
Další informace o komponentách v tomto řešení najdete v těchto zdrojích informací: