Ovládání zařízení IoT pomocí aplikace hlasového asistenta

Bot Service
IoT Hub
Language Understanding
Řeč

Nápady na řešení

Tento článek představuje řešení. Pokud chcete, abychom rozšířili obsah o další informace, jako jsou potenciální případy použití, alternativní služby, aspekty implementace nebo cenové pokyny, dejte nám vědět tím, že nám poskytnete zpětnou vazbu na GitHubu.

Tato myšlenka řešení popisuje, jak vytvářet hlasová konverzační rozhraní se zařízeními IoT (Internet of-things). Službu Azure Speech Service, Language Understanding Service (LUIS) a Azure Bot Framework můžete kombinovat a vytvářet přirozená rozhraní podobná člověku, která řídí zařízení IoT prostřednictvím Azure IoT Hub.

Potenciální případy použití

  • Ovládání domácího zařízení přístupného z internetu, jako jsou televize a chladničky, pomocí hlasového příkazu.
  • Pomocí hlasového a přirozeného jazyka můžete hlásit problémy se zařízeními připojenými k IoT.

Architektura

Diagram znázorňující architekturu aplikace hlasového asistenta

Stáhněte si soubor aplikace Visio s touto architekturou.

Tok dat

  1. Prostřednictvím hlasového zařízení uživatel požádá aplikaci hlasového asistenta, aby zapnul vnější osvětlení domu.

  2. Aplikace se připojí k kanálu Direct Line Speech Bot Service pomocí sady Azure Speech SDK. Když rozpoznávání klíčových slov potvrdí určitá klíčová slova, Direct Line Řeč přepíše řeč na text a odešle text do aplikace Bot Service hostované na Azure App Service.

  3. Bot Service se připojí ke službě Language Understanding (LUIS). Služba LUIS určuje záměr žádosti uživatele TurnOnLight.

  4. Služba LUIS vrátí záměr do Bot Service.

  5. Pokud jsou zařízení připojená k Azure IoT Hub, Bot Service předá žádost prostřednictvím Azure IoT Hub, aby zapnula vnější světla. Bot Service pomocí rozhraní API IoT Hub odešlete příkaz do zařízení pomocí přímých metod, aktualizací požadované vlastnosti dvojčete zařízení nebo odesláním cloudové zprávy do zařízení.

    Pokud jsou zařízení připojená k instalaci IoT třetí strany, Bot Service se připojí prostřednictvím rozhraní API třetí strany, aby zařízení odeslala příkaz.

  6. Bot Service vrátí uživateli výsledky příkazu generováním odpovědi. Služba převodu textu na řeč převede odpověď na zvuk a předá ji zpět do aplikace hlasového asistenta pomocí Direct Line Speech.

  7. Application Insights shromažďuje telemetrii modulu runtime pro vývoj výkonu a využití robota.

Komponenty

  • Bot Service poskytuje integrované prostředí pro vývoj robotů.
  • Služba Speech nabízí špičkové funkce řeči, jako je převod řeči na text, převod řeči a rozpoznávání mluvčího.
  • služba Language Understanding Service (LUIS) používá vlastní inteligentní funkce strojového učení na konverzační text v přirozeném jazyce, aby předpovídal význam a vytáhl relevantní informace.
  • IoT Hub je centrální cloudové centrum zpráv pro obousměrnou komunikaci mezi aplikacemi IoT a zařízeními.
  • Application Insights je funkce služby Azure Monitor , která poskytuje rozšiřitelnou správu a monitorování výkonu aplikací pro živé webové aplikace.

Přispěvatelé

Tento článek spravuje Microsoft. Původně ji napsali následující přispěvatelé.

Hlavní autor:

Další kroky