Upravit

Sdílet prostřednictvím

Řízení zařízení IoT pomocí aplikace hlasového asistenta

Azure AI Bot Service
Azure IoT Hub
Azure AI services
Azure AI Speech

Nápady na řešení

Tento článek popisuje myšlenku řešení. Váš cloudový architekt může pomocí těchto pokynů vizualizovat hlavní komponenty pro typickou implementaci této architektury. Tento článek slouží jako výchozí bod k návrhu dobře navrženého řešení, které odpovídá konkrétním požadavkům vaší úlohy.

Tento nápad řešení popisuje, jak vytvářet hlasová konverzační rozhraní s internetovými zařízeními (IoT). Službu Azure Speech, službu LUIS (Language Understanding Service) a Azure Bot Framework můžete kombinovat a vytvářet přirozená rozhraní podobná člověku, která řídí zařízení IoT prostřednictvím služby Azure IoT Hub.

Potenciální případy použití

  • Ovládání domácích zařízení přístupných k internetu, jako jsou televize a chladničky, pomocí hlasového příkazu.
  • Pomocí hlasu a přirozeného jazyka můžete hlásit problémy se zařízeními připojenými k IoT.

Architektura

Diagram znázorňující architekturu aplikace hlasového asistenta

Stáhněte si soubor aplikace Visio s touto architekturou.

Tok dat

  1. Prostřednictvím hlasového zařízení uživatel požádá aplikaci hlasového asistenta, aby zapnul osvětlení vnějšího domu.

  2. Aplikace se připojí k kanálu Direct Line Speech Bot Service pomocí sady Azure Speech SDK. Když rozpoznávání klíčových slov potvrdí určitá klíčová slova, Direct Line Speech přepíše řeč na text a odešle text do aplikace Bot Service hostované ve službě Aplikace Azure Service.

  3. Služba Bot Service se připojuje ke službě Language Understanding (LUIS). Služba LUIS určuje záměr žádosti uživatele TurnOnLight.

  4. Služba LUIS vrátí záměr do služby Bot Service.

  5. Pokud jsou zařízení připojená k Azure IoT Hubu, služba Bot Service předá požadavek prostřednictvím služby Azure IoT Hub, aby zapnula vnější světla. Služba Bot Service používá rozhraní API služby IoT Hub k odeslání příkazu do zařízení pomocí přímých metod, aktualizaci požadované vlastnosti dvojčete zařízení nebo odeslání cloudové zprávy do zařízení.

    Pokud jsou zařízení připojená k instalaci IoT třetí strany, služba Bot Service se připojí prostřednictvím rozhraní API třetí strany a odešle do zařízení příkaz.

  6. Služba Bot Service vrátí uživateli výsledky příkazu vygenerováním odpovědi. Služba převodu textu na řeč převede odpověď na zvuk a předá ji zpět do aplikace hlasového asistenta s Direct Line Speech.

  7. Application Insights shromažďuje telemetrii modulu runtime pro vývoj výkonu a využití robota.

Komponenty

  • Služba Bot Service poskytuje integrované prostředí pro vývoj robotů.
  • Služba Speech nabízí špičkové funkce řeči, jako je převod řeči na text, překlad řeči a rozpoznávání mluvčího.
  • Služba Language Understanding Service (LUIS) používá vlastní inteligentní funkce strojového učení na konverzační text v přirozeném jazyce, aby předpovídal význam a vytáhl relevantní informace.
  • IoT Hub je centrální cloudové centrum zpráv pro obousměrnou komunikaci mezi aplikacemi IoT a zařízeními.
  • Application Insights je funkce služby Azure Monitor , která poskytuje rozšiřitelnou správu a monitorování výkonu aplikací pro živé webové aplikace.

Přispěvatelé

Tento článek spravuje Microsoft. Původně byla napsána následujícími přispěvateli.

Hlavní autor:

Další kroky