Edytuj

Sterowanie urządzeniami IoT za pomocą aplikacji asystenta głosowego

Azure AI Bot Service
Azure IoT Hub
Azure AI services
Azure AI Speech

Pomysły dotyczące rozwiązań

Ten artykuł jest pomysłem na rozwiązanie. Jeśli chcesz, abyśmy rozszerzyli zawartość o więcej informacji, takich jak potencjalne przypadki użycia, alternatywne usługi, zagadnienia dotyczące implementacji lub wskazówki dotyczące cen, daj nam znać, przekazując opinię w usłudze GitHub.

W tym rozwiązaniu opisano sposób tworzenia interfejsów konwersacyjnych głosowych za pomocą urządzeń internetu rzeczy (IoT). Możesz połączyć usługę Azure Speech Service, usługę Language Understanding Service (LUIS) i platformę Azure Bot Framework , aby tworzyć naturalne interfejsy podobne do człowieka, które kontrolują urządzenia IoT za pośrednictwem usługi Azure IoT Hub.

Potencjalne przypadki użycia

  • Sterowanie urządzeniami domowymi dostępnymi z Internetu, takimi jak telewizory i lodówki za pomocą polecenia głosowego.
  • Używanie głosu i języka naturalnego do zgłaszania problemów z urządzeniami połączonymi z IoT.

Architektura

Diagram showing the architecture of a voice assistant app.

Pobierz plik programu Visio z tą architekturą.

Przepływ danych

  1. Za pomocą urządzenia głosowego użytkownik prosi aplikację asystenta głosowego o włączenie światła domu zewnętrznego.

  2. Aplikacja łączy się z kanałem usługi Direct Line Speech Bot Service przy użyciu zestawu Azure Speech SDK. Gdy rozpoznawanie słów kluczowych potwierdza niektóre słowa kluczowe, funkcja Direct Line Speech transkrybuje mowę do tekstu i wysyła tekst do aplikacji Bot Service hostowanej w usłudze aplikacja systemu Azure Service.

  3. Usługa Bot Service łączy się z usługą Language Understanding (LUIS). Usługa LUIS określa intencję żądania użytkownika TurnOnLight.

  4. Usługa LUIS zwraca intencję do usługi Bot Service.

  5. Jeśli urządzenia są połączone z usługą Azure IoT Hub, usługa Bot Service przekazuje żądanie za pośrednictwem usługi Azure IoT Hub, aby włączyć światła zewnętrzne. Usługa Bot Service używa interfejsu API usługi IoT Hub do wysyłania polecenia do urządzeń przy użyciu metod bezpośrednich, aktualizowania żądanej właściwości bliźniaczej reprezentacji urządzenia lub wysyłania komunikatu chmury do urządzenia.

    Jeśli urządzenia są połączone z instalacją IoT innej firmy, usługa Bot Service łączy się za pośrednictwem interfejsu API innej firmy w celu wysłania polecenia do urządzeń.

  6. Usługa Bot Service zwraca wyniki polecenia użytkownikowi, generując odpowiedź. Usługa zamiany tekstu na mowę zamienia odpowiedź na dźwięk i przekazuje ją z powrotem do aplikacji asystenta głosowego z funkcją Direct Line Speech.

  7. Szczegółowe informacje aplikacji zbiera dane telemetryczne środowiska uruchomieniowego na potrzeby tworzenia wydajności i użycia bota.

Elementy

  • Usługa Bot Service udostępnia zintegrowane środowisko do tworzenia botów.
  • Usługa Mowa oferuje wiodące w branży funkcje mowy, takie jak zamiana mowy na tekst, zamiana tekstu na mowę, tłumaczenie mowy i rozpoznawanie osoby mówiącej.
  • Usługa Language Understanding Service (LUIS) stosuje niestandardową inteligencję uczenia maszynowego do konwersacji, tekstu w języku naturalnym w celu przewidywania znaczenia i wyciągania odpowiednich informacji.
  • Usługa IoT Hub to centralne centrum komunikatów w chmurze na potrzeby dwukierunkowej komunikacji między aplikacjami i urządzeniami IoT.
  • Aplikacja Szczegółowe informacje to funkcja usługi Azure Monitor, która zapewnia rozszerzone zarządzanie wydajnością aplikacji i monitorowanie na żywo aplikacji internetowych.

Współautorzy

Ten artykuł jest obsługiwany przez firmę Microsoft. Pierwotnie został napisany przez następujących współautorów.

Główny autor:

Następne kroki