Edytuj

Udostępnij za pośrednictwem

Sterowanie urządzeniami IoT za pomocą aplikacji asystenta głosowego

Azure AI Bot Service
Azure IoT Hub
Azure AI services
Azure AI Speech

Pomysły dotyczące rozwiązań

W tym artykule opisano pomysł rozwiązania. Architekt chmury może użyć tych wskazówek, aby ułatwić wizualizowanie głównych składników dla typowej implementacji tej architektury. Skorzystaj z tego artykułu jako punktu wyjścia, aby zaprojektować dobrze zaprojektowane rozwiązanie zgodne z konkretnymi wymaganiami obciążenia.

W tym rozwiązaniu opisano sposób tworzenia interfejsów konwersacyjnych głosowych za pomocą urządzeń internetu rzeczy (IoT). Możesz połączyć usługę Azure Speech Service, usługę Language Understanding Service (LUIS) i platformę Azure Bot Framework , aby tworzyć naturalne interfejsy podobne do człowieka, które kontrolują urządzenia IoT za pośrednictwem usługi Azure IoT Hub.

Potencjalne przypadki użycia

  • Sterowanie urządzeniami domowymi dostępnymi z Internetu, takimi jak telewizory i lodówki za pomocą polecenia głosowego.
  • Używanie głosu i języka naturalnego do zgłaszania problemów z urządzeniami połączonymi z IoT.

Architektura

Diagram przedstawiający architekturę aplikacji asystenta głosowego.

Pobierz plik programu Visio z tą architekturą.

Przepływ danych

  1. Za pomocą urządzenia głosowego użytkownik prosi aplikację asystenta głosowego o włączenie światła domu zewnętrznego.

  2. Aplikacja łączy się z kanałem usługi Direct Line Speech Bot Service przy użyciu zestawu Azure Speech SDK. Gdy rozpoznawanie słów kluczowych potwierdza niektóre słowa kluczowe, funkcja Direct Line Speech transkrybuje mowę do tekstu i wysyła tekst do aplikacji Bot Service hostowanej w usłudze aplikacja systemu Azure Service.

  3. Usługa Bot Service łączy się z usługą Language Understanding (LUIS). Usługa LUIS określa intencję żądania użytkownika TurnOnLight.

  4. Usługa LUIS zwraca intencję do usługi Bot Service.

  5. Jeśli urządzenia są połączone z usługą Azure IoT Hub, usługa Bot Service przekazuje żądanie za pośrednictwem usługi Azure IoT Hub, aby włączyć światła zewnętrzne. Usługa Bot Service używa interfejsu API usługi IoT Hub do wysyłania polecenia do urządzeń przy użyciu metod bezpośrednich, aktualizowania żądanej właściwości bliźniaczej reprezentacji urządzenia lub wysyłania komunikatu chmury do urządzenia.

    Jeśli urządzenia są połączone z instalacją IoT innej firmy, usługa Bot Service łączy się za pośrednictwem interfejsu API innej firmy w celu wysłania polecenia do urządzeń.

  6. Usługa Bot Service zwraca wyniki polecenia użytkownikowi, generując odpowiedź. Usługa zamiany tekstu na mowę zamienia odpowiedź na dźwięk i przekazuje ją z powrotem do aplikacji asystenta głosowego z funkcją Direct Line Speech.

  7. Usługa Application Insights zbiera dane telemetryczne środowiska uruchomieniowego na potrzeby tworzenia wydajności i użycia bota.

Składniki

  • Usługa Bot Service udostępnia zintegrowane środowisko do tworzenia botów.
  • Usługa Mowa oferuje wiodące w branży funkcje mowy, takie jak zamiana mowy na tekst, zamiana tekstu na mowę, tłumaczenie mowy i rozpoznawanie osoby mówiącej.
  • Usługa Language Understanding Service (LUIS) stosuje niestandardową inteligencję uczenia maszynowego do konwersacji, tekstu w języku naturalnym w celu przewidywania znaczenia i wyciągania odpowiednich informacji.
  • Usługa IoT Hub to centralne centrum komunikatów w chmurze na potrzeby dwukierunkowej komunikacji między aplikacjami i urządzeniami IoT.
  • Application Insights to funkcja usługi Azure Monitor , która zapewnia rozszerzone zarządzanie wydajnością aplikacji i monitorowanie na żywo aplikacji internetowych.

Współautorzy

Ten artykuł jest obsługiwany przez firmę Microsoft. Pierwotnie został napisany przez następujących współautorów.

Główny autor:

Następne kroki