Модуль ИИ Azure Percept Vision

  • Статья

Важно!

Прекращение поддержки Azure Percept DK.

Обновление 22 февраля 2023 г.: обновление встроенного ПО для вспомогательных компонентов Percept DK Vision and Audio (также известных как Vision and Audio SOM) теперь доступно здесь и позволит вспомогательным компонентам продолжать работу после даты прекращения использования.

Общедоступная предварительная версия Azure Percept будет развиваться для поддержки новых пограничных платформ устройств и возможностей разработчиков. В рамках этой эволюции azure Percept DK и аудиокомпоненты и связанные службы Azure для Percept DK будут выведены из эксплуатации 30 марта 2023 г.

Начиная с 30 марта 2023 г. Azure Percept DK и аудиоспись больше не будут поддерживаться службами Azure, включая Azure Percept Studio, обновления ОС, обновления контейнеров, просмотр веб-потока и интеграцию Пользовательское визуальное распознавание. Корпорация Майкрософт больше не будет предоставлять поддержку успеха клиентов и связанные с ней вспомогательные услуги. Дополнительные сведения см. в записи блога Уведомление о прекращении поддержки.

azureeyemodule — это имя граничного модуля, который отвечает за запуск рабочей нагрузки ИИ Vision на Azure Percept DK. Он входит в набор граничных модулей Azure IoT и развертывается в Azure Percept DK во время установки. В этой статье представлены общие сведения о модуле и его архитектуре.

Architecture

Схема, показывающая архитектуру azureeyemodule

Рабочая нагрузка Azure Percept на Azure Percept DK — это приложение C++, которое работает в контейнере Docker azureeyemodule. Она использует OpenCV GAPI для обработки изображений и выполнения моделей. Azureeyemodule запускается в операционной системе Mariner в составе набора модулей Azure IoT, которые выполняются в Azure Percept DK.

Рабочая нагрузка Azure Percept предназначена для приема изображений, выходных изображений и сообщений. Выходные изображения могут быть помечены такими рисунками, как ограничивающие рамки, маски сегментации, соединения, метки и т. д. Выходные сообщения представляют собой JSON-поток результатов вывода, которые могут приниматься и использоваться задачами ниже по потоку. Результаты обслуживаются в виде потока RTSP, доступного посредством порта 8554 устройства. Результаты также передаются в другой модуль, запущенный на устройстве, который обслуживает поток RTSP, упакованный на HTTP-сервере, работающий на порте 3000. В любом случае они будут доступны для просмотра только в локальной сети.

Внимание!

Для веб-каналов RTSP не предусмотрено шифрование или проверка подлинности. Любой пользователь в локальной сети может точно увидеть, что именно видит Azure Percept Vision. Для этого достаточно ввести правильный адрес в веб-браузер или проигрыватель мультимедиа RTSP.

Рабочая нагрузка Azure Percept включает несколько функций, которые конечные пользователи могут использовать.

  • Решение без использования кода для распространенных сценариев использования машинного зрения, таких как классификация объектов и обнаружение объектов.
  • Усовершенствованное решение, которое позволяет разработчику перенести собственную (потенциально каскадную) обученную модель на устройство и запустить ее, а также передать результаты в другой самостоятельно созданный модуль IoT, запущенный на устройстве.
  • Цикл повторного обучения для периодического получения изображений с устройства, повторного обучения модели в облаке и последующей передачи новой обученной модели на устройство. Использование функций устройства для оперативного обновления и замены моделей.

Сведения о рабочей нагрузке ИИ

Приложение Workload имеет открытый код в репозитории Azure Percept Advanced Development на GitHub и состоит из множества небольших модулей C++, причем некоторые из более важных:

  • main.cpp: настраивает все компоненты и запускает основной цикл.
  • iot: эта папка содержит модули, которые обрабатывают входящие и исходящие сообщения от центра Azure IoT Edge и метод обновления двойника.
  • model: эта папка содержит модули для иерархии классов моделей машинного зрения.
  • kernels: в этой папке находятся модули для ядер G-API, операции и функции программы-оболочки C++.

Разработчики могут создавать пользовательские модули или настраивать текущие модули azureeyemodule с помощью этого приложения рабочей нагрузки.

Дальнейшие действия

  • Теперь, когда вы подробно изучили модули azureeyemodule и рабочую нагрузку Azure Percept, попробуйте использовать собственную модель или конвейер в соответствии с одним из следующих учебников.
  • Кроме того, можно оценить возможности передачи обучения, используя наши готовые записные книжки машинного обучения.