Поделиться через

Пользовательские интерфейсы и сценарии для ИИ визуального распознавания Azure IoT Edge

  • Статья

Эта окончательная статья в серии ИИ визуального распознавания Azure IoT Edge описывает, как пользователи взаимодействуют с Интернетом вещей (IoT) и решениями искусственного интеллекта (ИИ). В статье также представлено два примера сценариев ИИ визуального распознавания IoT Edge.

Пользовательские интерфейсы

Пользователи взаимодействуют с компьютерными системами через пользовательский интерфейс. Требования пользовательского интерфейса зависят от общих целей. Системы Интернета вещей обычно имеют четыре типа пользовательского интерфейса:

  • Пользовательский интерфейс администратора позволяет получить полный доступ к подготовке устройств, настройке устройств и решению и управлению пользователями. Эти функции могут быть частью одного решения или отдельными решениями.
  • Пользовательский интерфейс оператора предоставляет доступ к операционным компонентам решения, таким как управление устройствами, мониторинг оповещений и настройка.
  • Пользовательский интерфейс потребителя применяется только к решениям для потребителей. Пользовательский интерфейс аналогичен интерфейсу оператора, но ограничен устройствами, принадлежащими пользователю.
  • Пользовательский интерфейс аналитики — это интерактивная панель мониторинга, которая предоставляет визуализации телеметрии и другие анализы данных.

Выбор технологий

Ниже приведены некоторые службы и программное обеспечение, которые можно использовать для создания пользовательских интерфейсов для систем искусственного интеллекта визуального распознавания IoT Edge:

  • служба приложение Azure — это платформа для разработчиков для быстрого создания, развертывания и масштабирования веб-приложений и мобильных приложений. Служба приложений поддерживает платформы, такие как .NET, .NET Core, Node.js, Java, PHP, Ruby или Python. Приложения могут находиться в контейнерах или запускаться в любой поддерживаемой операционной системе, мобильном устройстве или оборудовании IoT Edge. Полностью управляемая платформа Служба приложений соответствует требованиям к производительности, безопасности и соответствию требованиям корпоративного уровня.

  • Служба Azure SignalR добавляет данные в режиме реального времени и отчеты в приложения, не требуя глубокого опыта взаимодействия в режиме реального времени. Служба SignalR легко интегрируется со многими службами Azure.

  • Azure Карты — это технология визуализации Интернета вещей и проектов компьютерного зрения. Azure Карты позволяет создавать веб-приложения с поддержкой расположения и мобильных приложений с помощью простых и безопасных геопространственных служб, API и пакетов SDK. Azure Карты имеет встроенную аналитику расположения от мировых партнеров по технологиям. Вы можете обеспечить простой интерфейс на основе геопространственных данных.

  • Идентификатор Microsoft Entra предоставляет единый вход и многофакторную проверку подлинности для защиты приложений и пользовательских интерфейсов.

  • Power BI — это набор служб аналитики, приложений и соединителей, которые превратили данные в настраиваемые, интерактивные визуализации и панели мониторинга. Power BI доступен как управляемая служба или автономный пакет, и подключается ко многим популярным системам баз данных и службам данных. С помощью Power BI Embedded вы можете создавать отчеты и панели мониторинга, доступные для клиентов, и создавать их в качестве собственных приложений. Power BI может сохранять ресурсы разработчика, автоматив мониторинг, управление и развертывание.

Сценарий пользователя 1. Управление качеством

Contoso Boards создает высококачественные схемы, используемые на компьютерах. Их номер один продукт является материнской платы.

Contoso Boards увидел увеличение проблем с размещением микросхем на борту. Расследование определило, что схемы были помещены неправильно на линию сборки. Contoso Boards требуется способ определения и проверка правильного размещения доски канала.

Специалисты по обработке и анализу данных Contoso Были знакомы с TensorFlow и хотели продолжать использовать его в качестве основной структуры модели машинного обучения. Contoso Boards также хотела централизованно управлять несколькими линиями сборки, которые производят материнской платы.

Решение Contoso Boards фокусируется на обнаружении пограничных вычислений.

Камера

Следующие варианты камеры поддерживают эту рабочую нагрузку:

  • Камера размещение: камера находится непосредственно выше на 90 градусов и около 16 дюймов от части.
  • Камера тип: так как конвейерная система перемещается относительно медленно, решение может использовать камеру сканирования области с глобальным затвором.
  • Частота кадров: в этом случае камера захватывает около 30 кадров в секунду.
  • Разрешение: формула для требуемого разрешения Res=(object size) / (details to capture). На основе этой формулы дает Res=16"/8" 2 мегапикселя (MP) и x 4MP в y, поэтому Contoso Boards нуждается в камере, способной к разрешению 4MP.
  • Тип датчика: целевые объекты не быстро перемещаются и требуют только обнаружения краев, поэтому датчик CMOS хорошо работает.
  • Освещение: решение использует белый диффузный фильтр обратного света. Это освещение делает часть почти черной, с высокой контрастностью для обнаружения краев.
  • Цвет: Monochrome дает самые острые края для модели обнаружения ИИ.

На следующем рисунке показано, что камера фиксирует в этом сценарии:

Изображение, показывающее, что камера захватывает в этом сценарии IoT Edge.

Аппаратное ускорение

На основе рабочей нагрузки использование TensorFlow и использование нескольких линий сборки оборудование на основе GPU является лучшим выбором для аппаратного ускорения.

Модель машинного обучения

Специалисты по обработке и анализу данных наиболее знакомы с TensorFlow, поэтому обучение ONNX или других платформ машинного обучения приведет к замедлению разработки моделей. Azure Stack Edge предоставляет централизованно управляемое пограничное решение для всех линий сборки.

Сценарий пользователя 2: Сейф ty

У компании Contoso Shipping было несколько пешеходных аварий на их доках загрузки. Большинство несчастных случаев произошло, когда грузовик покинул загрузочный док, и водитель не видел док-работника, ходить перед грузовиком. Компания Contoso Shipping требует решения искусственного интеллекта, которое может наблюдать за людьми, прогнозировать направление путешествия и предупреждать водителей о потенциальных столкновениях.

Большинство специалистов по обработке и анализу данных компании Contoso Shipping знакомы с OpenVINO и хотели повторно использовать модели решений на будущем оборудовании. Решение также необходимо для поддержки эффективности питания и использования наименьшего количества камер. Наконец, компания Contoso Shipping хотела удаленно управлять решением для обновлений.

Камеры.

Решение использует 11 монохромных, 10MP CMOS камеры с ipX67 жильем или погодными ящиками, подключенными на 17-футовых полюсах, 100 футов от грузовиков. В следующих разделах описывается, как компания Contoso Shipping определила эти спецификации.

Размещение камеры

Камера должны быть 100 футов от передней части грузовиков. Камера фокус должен был быть 10 футов перед и позади передней части грузовиков, давая 20-футовую глубину фокуса. Местные законы зонирования ограничивают высоту камеры наблюдения до 20 футов.

На следующем рисунке показано размещение камеры для этого сценария:

Иллюстрация размещения камеры для сценария ИИ визуального распознавания IoT Edge.

Разрешение и поле представления

Решение должно захватывать достаточно подробных сведений, чтобы обнаружить человека в кадре. Пиксели на ногу (PPF) могут быть около 15-20, а не 80 PPF, необходимых для распознавания лиц.

Формула поля представления (FOV).FOV=(horizontal resolution) / (PPF) Для разрешения камера должна использовать правильный датчик для варианта использования.

Это решение использует объективы камеры, которые позволяют 16-футовый FOV. Используя предыдущую формулу, 16-футовый FOV дает около 17,5 PPF, который входит в требуемую 15-20 PPF. Это означает, что решение должно использовать 10MP-камеры, которые имеют горизонтальное разрешение около 5184 пикселей.

Так как камеры могут смотреть на 16-футовый путь, 165-футовая загрузка док,разделенная на 16-футовый FOV дает 10,3125 камер. Поэтому для решения требуется 11, 5184-горизонтальный пиксель или 10MP камер.

Тип датчика

Камеры находятся на открытом воздухе, поэтому тип датчика не должен разрешать цветение. Блум происходит, когда свет попадает на датчик и перегружает датчик, вызывая чрезмерное расширение или отбеливание. CMOS — это датчик выбора.

Цвет и освещение

Компания Contoso Shipping работает 24/7, а также должна защищать персонал ночного времени. Monochrome обрабатывает низкие условия света лучше, чем цвет. В этом случае информация о цвете не требуется. Монохромные датчики также являются более низкими затратами.

Модель машинного обучения

Так как специалисты по обработке и анализу данных знакомы с OpenVINO, решение создает модели данных в ONNX.

Аппаратное ускорение

Расстояние от камер к серверам слишком далеко для подключения Gigabit Ethernet или USB, но есть большая сеть Wi-Fi сетки. Оборудование должно подключаться через Wi-Fi и использовать как можно меньше энергии.

В зависимости от этих требований решение использует процессоры FPGA. Решение также может использовать процессоры ASIC, но встроенные микросхемы ASIC не соответствуют требованиям для будущего удобства использования.

Соавторы

Эта статья поддерживается корпорацией Майкрософт. Первоначально он был написан следующими участник.

Автор субъекта:

Чтобы просмотреть недоступные профили LinkedIn, войдите в LinkedIn.

Следующие шаги

В этой серии статей описано, как создать рабочую нагрузку ИИ визуального распознавания с помощью Azure IoT Edge. Другие статьи в этой серии см. в следующих статьях:

Дополнительные сведения о CNN, ИИ визуального распознавания, Машинное обучение Azure и Azure IoT Edge см. в следующей документации:

Дополнительные архитектуры компьютерного зрения, примеры и идеи, использующие Azure IoT, см. в следующих статьях: