Упражнения. Интеграция Пользовательского визуального распознавания Azure

4 мин

В этом модуле вы узнаете, как использовать Пользовательское визуальное распознавание Azure. Вы получите набор фотографий отслеживаемого объекта, отправьте их в службу Пользовательское визуальное распознавание и запустите учебный процесс. Затем вы будете использовать службу для обнаружения отслеживаемого объекта, записав фотографии из веб-канала веб-камеры.

Общие сведения об azure AI Пользовательское визуальное распознавание

Azure AI Пользовательское визуальное распознавание является частью семейства Cognitive Services и используется для обучения классификаторов изображений. Классификатор изображений — это служба ИИ, которая использует обученную модель для применения соответствующих тегов. Наше приложение будет использовать эту функцию классификации для обнаружения отслеживаемых объектов.

Дополнительные сведения о Пользовательское визуальное распознавание.

Подготовка Пользовательское визуальное распознавание

Прежде чем начать, необходимо создать проект Пользовательское визуальное распознавание. Самый быстрый способ создания проекта Пользовательское визуальное распознавание использует портал Пользовательское визуальное распознавание.

Следуйте указаниям этого краткого руководства, чтобы настроить учетную запись и проект. Выполните действия, описанные в разделе Отправка изображений и создание тегов. Необходимо создать один тег с пятью изображениями.

Предупреждение

Для обучения модели необходимо иметь минимум два тега и пять изображений на каждый тег. Позже мы добавим дополнительные изображения через приложение. Тем не менее, чтобы использовать это приложение, необходимо создать по крайней мере один тег с пятью изображениями, чтобы процесс обучения не завершился позже.

Подготовка сцены

В окне "Проект" последовательно выберите Ресурсы > MRTK.Tutorials.AzureCloudServices>Префабы>Диспетчер.
Затем перетащите префаб ObjectDetectionManager в иерархию сцены.
В окне иерархии найдите и выберите объект ObjectDetectionManager . Префаб ObjectDetectionManager содержит компонент ObjectDetectionManager (скрипт). Как видно в окне инспектора, он зависит от параметров Azure и параметров в окне "Проект".

Получение учетных данных ресурса API Azure

Вы можете получить необходимые учетные данные для параметров ObjectDetectionManager (script) из портал Azure и портала Пользовательское визуальное распознавание.

Получение учетных данных для параметров Azure

Найдите и найдите ресурс Пользовательское визуальное распознавание типа Cognitive Services, созданного в разделе "Подготовка сцены" этого руководства. Для получения необходимых учетных данных выберите Обзор или Ключи и конечная точка.

Идентификатор подписки ресурса Azure: используйте идентификатор подписки из раздела "Обзор ".
Имя группы ресурсов Azure: используйте имя группы ресурсов из раздела "Обзор ".

Для имени группы Cognitive Service используйте имя ресурса Пользовательское визуальное распознавание, за которым следует значение -Prediction.

Конечная точка прогнозирования базы ресурсов: используйте конечную точку из ключей и конечной точки в ресурсе Пользовательское визуальное распознавание -Prediction.
Ключ прогнозирования API: используйте ключ 1 из ключей и конечной точки в ресурсе Пользовательское визуальное распознавание -Prediction.

Получение учетных данных параметров проекта

На панели мониторинга Пользовательское визуальное распознавание откройте проект, созданный для этого руководства, а затем щелкните значок Параметры (шестеренки) в правом верхнем углу страницы, чтобы открыть страницу Параметры. Вы найдете необходимые учетные данные в разделе "Ресурсы " в правой части и в разделе "Общие " слева.

Базовая конечная точка ресурса: используйте конечную точку из раздела "Ресурсы ". Это должно соответствовать конечной точке в разделе "Ключи" и "Конечная точка" в ресурсе Пользовательское визуальное распознавание.
Ключ API: используйте ключ из раздела "Ресурсы ". Это должно соответствовать ключу в разделе "Ключи" и "Конечная точка" в ресурсе Пользовательское визуальное распознавание.
Идентификатор проекта: используйте идентификатор проекта из раздела "Общие ".

Теперь при правильной настройке ObjectDetectionManager (скрипт) найдите объект SceneController в иерархии сцены и выберите его.
Поле Диспетчер обнаружения объектов в компоненте SceneController не заполнено. Перетащите ObjectDetectionManager из окна иерархии в компонент SceneController и сохраните сцену.

Получение и отправка изображений

Запустите сцену и выберите Объект набора. Введите имя одного из отслеживаемых объектов, созданных на предыдущем уроке. Нажмите кнопку Компьютерное зрение в нижней части карточки объекта.
Открывается новое окно. Вы получите шесть фотографий, чтобы обучить модель для распознавания изображений. Нажмите кнопку Камера и выполните airTap, чтобы увидеть объект, который вы хотите отслеживать. Сделайте это шесть раз.

Совет

Чтобы улучшить обучение модели, попробуйте сделать каждое изображение с разных углов и условий освещения.
После получения достаточного количества изображений нажмите кнопку Обучать, чтобы начать процесс обучения модели в облаке. Это отправляет все изображения и запускает обучение. Процесс может занять несколько минут. Сообщение в меню указывает текущий ход выполнения. По окончании процесса можно завершить работу приложения.

Совет

Объект ObjectDetectionManager (script) (ObjectDetectionManager — скрипт) напрямую отправляет изображения в службу Пользовательского визуального распознавания. В качестве альтернативы API Пользовательское визуальное распознавание принимает URL-адреса изображений. В качестве упражнения можно изменить ОбъектDetectionManager (скрипт), чтобы передать изображения в хранилище BLOB-объектов.

Предупреждение

Если обучение завершается сбоем, проверка панель мониторинга Пользовательское визуальное распознавание и убедитесь, что у вас есть по крайней мере два тега и что каждый тег имеет по крайней мере пять изображений.

Обнаружение объектов

Теперь можно тестировать обученную модель. Запустите приложение. В главном меню выберите "Объект поиска" и введите имя отслеживаемого объекта. Отобразится Карточка объекта. Далее нажмите кнопку Пользовательское визуальное распознавание. Объект *ObjectDetectionManager начнет записывать изображения в фоновом режиме с камеры. Ход выполнения приложения будет указан в меню. Наведите камеру на объект, использованный для обучения модели. Вскоре модель должна обнаружить объект.

Продолжить