Распознавание готовых продуктов (предварительная версия): анализ изображений полки с помощью предварительно обученной модели

Статья
02/16/2024

Самый быстрый способ начать использование распознавания продуктов — использовать встроенные предварительно обученные модели ИИ. С помощью API распознавания продуктов можно отправить изображение полки и получить расположения продуктов и пробелов.

Фотография розничной полки с продуктами и пробелами, выделенными прямоугольниками.

Примечание.

Бренды, отображаемые на изображениях, не связаны с корпорацией Майкрософт и не указывают ни одну форму подтверждения продуктов Майкрософт или Майкрософт владельцами бренда, или одобрение владельцев бренда или их продуктов корпорацией Майкрософт.

Необходимые компоненты

подписка Azure — создайте бесплатную учетную запись.
После получения подписки Azure создайте ресурс Визуального зрения в портал Azure. Его необходимо развернуть в поддерживаемом регионе Azure (см. раздел "Доступность региона"). После развертывания ресурса выберите элемент Перейти к ресурсу.
- Вам потребуется ключ и конечная точка из ресурса, создаваемого для подключения приложения к службе распознавания искусственного интеллекта Azure. Вы вставьте ключ и конечную точку в приведенный ниже код далее в руководстве.
Ресурс служба хранилища Azure с контейнером хранилища BLOB-объектов. Создание
Установленная программа cURL. Кроме того, можно использовать другую платформу REST, например Swagger или расширение REST Client для VS Code.
Изображение полки. Вы можете скачать образец или принести собственные изображения. Максимальный размер файла на изображение составляет 20 МБ.

Анализ образов полки

Чтобы проанализировать изображение полки, сделайте следующее:

Отправьте изображения, которые вы хотите проанализировать в контейнер хранилища BLOB-объектов, и получите абсолютный URL-адрес.

Скопируйте следующую curl команду в текстовый редактор.

curl -X PUT -H "Ocp-Apim-Subscription-Key: <subscriptionKey>" -H "Content-Type: application/json" "<endpoint>/computervision/productrecognition/ms-pretrained-product-detection/runs/<your_run_name>?api-version=2023-04-01-preview" -d "{
    'url':'<your_url_string>'
}"

При необходимости внесите следующие изменения в команду.
1. Замените ключ ресурса Визуального <subscriptionKey> зрения.
2. Замените конечную точку ресурса Визуального <endpoint> зрения. Например: https://YourResourceName.cognitiveservices.azure.com.
3. Замените уникальное <your_run_name> имя тестового запуска для очереди задач. Это асинхронное имя очереди задач API, чтобы получить ответ API позже. Например: .../runs/test1?api-version...
4. Замените содержимое <your_url_string> URL-адресом большого двоичного объекта изображения
Откройте окно командной строки.
Вставьте измененную curl команду из текстового редактора в окно командной строки и выполните команду.

Изучите ответ.

Успешный ответ будет возвращен в формате JSON. Результаты API распознавания продуктов возвращаются в ProductRecognitionResultApiModel поле JSON:

"ProductRecognitionResultApiModel": {
  "description": "Results from the product understanding operation.",
  "required": [
    "gaps",
    "imageMetadata",
    "products"
  ],
  "type": "object",
  "properties": {
    "imageMetadata": {
      "$ref": "#/definitions/ImageMetadataApiModel"
    },
    "products": {
      "description": "Products detected in the image.",
      "type": "array",
      "items": {
        "$ref": "#/definitions/DetectedObject"
      }
    },
    "gaps": {
      "description": "Gaps detected in the image.",
      "type": "array",
      "items": {
        "$ref": "#/definitions/DetectedObject"
      }
    }
  }
}

Дополнительные сведения об определениях каждого поля JSON см. в следующих разделах.

Модель API результатов распознавания продуктов

Результаты операции распознавания продукта.

Имя.	Тип	Описание	Обязательное поле
`imageMetadata`	ImageMetadataApiModel	Сведения о метаданных изображения, такие как высота, ширина и формат.	Да
`products`	DetectedObject	Продукты, обнаруженные на изображении.	Да
`gaps`	DetectedObject	Пробелы, обнаруженные на изображении.	Да

Модель API метаданных изображения

Сведения о метаданных изображения, такие как высота, ширина и формат.

Имя.	Тип	Описание	Обязательное поле
`width`	integer	Ширина изображения в пикселях.	Да
`height`	integer	Высота изображения в пикселях.	Да

Обнаруженная модель объектного API

Описывает обнаруженный объект на изображении.

Имя.	Тип	Описание	Обязательное поле
`id`	строка	Идентификатор обнаруженного объекта.	No
`boundingBox`	BoundingBox	Ограничивающий прямоугольник для области внутри изображения.	Да
`tags`	TagsApiModel	Достоверность классификации обнаруженного объекта.	Да

Ограничивающая модель API Box

Ограничивающий прямоугольник для области внутри изображения.

Имя.	Тип	Описание	Обязательное поле
`x`	integer	Левая координата левой верхней левой точки области в пикселях.	Да
`y`	integer	Верхняя координата левой верхней точки области в пикселях.	Да
`w`	integer	Ширина, измеряемая из левой верхней точки области в пикселях.	Да
`h`	integer	Высота, измеряемая от левой верхней точки области в пикселях.	Да

Модель API тегов изображений

Описывает достоверность классификации изображений метки.

Имя.	Тип	Описание	Обязательное поле
`confidence`	с плавающей запятой	Достоверность прогноза классификации.	Да
`name`	строка	Метка прогнозирования классификации.	Да

Следующие шаги

В этом руководстве вы узнали, как выполнить базовый вызов анализа с помощью предварительно обученного REST API распознавания продуктов. Далее вы узнаете, как использовать пользовательскую модель распознавания продуктов для улучшения бизнес-потребностей.

Обучение пользовательской модели для распознавания продуктов

Поделиться через