Product Recognition (versión preliminar de la versión 4.0)
Las API de Product Recognition permiten analizar fotos de estantes de una tienda. Puede detectar la presencia de productos y obtener sus coordenadas del rectángulo delimitador. Úselo en combinación con la personalización del modelo para entrenar un modelo para identificar los productos específicos. También puede comparar los resultados de Product Recognition con el documento de planograma de la tienda.
Pruebe las funcionalidades de Product Recognition de forma rápida y sencilla en el explorador mediante Vision Studio.
Nota:
Las marcas que se muestran en las imágenes no están afiliadas a Microsoft y no indican ninguna forma de aprobación de Microsoft ni de productos de Microsoft por parte de los propietarios de la marca, o bien una aprobación de los propietarios de la marca o sus productos por parte de Microsoft.
Importante
Puede entrenar un modelo personalizado para el reconocimiento del producto utilizando el servicio Custom Vision o las API de reconocimiento del producto Análisis de imagen 4.0. En la tabla siguiente se comparan los dos servicios.
| Áreas | Productos en estantes: Custom Vision | Reconocimiento de productos: API/Personalización de Análisis de imágenes | ||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Características | Descripción del producto personalizado | Unión de imágenes y rectificación, Comprensión de productos preentrenados, Comprensión de productos personalizados, Coincidencia de planogramas | ||||||||||||||||||||||||||||
| Modelo base | CNN | Modelo de transformador Florence | ||||||||||||||||||||||||||||
| Etiquetado | Customvision.ai | AML Studio | ||||||||||||||||||||||||||||
| Portal web | Customvision.ai | Vision Studio | ||||||||||||||||||||||||||||
| Bibliotecas | REST, SDK | REST, ejemplo de Python | ||||||||||||||||||||||||||||
| Datos mínimos de entrenamiento necesarios | 15 imágenes por categoría | 2-5 imágenes por categoría | ||||||||||||||||||||||||||||
| Almacenamiento de los datos de entrenamiento | Cargado en el servicio | Cuenta de almacenamiento de blobs del cliente | ||||||||||||||||||||||||||||
| Hospedaje de modelos | Nube y perimetral | Solo hospedaje en la nube, hospedaje de contenedores perimetrales próximamente | ||||||||||||||||||||||||||||
| Calidad de IA |
|
|
||||||||||||||||||||||||||||
| Precios | Precios de Custom Vision | Precio de análisis de imágenes |
Características de Product Recognition
Preparación de imágenes para el reconocimiento de productos
Las API de unión y rectificación permiten modificar imágenes para mejorar la precisión de los resultados de Product Understanding. Puede usar estas API para:
- Unir varias imágenes de un estante para crear una sola imagen.
- Rectificar una imagen para quitar la distorsión de la perspectiva.
Reconocimiento de productos del estante (modelo entrenado previamente)
La API de Product Understanding permite analizar una imagen de estante mediante el innovador modelo preentrenado. Esta operación detecta productos y huecos en la imagen del estante y devuelve las coordenadas del rectángulo delimitador de cada producto y hueco, junto con una puntuación de confianza para cada uno.
La siguiente respuesta JSON muestra lo que devuelve la API de Product Understanding.
{
"imageMetadata": {
"width": 2000,
"height": 1500
},
"products": [
{
"id": "string",
"boundingBox": {
"x": 1234,
"y": 1234,
"w": 12,
"h": 12
},
"classifications": [
{
"confidence": 0.9,
"label": "string"
}
]
}
],
"gaps": [
{
"id": "string",
"boundingBox": {
"x": 1234,
"y": 1234,
"w": 123,
"h": 123
},
"classifications": [
{
"confidence": 0.8,
"label": "string"
}
]
}
]
}
Reconocimiento de productos del estante (modelo personalizado)
La API de Product Understanding también se puede usar con un modelo entrenado personalizado para detectar productos específicos. Esta operación devuelve las coordenadas del rectángulo delimitador de cada producto y hueco, junto con la etiqueta de cada producto.
La siguiente respuesta JSON muestra lo que devuelve la API de Product Understanding cuando se usa con un modelo personalizado.
"detectedProducts": {
"imageMetadata": {
"width": 21,
"height": 25
},
"products": [
{
"id": "01",
"boundingBox": {
"x": 123,
"y": 234,
"w": 34,
"h": 45
},
"classifications": [
{
"confidence": 0.8,
"label": "Product1"
}
]
}
],
"gaps": [
{
"id": "02",
"boundingBox": {
"x": 12,
"y": 123,
"w": 1234,
"h": 123
},
"classifications": [
{
"confidence": 0.9,
"label": "Product1"
}
]
}
]
}
Comprobación del planograma de estante
La API de coincidencia de planogramas permite comparar los resultados de la API de Product Understanding con un documento planograma. Esta operación hace coincidir cada producto y hueco detectado con su posición correspondiente en el documento planograma.
Devuelve una respuesta JSON que tiene en cuenta cada posición del documento planograma, tanto si está ocupada por un producto como por un hueco.
{
"matchedResultsPerPosition": [
{
"positionId": "01",
"detectedObject": {
"id": "01",
"boundingBox": {
"x": 12,
"y": 1234,
"w": 123,
"h": 12345
},
"classifications": [
{
"confidence": 0.9,
"label": "Product1"
}
]
}
}
]
}
Limitaciones
- Product Recognition solo está disponible en las regiones de Azure Este de EE. UU. y Oeste de EE. UU. 2.
- Las imágenes de estante pueden tener un tamaño de hasta 20 MB. Se recomienda un tamaño de 4 MB.
- Se recomienda unir y rectificar las imágenes del estante antes de cargarlas para su análisis.
- El uso de un modelo personalizado en Product Recognition es opcional, pero es necesario para la función de coincidencia de planogramas.
Pasos siguientes
Para empezar a trabajar con Product Recognition, pruebe las API de unión y rectificación. A continuación, realice análisis básico con la API de Product Understanding.