Reconhecimento de Produto (versão prévia da versão 4.0)

As APIs de Reconhecimento de Produto permitem analisar fotos de prateleiras em uma loja de varejo. Você pode detectar a presença de produtos, e obter as coordenadas da caixa delimitadora. Use junto com a personalização do modelo para treinar um modelo para identificar seus produtos específicos. Você também pode comparar os resultados do Reconhecimento de Produtos com o documento de planograma da sua loja.

Experimente as funcionalidades do Reconhecimento de Produto de maneira rápida e fácil no navegador usando o Vision Studio.

Photo of a shelf with products and gaps outlined in rectangles.

Observação

As marcas mostradas nas imagens não são afiliadas à Microsoft e não indicam nenhuma forma de endosso dos produtos da Microsoft ou da Microsoft pelos proprietários da marca, ou um endosso dos proprietários da marca ou seus produtos pela Microsoft.

Importante

Você pode treinar um modelo personalizado para reconhecimento de produtos usando o serviço de Visão Personalizada ou as APIs de Reconhecimento de Produto da Análise de Imagem 4.0. A tabela a seguir compara os dois serviços.

Áreas Produtos em Prateleiras – Visão Personalizada Reconhecimento de Produto – API/Personalização da Análise de Imagem
Recursos Reconhecimento de produto personalizado Costura e retificação de imagem,
Compreensão de produto pré-treinado,
Compreensão personalizada do produto,
Correspondência de planograma
Modelos de base CNN Modelo de transformador Florence
Rotulagem Customvision.ai Estúdio AML
Portal da Web Customvision.ai Vision Studio
Bibliotecas REST, SDK REST, Exemplo de Python
Dados mínimos de treinamento necessários 15 imagens por categoria 2 a 5 imagens por categoria
Armazenamento de dados de treinamento Carregado para o serviço Conta de armazenamento de blobs do cliente
Hospedagem de modelo Nuvem e borda Somente hospedagem na nuvem, a hospedagem de contêiner de borda está por vir
Qualidade da IA
contextoPrecisão top-1, 14 conjuntos de dados
1 captura (catálogo)29,4
2 tentativas57,1
3 tentativas66.7
5 tentativas80.8
10 tentativas86.4
completa94.9
contextoPrecisão top-1, 14 conjuntos de dados
1 captura (catálogo)86.9
2 tentativas88.8
3 tentativas89.8
5 tentativas90,3
10 tentativas91.0
completa95,4
Preços Preços de Visão Personalizada Preços da Análise de Imagem

Recursos de Reconhecimento de Produto

Composição da Imagem de Prateleira

As APIs de união e retificação permitem modificar imagens para aumentar a precisão dos resultados de Reconhecimento do Produto. Você pode usar essas APIs para:

  • Unir várias imagens de uma prateleira para criar uma única imagem.
  • Retificar uma imagem para remover a distorção de perspectiva.

Reconhecimento do Produto de Prateleira (modelo pré-treinado)

A API de Reconhecimento do Produto permite analisar uma imagem de prateleira usando o modelo pré-treinado pronto para usar. Esta operação detecta produtos e lacunas na imagem de prateleira e retorna as coordenadas da caixa delimitadora de cada produto e lacuna, juntamente com uma pontuação de confiança para cada um.

A resposta JSON a seguir ilustra o que a API de Reconhecimento do Produto retorna.

{
  "imageMetadata": {
    "width": 2000,
    "height": 1500
  },
  "products": [
    {
      "id": "string",
      "boundingBox": {
        "x": 1234,
        "y": 1234,
        "w": 12,
        "h": 12
      },
      "classifications": [
        {
          "confidence": 0.9,
          "label": "string"
        }
      ]
    }
  ],
  "gaps": [
    {
      "id": "string",
      "boundingBox": {
        "x": 1234,
        "y": 1234,
        "w": 123,
        "h": 123
      },
      "classifications": [
        {
          "confidence": 0.8,
          "label": "string"
        }
      ]
    }
  ]
}

Reconhecimento de produto de prateleira (modelo personalizado)

A API de Reconhecimento do Produto também pode ser usada com um modelo treinado personalizado para detectar seus produtos específicos. Essa operação retorna as coordenadas da caixa delimitadora de cada produto e lacuna, juntamente com o rótulo de cada produto.

A resposta JSON a seguir ilustra o que a API de Reconhecimento do Produto retorna quando usada com um modelo personalizado.

"detectedProducts": {
  "imageMetadata": {
    "width": 21,
    "height": 25
  },
  "products": [
    {
      "id": "01",
      "boundingBox": {
        "x": 123,
        "y": 234,
        "w": 34,
        "h": 45
      },
      "classifications": [
        {
          "confidence": 0.8,
          "label": "Product1"
        }
      ]
    }
  ],
  "gaps": [
    {
      "id": "02",
      "boundingBox": {
        "x": 12,
        "y": 123,
        "w": 1234,
        "h": 123
      },
      "classifications": [
        {
          "confidence": 0.9,
          "label": "Product1"
        }
      ]
    }
  ]
}

Conformidade do planograma de prateleira

A API de correspondência de planograma permite comparar os resultados da API de Reconhecimento do Produto com um documento de planograma. Essa operação corresponde a cada produto detectado e à sua posição correspondente no documento de planograma.

Ela retorna uma resposta JSON que contabiliza cada posição no documento de planograma, seja ela ocupada por um produto, seja uma lacuna.

{
  "matchedResultsPerPosition": [
    {
      "positionId": "01",
      "detectedObject": {
        "id": "01",
        "boundingBox": {
          "x": 12,
          "y": 1234,
          "w": 123,
          "h": 12345
        },
        "classifications": [
          {
            "confidence": 0.9,
            "label": "Product1"
          }
        ]
      }
    }
  ]
}

Limitações

  • O Reconhecimento de Produto está disponível somente nas regiões do Azure Leste dos EUA e Oeste dos EUA 2.
  • As imagens de prateleira podem ter até 20 MB de tamanho. O tamanho recomendável é 4 MB.
  • Recomendamos que você una e retifique as imagens da prateleira antes de carregá-las para análise.
  • O uso de um modelo personalizado é opcional no Reconhecimento de Produto, mas é obrigatório na função de correspondência de planograma.

Próximas etapas

Comece a usar o Reconhecimento de Produto experimentando as APIs de união e retificação. Em seguida, faça uma análise básica com a API de Reconhecimento do Produto.