Riconoscimento del prodotto (versione 4.0 preview)

Le API di riconoscimento del prodotto consentono di analizzare le foto degli scaffali in un negozio al dettaglio. È possibile rilevare la presenza di prodotti e ottenere le coordinate del rettangolo delimitatore. Usarlo in combinazione con la personalizzazione del modello per eseguire il training di un modello per identificare i prodotti specifici. È anche possibile confrontare i risultati di Riconoscimento prodotto con il documento planogramma del negozio.

Provare le funzionalità di Riconoscimento del prodotto in modo rapido e semplice nel browser usando Vision Studio.

Photo of a shelf with products and gaps outlined in rectangles.

Nota

I marchi mostrati nelle immagini non sono associati a Microsoft e non indicano alcuna forma di approvazione dei prodotti Microsoft o Microsoft da parte dei proprietari del marchio o un'approvazione dei proprietari del marchio o dei loro prodotti da Parte di Microsoft.

Importante

È possibile eseguire il training di un modello personalizzato per il riconoscimento del prodotto usando il servizio Visione personalizzata o le API riconoscimento prodotto di Analisi immagini 4.0. Nella tabella seguente vengono confrontati i due servizi.

Aree Prodotti su scaffali - Visione personalizzata Riconoscimento del prodotto - API/personalizzazione dell'analisi delle immagini
Funzionalità Informazioni personalizzate sui prodotti Unione e correzione delle immagini,
comprensione del prodotto con training preliminare,
comprensione personalizzata del prodotto,
corrispondenza planogramma
Modello di base CNN Modello di trasformatore Firenze
Etichettatura Customvision.ai AML Studio
Portale Web Customvision.ai Vision Studio
Librerie REST, SDK REST, Esempio di Python
Dati di training minimi necessari 15 immagini per categoria 2-5 immagini per categoria
Archiviazione dei dati di training Caricato nel servizio Account di archiviazione BLOB del cliente
Hosting di modelli Cloud e edge Solo hosting cloud, hosting di contenitori perimetrali da venire
Qualità dell'intelligenza artificiale
contextAccuratezza top-1, 14 set di dati
1 colpo (catalogo)29.4
2 colpi57.1
3 colpi66.7
5 colpi80.8
10 colpi86.4
full94.9
contextAccuratezza top-1, 14 set di dati
1 colpo (catalogo)86.9
2 colpi88.8
3 colpi89.8
5 colpi90,3
10 colpi91.0
full95,4
Prezzi Prezzi della Visione personalizzata Prezzi dell'analisi delle immagini

Funzionalità di riconoscimento del prodotto

Composizione dell'immagine di scaffale

Le API di unione e rettifica consentono di modificare le immagini per migliorare l'accuratezza dei risultati di Product Understanding. È possibile usare queste API per:

  • Unire più immagini di uno scaffale per creare una singola immagine.
  • Rettificare un'immagine per rimuovere la distorsione prospettica.

Riconoscimento del prodotto scaffale (modello con training preliminare)

L'API Product Understanding consente di analizzare un'immagine di scaffale usando il modello predefinito. Questa operazione rileva i prodotti e le lacune nell'immagine dello scaffale e restituisce le coordinate del rettangolo delimitatore di ogni prodotto e gap, insieme a un punteggio di attendibilità per ognuno.

La risposta JSON seguente illustra il risultato restituito dall'API Product Understanding.

{
  "imageMetadata": {
    "width": 2000,
    "height": 1500
  },
  "products": [
    {
      "id": "string",
      "boundingBox": {
        "x": 1234,
        "y": 1234,
        "w": 12,
        "h": 12
      },
      "classifications": [
        {
          "confidence": 0.9,
          "label": "string"
        }
      ]
    }
  ],
  "gaps": [
    {
      "id": "string",
      "boundingBox": {
        "x": 1234,
        "y": 1234,
        "w": 123,
        "h": 123
      },
      "classifications": [
        {
          "confidence": 0.8,
          "label": "string"
        }
      ]
    }
  ]
}

Riconoscimento del prodotto scaffale (modello personalizzato)

L'API Product Understanding può essere usata anche con un modello con training personalizzato per rilevare i prodotti specifici. Questa operazione restituisce le coordinate del rettangolo delimitatore di ogni prodotto e gap, insieme all'etichetta di ogni prodotto.

La risposta JSON seguente illustra cosa restituisce l'API Product Understanding quando viene usata con un modello personalizzato.

"detectedProducts": {
  "imageMetadata": {
    "width": 21,
    "height": 25
  },
  "products": [
    {
      "id": "01",
      "boundingBox": {
        "x": 123,
        "y": 234,
        "w": 34,
        "h": 45
      },
      "classifications": [
        {
          "confidence": 0.8,
          "label": "Product1"
        }
      ]
    }
  ],
  "gaps": [
    {
      "id": "02",
      "boundingBox": {
        "x": 12,
        "y": 123,
        "w": 1234,
        "h": 123
      },
      "classifications": [
        {
          "confidence": 0.9,
          "label": "Product1"
        }
      ]
    }
  ]
}

Conformità degli scaffali planogrammi

L'API di corrispondenza planogrammi consente di confrontare i risultati dell'API Product Understanding con un documento planogramma. Questa operazione corrisponde a ogni prodotto rilevato e alla posizione corrispondente nel documento planogramma.

Restituisce una risposta JSON che rappresenta ogni posizione nel documento planogramma, indipendentemente dal fatto che sia occupato da un prodotto o da un gap.

{
  "matchedResultsPerPosition": [
    {
      "positionId": "01",
      "detectedObject": {
        "id": "01",
        "boundingBox": {
          "x": 12,
          "y": 1234,
          "w": 123,
          "h": 12345
        },
        "classifications": [
          {
            "confidence": 0.9,
            "label": "Product1"
          }
        ]
      }
    }
  ]
}

Limiti

  • Il riconoscimento del prodotto è disponibile solo nelle aree Stati Uniti orientali e Stati Uniti occidentali 2 di Azure.
  • Le immagini di scaffale possono avere dimensioni fino a 20 MB. Le dimensioni consigliate sono 4 MB.
  • Ti consigliamo di cucire e ricucire sulle immagini di scaffale prima di caricarle per l'analisi.
  • L'uso di un modello personalizzato è facoltativo in Riconoscimento prodotto, ma è necessario per la funzione di corrispondenza del planogramma.

Passaggi successivi

Iniziare a usare il riconoscimento del prodotto provando le API di unione e rettificazione. Eseguire quindi l'analisi di base con l'API Product Understanding.