Rozpoznawanie produktu (wersja zapoznawcza 4.0)

  • Artykuł

Interfejsy API rozpoznawania produktów umożliwiają analizowanie zdjęć półek w sklepie detalicznym. Możesz wykryć obecność produktów i uzyskać współrzędne pola ograniczenia. Użyj go w połączeniu z dostosowywaniem modelu, aby wytrenować model w celu zidentyfikowania określonych produktów. Możesz również porównać wyniki rozpoznawania produktów z dokumentem planogramu sklepu.

Wypróbuj możliwości rozpoznawania produktów szybko i łatwo w przeglądarce przy użyciu programu Vision Studio.

Wypróbuj program Vision Studio

Photo of a shelf with products and gaps outlined in rectangles.

Uwaga

Marki pokazane na obrazach nie są powiązane z firmą Microsoft i nie wskazują żadnej formy poparcia produktów firmy Microsoft lub firmy Microsoft przez właścicieli marki, ani poparcia właścicieli marki lub ich produktów przez firmę Microsoft.

Ważne

Model niestandardowy do rozpoznawania produktów można wytrenować przy użyciu usługi Custom Vision lub interfejsów API rozpoznawania produktów Image Analysis 4.0. W poniższej tabeli porównane są dwie usługi.

Obszary Produkty na półkach — Custom Vision Rozpoznawanie produktów — interfejs API analizy obrazów/dostosowywanie
Funkcje Niestandardowe informacje o produkcie Łączenie obrazów i ich recyfikacja,
wstępnie wytrenowany opis produktu,
niestandardowe informacje o produkcie,
dopasowywanie planogramu
Model podstawowy CNN Model transformatora we Florencji
Etykietowanie Customvision.ai AML Studio
Portal sieci Web Customvision.ai Vision Studio
Biblioteki REST, SDK REST, Przykład języka Python
Wymagane minimalne dane treningowe 15 obrazów na kategorię 2–5 obrazów na kategorię
Przechowywanie danych szkoleniowych Przekazano do usługi Konto magazynu obiektów blob klienta
Hosting modelu Chmura i krawędź Hosting tylko w chmurze, hosting kontenerów brzegowych, które mają być dostępne
Jakość sztucznej inteligencji
kontekstDokładność top-1, 14 zestawów danych
1 strzał (wykaz)29,4
2 strzał57.1
3 strzał66.7
5 strzałów80.8
10 strzałów86.4
pełne94.9
kontekstDokładność top-1, 14 zestawów danych
1 strzał (wykaz)86.9
2 strzał88.8
3 strzał89.8
5 strzałów90,3
10 strzałów91.0
pełne95,4
Cennik Ceny usługi Custom Vision Cennik analizy obrazów

Funkcje rozpoznawania produktów

Kompozycja obrazu półki

Interfejsy API łączenia i recyfikacji umożliwiają modyfikowanie obrazów w celu zwiększenia dokładności wyników rozumienia produktu. Za pomocą tych interfejsów API można wykonywać następujące czynności:

  • Połącz wiele obrazów półki, aby utworzyć pojedynczy obraz.
  • Korygowanie obrazu w celu usunięcia zniekształceń perspektywy.

Rozpoznawanie produktów półek (wstępnie wytrenowany model)

Interfejs API usługi Product Understanding umożliwia analizowanie gotowego obrazu przy użyciu gotowego modelu wstępnie wytrenowanego. Ta operacja wykrywa produkty i luki na obrazie półki i zwraca współrzędne pola ograniczenia każdego produktu i luki wraz z oceną ufności dla każdego z nich.

Poniższa odpowiedź JSON ilustruje, co zwraca interfejs API usługi Product Understanding.

{
  "imageMetadata": {
    "width": 2000,
    "height": 1500
  },
  "products": [
    {
      "id": "string",
      "boundingBox": {
        "x": 1234,
        "y": 1234,
        "w": 12,
        "h": 12
      },
      "classifications": [
        {
          "confidence": 0.9,
          "label": "string"
        }
      ]
    }
  ],
  "gaps": [
    {
      "id": "string",
      "boundingBox": {
        "x": 1234,
        "y": 1234,
        "w": 123,
        "h": 123
      },
      "classifications": [
        {
          "confidence": 0.8,
          "label": "string"
        }
      ]
    }
  ]
}

Rozpoznawanie produktów półek (dostosowany model)

Interfejs API usługi Product Understanding może być również używany z niestandardowym wytrenowanym modelem do wykrywania określonych produktów. Ta operacja zwraca współrzędne pola ograniczenia każdego produktu i luki wraz z etykietą każdego produktu.

Poniższa odpowiedź JSON ilustruje, co interfejs API usługi Product Understanding zwraca w przypadku użycia z modelem niestandardowym.

"detectedProducts": {
  "imageMetadata": {
    "width": 21,
    "height": 25
  },
  "products": [
    {
      "id": "01",
      "boundingBox": {
        "x": 123,
        "y": 234,
        "w": 34,
        "h": 45
      },
      "classifications": [
        {
          "confidence": 0.8,
          "label": "Product1"
        }
      ]
    }
  ],
  "gaps": [
    {
      "id": "02",
      "boundingBox": {
        "x": 12,
        "y": 123,
        "w": 1234,
        "h": 123
      },
      "classifications": [
        {
          "confidence": 0.9,
          "label": "Product1"
        }
      ]
    }
  ]
}

Zgodność planogramu z półką

Interfejs API dopasowywania planogramu umożliwia porównanie wyników interfejsu API usługi Product Understanding z dokumentem planogramu. Ta operacja pasuje do każdego wykrytego produktu i luki w odpowiednim położeniu w dokumencie planogramu.

Zwraca odpowiedź JSON, która odpowiada za każdą pozycję w dokumencie planogramu, niezależnie od tego, czy jest zajęta przez produkt, czy lukę.

{
  "matchedResultsPerPosition": [
    {
      "positionId": "01",
      "detectedObject": {
        "id": "01",
        "boundingBox": {
          "x": 12,
          "y": 1234,
          "w": 123,
          "h": 12345
        },
        "classifications": [
          {
            "confidence": 0.9,
            "label": "Product1"
          }
        ]
      }
    }
  ]
}

Ograniczenia

Następne kroki

Rozpocznij pracę z rozpoznawaniem produktów, wypróbowywanie interfejsów API łączenia i recyfikacji. Następnie wykonaj podstawową analizę za pomocą interfejsu API usługi Product Understanding.