Wykrywanie zawartości specyficznej dla domeny

Oprócz tagowania i kategoryzacji wysokiego poziomu usługa Azure AI Vision obsługuje również dalszą analizę specyficzną dla domeny przy użyciu modeli, które zostały wytrenowane na wyspecjalizowanych danych.

Istnieją dwa sposoby używania modeli specyficznych dla domeny: przez siebie (analiza w zakresie) lub jako rozszerzenie funkcji kategoryzacji obrazu.

Analiza w zakresie

Obraz można analizować przy użyciu tylko wybranego modelu specyficznego dla domeny, wywołując interfejs API Modele/<model>/Analizowanie .

Poniżej przedstawiono przykładową odpowiedź JSON zwróconą przez modele/gwiazdy/analizowanie interfejsu API dla danego obrazu:

Satya Nadella standing, smiling

{
  "result": {
    "celebrities": [{
      "faceRectangle": {
        "top": 391,
        "left": 318,
        "width": 184,
        "height": 184
      },
      "name": "Satya Nadella",
      "confidence": 0.99999856948852539
    }]
  },
  "requestId": "8217262a-1a90-4498-a242-68376a4b956b",
  "metadata": {
    "width": 800,
    "height": 1200,
    "format": "Jpeg"
  }
}

Rozszerzona analiza kategoryzacji

Można również użyć modeli specyficznych dla domeny, aby uzupełnić ogólną analizę obrazów. Można to zrobić w ramach kategoryzacji wysokiego poziomu, określając modele specyficzne dla domeny w parametrze szczegółów wywołania interfejsu API analizowania .

W tym przypadku klasyfikator taksonomii 86 kategorii jest wywoływany jako pierwszy. Jeśli którakolwiek z wykrytych kategorii ma pasujący model specyficzny dla domeny, obraz jest również przekazywany przez ten model, a wyniki zostaną dodane.

Poniższa odpowiedź JSON pokazuje, jak można uwzględnić analizę specyficzną dla domeny jako detail węzeł w szerszej analizie kategoryzacji.

"categories":[
  {
    "name":"abstract_",
    "score":0.00390625
  },
  {
    "name":"people_",
    "score":0.83984375,
    "detail":{
      "celebrities":[
        {
          "name":"Satya Nadella",
          "faceRectangle":{
            "left":597,
            "top":162,
            "width":248,
            "height":248
          },
          "confidence":0.999028444
        }
      ],
      "landmarks":[
        {
          "name":"Forbidden City",
          "confidence":0.9978346
        }
      ]
    }
  }
]

Wyświetlanie listy modeli specyficznych dla domeny

Obecnie usługa Azure AI Vision obsługuje następujące modele specyficzne dla domeny:

Nazwa/nazwisko opis
Gwiazdy Rozpoznawanie osobistości obsługiwane w przypadku obrazów sklasyfikowanych w people_ kategorii
Zabytki Rozpoznawanie punktów orientacyjnych obsługiwane w przypadku obrazów sklasyfikowanych w outdoor_ kategorii lub building_

Wywołanie interfejsu API modeli zwróci te informacje wraz z kategoriami, do których można zastosować każdy model:

{
  "models":[
    {
      "name":"celebrities",
      "categories":[
        "people_",
        "人_",
        "pessoas_",
        "gente_"
      ]
    },
    {
      "name":"landmarks",
      "categories":[
        "outdoor_",
        "户外_",
        "屋外_",
        "aoarlivre_",
        "alairelibre_",
        "building_",
        "建筑_",
        "建物_",
        "edifício_"
      ]
    }
  ]
}

Używanie interfejsu API

Ta funkcja jest dostępna za pośrednictwem interfejsu API analizowania obrazu 3.2. Ten interfejs API można wywołać za pomocą natywnego zestawu SDK lub wywołań REST. Dołącz Celebrities lub Landmarks w parametrze zapytania szczegółów . Następnie po otrzymaniu pełnej odpowiedzi JSON po prostu przeanalizuj ciąg zawartości "details" sekcji.