Ler em inglês

Compartilhar via

Detecção de conteúdo específico do domínio

  • Artigo

Além da marcação e da categorização de alto nível, o IA do Azure Vision também suporta análises adicionais específicas de domínio utilizando modelos treinados em dados especializados.

Há duas maneiras de usar os modelos de domínio específico: por si só (análise com escopo) ou como um aprimoramento do recurso de categorização de imagens.

Análise de escopo

Você pode analisar uma imagem usando apenas o modelo de domínio específico escolhido, chamando a API Modelos/<modelo>/Analisar.

A seguir está um exemplo de resposta JSON retornada pela API models/celebrities/analyze para a imagem fornecida:

Satya Nadella em pé, sorrindo

{
  "result": {
    "celebrities": [{
      "faceRectangle": {
        "top": 391,
        "left": 318,
        "width": 184,
        "height": 184
      },
      "name": "Satya Nadella",
      "confidence": 0.99999856948852539
    }]
  },
  "requestId": "8217262a-1a90-4498-a242-68376a4b956b",
  "metadata": {
    "width": 800,
    "height": 1200,
    "format": "Jpeg"
  }
}

Análise aprimorada de categorização

Você também pode usar modelos de domínio específico para complementar a análise de imagem geral. Você faz isso como parte da categorização de alto nível especificando modelos específicos de domínio no parâmetro detalhes da chamada de API Analyze Image.

Neste caso, o classificador da taxonomia de 86 categorias é chamado primeiro. Se qualquer uma das categorias detectadas tiver um modelo de domínio específico correspondente, a imagem é passada por meio deste modelo também e os resultados são adicionados.

A resposta JSON a seguir mostra como a análise de domínio específico pode ser incluída como o nó detail em uma análise mais abrangente de categorização.

"categories":[
  {
    "name":"abstract_",
    "score":0.00390625
  },
  {
    "name":"people_",
    "score":0.83984375,
    "detail":{
      "celebrities":[
        {
          "name":"Satya Nadella",
          "faceRectangle":{
            "left":597,
            "top":162,
            "width":248,
            "height":248
          },
          "confidence":0.999028444
        }
      ],
      "landmarks":[
        {
          "name":"Forbidden City",
          "confidence":0.9978346
        }
      ]
    }
  }
]

Lista de modelos de domínio específico

Atualmente, a Pesquisa Visual Computacional suporta os seguintes modelos de domínio específico para detectar conteúdo de domínio específico:

Nome Descrição
Celebridades Reconhecimento de celebridades, compatível com imagens classificadas na categoria people_
Pontos de referência Reconhecimento de pontos de referência, com suporte para imagens classificado na outdoor_ ou building_ categorias

Chamar a API Models retorna essas informações junto com as categorias às quais cada modelo pode se aplicar:

{
  "models":[
    {
      "name":"celebrities",
      "categories":[
        "people_",
        "人_",
        "pessoas_",
        "gente_"
      ]
    },
    {
      "name":"landmarks",
      "categories":[
        "outdoor_",
        "户外_",
        "屋外_",
        "aoarlivre_",
        "alairelibre_",
        "building_",
        "建筑_",
        "建物_",
        "edifício_"
      ]
    }
  ]
}

Usar a API

Esse recurso está disponível por meio da API3.2 da Análise de Imagem. Você pode chamar essa API por meio de um SDK nativo ou por meio de chamadas REST. Incluir Celebrities ou Landmarks no parâmetro de consulta detalhes. Em seguida, quando receber a resposta JSON completa, basta analisar a cadeia de caracteres para o conteúdo da seção "details".