Legendas de imagens (versão 4.0)

As legendas de imagem no Image Analysis 4.0 estão disponíveis através das funcionalidades Caption e Dense Captions .

O recurso Legenda gera uma descrição de uma frase de todo o conteúdo da imagem. As legendas densas fornecem mais detalhes, gerando descrições de uma frase de até 10 regiões diferentes da imagem, além de descrever a imagem inteira. As legendas densas também retornam as coordenadas da caixa delimitadora das regiões de imagem descritas. Ambos os recursos usam os mais recentes modelos de IA baseados em Florença.

As legendas das imagens estão disponíveis apenas em inglês.

Importante

A legenda de imagem no Image Analysis 4.0 só está disponível em determinadas regiões do data center do Azure: consulte Disponibilidade de região. Você deve usar um recurso do Azure AI Vision localizado em uma dessas regiões para obter resultados dos recursos Legenda e Legendas Densas.

Se você precisar usar um recurso de Visão fora dessas regiões para gerar legendas de imagem, use a Análise de Imagem 3.2 , que está disponível em todas as regiões do Azure AI Vision.

Experimente os recursos de legendagem de imagens de forma rápida e fácil em seu navegador usando o Vision Studio.

Experimente o Vision Studio

Legendas neutras em termos de género

Por padrão, as legendas contêm termos de gênero ("homem", "mulher", "menino" e "menina"). Você tem a opção de substituir esses termos por "pessoa" em seus resultados e receber legendas neutras em termos de gênero. Você pode fazer isso definindo o parâmetro gender-neutral-caption de solicitação de API opcional como true na URL da solicitação.

Exemplos de legendas e legendas densas

Legenda

A resposta JSON a seguir ilustra o que a API do Image Analysis 4.0 retorna ao descrever a imagem de exemplo com base em seus recursos visuais.

"captions": [
    {
        "text": "a man pointing at a screen",
        "confidence": 0.4891590476036072
    }
]

Legendas densas

A resposta JSON a seguir ilustra o que a API do Image Analysis 4.0 retorna ao gerar legendas densas para a imagem de exemplo.

{
  "denseCaptionsResult": {
    "values": [
      {
        "text": "a man driving a tractor in a farm",
        "confidence": 0.535620927810669,
        "boundingBox": {
          "x": 0,
          "y": 0,
          "w": 850,
          "h": 567
        }
      },
      {
        "text": "a man driving a tractor in a field",
        "confidence": 0.5428450107574463,
        "boundingBox": {
          "x": 132,
          "y": 266,
          "w": 209,
          "h": 219
        }
      },
      {
        "text": "a blurry image of a tree",
        "confidence": 0.5139822363853455,
        "boundingBox": {
          "x": 147,
          "y": 126,
          "w": 76,
          "h": 131
        }
      },
      {
        "text": "a man riding a tractor",
        "confidence": 0.4799223840236664,
        "boundingBox": {
          "x": 206,
          "y": 264,
          "w": 64,
          "h": 97
        }
      },
      {
        "text": "a blue sky above a hill",
        "confidence": 0.35495415329933167,
        "boundingBox": {
          "x": 0,
          "y": 0,
          "w": 837,
          "h": 166
        }
      },
      {
        "text": "a tractor in a field",
        "confidence": 0.47338250279426575,
        "boundingBox": {
          "x": 0,
          "y": 243,
          "w": 838,
          "h": 311
        }
      }
    ]
  },
  "modelVersion": "2024-02-01",
  "metadata": {
    "width": 850,
    "height": 567
  }
}

Utilizar a API

Legendas das imagens

O recurso de legendagem de imagem faz parte da API Analyze Image . Inclua Caption no parâmetro de consulta de recursos . Em seguida, quando você obtiver a resposta JSON completa, analise a cadeia de caracteres para o conteúdo da "captionResult" seção.

Legendas densas

O recurso de legendagem densa faz parte da API Analyze Image . Inclua denseCaptions no parâmetro de consulta de recursos . Em seguida, quando você obtiver a resposta JSON completa, analise a cadeia de caracteres para o conteúdo da "denseCaptionsResult" seção.

Próximos passos

• Aprenda o conceito relacionado de deteção de objetos.
• Guia de início rápido: API REST de análise de imagem ou bibliotecas de cliente
• Chamar a API de análise de imagem