Legendas de imagem (versão 4.0)

As legendas de imagem da Análise de Imagem 4.0 estão disponíveis por meio dos recursos Legenda e Legendas Densas.

A legenda gera uma descrição de uma só frase para todo o conteúdo da imagem. O recurso Dense Captions fornece mais detalhes gerando descrições de uma só frase de até dez regiões da imagem, além de descrever toda a imagem. As Legendas Densas também retornam coordenadas de caixas delimitadoras das regiões descritas na imagem. Ambos os recursos usam os mais recentes modelos de IA revolucionários baseados no Florence.

No momento, a legendagem de imagens está disponível apenas em inglês.

Importante

A legendagem de imagens no Image Analysis 4.0 está disponível apenas nas seguintes regiões de data center do Azure: Leste dos EUA, França Central, Coreia Central, Norte da Europa, Sudeste da Ásia, Oeste da Europa, Oeste dos EUA, Leste da Ásia. Você precisa usar um recurso da Visão do Azure localizado em uma dessas regiões para obter resultados dos recursos de Legenda Oculta e Legendas Densas.

Se você precisar usar um recurso da Visão do Azure fora dessas regiões para gerar legendas de imagem, use a Análise de Imagem 3.2, que está disponível em todas as regiões da Visão de IA do Azure.

Experimente os recursos de legenda de imagem de maneira rápida e fácil no navegador usando o Vision Studio.

Experimentar o Vision Studio

Legendas neutras em relação a gênero

Todas as legendas contêm termos de gênero ("homem", "mulher", "menino" e "menina") por padrão. Você tem a opção de substituir esses termos por "pessoa" nos resultados e receber legendas neutras em relação a gênero. Você pode fazer isso definindo o parâmetro de solicitação de API opcional, gender-neutral-caption como true na URL da solicitação.

Exemplos de legendas e legendas densas

Legenda

A resposta JSON a seguir ilustra o que a API de Análise 4.0 retorna ao descrever a imagem de exemplo com base nos recursos visuais.

"captions": [
    {
        "text": "a man pointing at a screen",
        "confidence": 0.4891590476036072
    }
]

Legendas densas

A resposta JSON a seguir ilustra o que a API de Análise 4.0 retorna ao detectar objetos na imagem de exemplo.

{
  "denseCaptionsResult": {
    "values": [
      {
        "text": "a man driving a tractor in a farm",
        "confidence": 0.535620927810669,
        "boundingBox": {
          "x": 0,
          "y": 0,
          "w": 850,
          "h": 567
        }
      },
      {
        "text": "a man driving a tractor in a field",
        "confidence": 0.5428450107574463,
        "boundingBox": {
          "x": 132,
          "y": 266,
          "w": 209,
          "h": 219
        }
      },
      {
        "text": "a blurry image of a tree",
        "confidence": 0.5139822363853455,
        "boundingBox": {
          "x": 147,
          "y": 126,
          "w": 76,
          "h": 131
        }
      },
      {
        "text": "a man riding a tractor",
        "confidence": 0.4799223840236664,
        "boundingBox": {
          "x": 206,
          "y": 264,
          "w": 64,
          "h": 97
        }
      },
      {
        "text": "a blue sky above a hill",
        "confidence": 0.35495415329933167,
        "boundingBox": {
          "x": 0,
          "y": 0,
          "w": 837,
          "h": 166
        }
      },
      {
        "text": "a tractor in a field",
        "confidence": 0.47338250279426575,
        "boundingBox": {
          "x": 0,
          "y": 243,
          "w": 838,
          "h": 311
        }
      }
    ]
  },
  "modelVersion": "2024-02-01",
  "metadata": {
    "width": 850,
    "height": 567
  }
}

Usar a API

Legendas de imagem

O recurso de descrição de imagem faz parte da API de Análise de Imagem. Inclua Caption no parâmetro de consulta features. Em seguida, quando receber a resposta JSON completa, basta analisar a cadeia de caracteres para o conteúdo da seção "captionResult".

Legendas densas

O recurso de legenda densa faz parte da API de Análise de Imagem. Inclua denseCaptions no parâmetro de consulta features. Em seguida, quando receber a resposta JSON completa, basta analisar a cadeia de caracteres para o conteúdo da seção "denseCaptionsResult".

Próximas etapas

• Conheça o conceito relacionado de detecção de objetos.
• Guia de início rápido: bibliotecas de clientes ou API REST da Análise de Imagem
• Chamar a API de Análise de Imagem