Detecção de objetos (versão 4.0)
A detecção de objetos é semelhante à marcação, mas a API retorna as coordenadas da caixa delimitadora (em pixels) para cada objeto encontrado na imagem. Por exemplo, se uma imagem contiver um cachorro, um gato e uma pessoa, a operação de detecção de objetos listará esses objetos com as coordenadas na imagem. Você pode usar essa funcionalidade para processar as relações entre os objetos em uma imagem. Ela também permite saber se há várias instâncias do mesmo objeto em uma imagem.
A função de detecção de objetos aplica marcas com base em objetos ou seres vivos identificados na imagem. Não há nenhuma relação formal entre a taxonomia de marcação e a taxonomia de detecção de objetos. Em um nível conceitual, a função de detecção de objetos apenas localiza objetos e seres vivos, enquanto função de marcação também pode incluir termos contextuais, como "ambiente interno", que não podem ser localizados com caixas delimitadoras.
Experimente as funcionalidades da detecção de objetos de maneira rápida e fácil no navegador usando o Vision Studio.
Dica
Você pode usar o recurso de detecção de objetos por meio do serviço OpenAI do Azure. O modelo GPT-4 Turbo com Visão permite que você converse com um assistente de IA que pode analisar as imagens que você compartilha e a opção de Aprimoramento de Visão usa a Análise de Imagem para fornecer ao assistente de IA mais detalhes (texto legível e localizações de objetos) sobre a imagem. Para obter mais informações, consulte o Início rápido do GPT-4 Turbo com Visão.
Exemplo de detecção de objetos
A resposta JSON a seguir ilustra o que a API de Análise 4.0 retorna ao detectar objetos na imagem de exemplo.
{
"metadata":
{
"width": 1260,
"height": 473
},
"objectsResult":
{
"values":
[
{
"name": "kitchen appliance",
"confidence": 0.501,
"boundingBox": {"x":730,"y":66,"w":135,"h":85}
},
{
"name": "computer keyboard",
"confidence": 0.51,
"boundingBox": {"x":523,"y":377,"w":185,"h":46}
},
{
"name": "Laptop",
"confidence": 0.85,
"boundingBox": {"x":471,"y":218,"w":289,"h":226}
},
{
"name": "person",
"confidence": 0.855,
"boundingBox": {"x":654,"y":0,"w":584,"h":473}
}
]
}
}
Limitações
É importante observar as limitações da detecção de objetos para que seja possível evitar ou reduzir os efeitos de falsos negativos (objetos ausentes) e a limitação de detalhes.
- Em geral, quando são pequenos (menos de 5% da imagem) os objetos não são detectados.
- Em geral, se estão dispostos com proximidade (uma pilha de pratos, por exemplo), os objetos não são detectados.
- Os objetos não são diferenciados por marca ou nome do produto (tipos diferentes de refrigerante na prateleira de uma loja, por exemplo). No entanto, você pode obter informações sobre a marca de uma imagem usando o recurso Detecção de marca.
Usar a API
O recurso de detecção de objeto faz parte da API Analisar Imagem. Você pode chamar essa API usando REST. Inclua Objects no parâmetro de consulta features. Em seguida, quando receber a resposta JSON completa, basta analisar a cadeia de caracteres para o conteúdo da seção "objects".