Guia de início rápido: pesquisar imagens usando o Gerenciador de Pesquisa no portal do Azure

Artigo
07/10/2024

Importante

Os vetores de imagem são suportados em versões estáveis da API, mas o assistente e os vetorizadores estão em pré-visualização em Termos de Uso Suplementares. Por padrão, o assistente tem como alvo a API REST 2024-05-01-Preview.

Este guia de início rápido mostra como começar a pesquisar imagens usando o assistente Importar e vetorizar dados no portal do Azure. Ele também mostra como usar o Search Explorer para executar consultas baseadas em imagem.

Os dados de exemplo consistem em arquivos de imagem no repositório azure-search-sample-data , mas você pode usar imagens diferentes e ainda seguir o passo a passo.

Pré-requisitos

Uma subscrição do Azure. Crie um gratuitamente.
Uma conta multisserviço de serviços de IA do Azure a ser usada para vetorização de imagem e reconhecimento ótico de caracteres (OCR). A conta deve estar em uma região que forneça incorporações multimodais do Azure AI Vision.

Atualmente, as regiões elegíveis são: SuéciaCentral, EastUS, NorthEurope, WestEurope, WestUS, SoutheastAsia, KoreaCentral, FranceCentral, AustraliaEast, WestUS2, SwitzerlandNorth, JapanEast. Consulte a documentação para obter uma lista atualizada.
Azure AI Search para indexação e consultas. Ele pode estar em qualquer camada, mas deve estar na mesma região que os serviços de IA do Azure.

A camada de serviço determina quantos blobs você pode indexar. Usamos a camada Gratuita para criar este passo a passo e limitamos o conteúdo a 10 arquivos JPG.
Armazenamento do Azure para armazenar arquivos de imagem como blobs. Use o Armazenamento de Blobs do Azure, uma conta de desempenho padrão (v2 de uso geral). As camadas de acesso podem ser quentes, frias e frias.

Não use o Azure Data Lake Storage Gen2 (uma conta de armazenamento com um namespace hierárquico). Esta versão do assistente não suporta o Data Lake Storage Gen2.

Todos os recursos anteriores devem ter acesso público habilitado para que os nós do portal possam acessá-los. Caso contrário, o assistente falhará. Depois que o assistente for executado, você poderá habilitar firewalls e pontos de extremidade privados nos componentes de integração para segurança. Para obter mais informações, consulte Conexões seguras nos assistentes de importação.

Se os pontos de extremidade privados já estiverem presentes e você não puder desativá-los, a opção alternativa é executar o respetivo fluxo de ponta a ponta de um script ou programa em uma máquina virtual. A máquina virtual deve estar na mesma rede virtual que o ponto de extremidade privado. Aqui está um exemplo de código Python para vetorização integrada. O mesmo repositório GitHub tem exemplos em outras linguagens de programação.

Um serviço de pesquisa gratuito dá suporte ao controle de acesso baseado em função em conexões com o Azure AI Search, mas não oferece suporte a identidades gerenciadas em conexões de saída com o Armazenamento do Azure ou o Azure AI Vision. Esse nível de suporte significa que você deve usar a autenticação baseada em chave em conexões entre um serviço de pesquisa gratuito e outros serviços do Azure. Para conexões mais seguras:

Use a camada Básica ou superior.
Configure uma identidade gerenciada e atribuições de função para admitir solicitações do Azure AI Search em outros serviços do Azure.

Verificar o espaço

Se você está começando com o serviço gratuito, você está limitado a três índices, três fontes de dados, três conjuntos de habilidades e três indexadores. Certifique-se de que tem espaço para itens adicionais antes de começar. Este guia de início rápido cria um de cada objeto.

Preparar dados de exemplo

Transfira a pasta de imagens unsplash-signs para uma pasta local ou encontre algumas imagens suas. Em um serviço de pesquisa gratuito, mantenha os arquivos de imagem abaixo de 20 para ficar dentro da cota gratuita para processamento de enriquecimento.
Entre no portal do Azure com sua conta do Azure e vá para sua conta de Armazenamento do Azure.
No painel esquerdo, em Armazenamento de Dados, selecione Contêineres.
Crie um novo contêiner e, em seguida, carregue as imagens.

Iniciar o assistente

Se o seu serviço de pesquisa e o serviço de IA do Azure estiverem na mesma região e locatário com suporte e se o contêiner de blob do Armazenamento do Azure estiver usando a configuração padrão, você estará pronto para iniciar o assistente.

Entre no portal do Azure com sua conta do Azure e vá para seu serviço Azure AI Search.
Na página Visão geral, selecione Importar e vetorizar dados.

Ligar aos dados

A próxima etapa é conectar-se a uma fonte de dados que forneça as imagens.

Na página Configurar sua conexão de dados, selecione Armazenamento de Blob do Azure.
Especifique a assinatura do Azure.
Para o Armazenamento do Azure, selecione a conta e o contêiner que fornecem os dados. Use os valores padrão para as caixas restantes.
Selecione Seguinte.

Vetorizar o texto

Se o conteúdo bruto incluir texto ou se o conjunto de habilidades produzir texto, o assistente chamará um modelo de incorporação de texto para gerar vetores para esse conteúdo. Neste exercício, o texto será produzido a partir da habilidade OCR que você adicionar na próxima etapa.

O Azure AI Vision fornece incorporações de texto, portanto, use esse recurso para vetorização de texto.

Na página Vetorizar seu texto, selecione Vetorização AI Vision. Se não estiver disponível, certifique-se de que o Azure AI Search e a sua conta multisserviço do Azure AI estão juntos numa região que suporta APIs multimodais do AI Vision.
Selecione Seguinte.

Vetorize e enriqueça as suas imagens

Use o Azure AI Vision para gerar uma representação vetorial dos arquivos de imagem.

Nesta etapa, você também pode aplicar IA para extrair texto de imagens. O assistente usa OCR dos serviços de IA do Azure para reconhecer texto em arquivos de imagem.

Mais duas saídas aparecem no índice quando o OCR é adicionado ao fluxo de trabalho:

O chunk campo é preenchido com uma cadeia de caracteres gerada por OCR de qualquer texto encontrado na imagem.
O text_vector campo é preenchido com uma incorporação que representa a chunk cadeia de caracteres.

A inclusão de texto sem formatação no chunk campo é útil se você quiser usar recursos de relevância que operam em cadeias de caracteres, como classificação semântica e perfis de pontuação.

Na página Vetorizar suas imagens, marque a caixa de seleção Vetorizar imagens e selecione Vetorização AI Vision.
Selecione Usar o mesmo serviço de IA selecionado para vetorização de texto.
Na seção de enriquecimento, selecione Extrair texto de imagens e Usar o mesmo serviço de IA selecionado para vetorização de imagens.
Selecione Seguinte.

Indexação de agendas

Na página Configurações avançadas, em Indexação de agenda, especifique uma agenda de execução para o indexador. Recomendamos uma vez para este exercício. Para fontes de dados em que os dados subjacentes são voláteis, você pode agendar a indexação para pegar as alterações.
Selecione Seguinte.

Concluir o assistente

Na página Revisar sua configuração, especifique um prefixo para os objetos que o assistente criará. Um prefixo comum ajuda-o a manter-se organizado.
Selecione Criar.

Quando o assistente conclui a configuração, ele cria os seguintes objetos:

Um indexador que conduz o pipeline de indexação.
Uma conexão de fonte de dados com o Armazenamento de Blobs.
Um índice com campos vetoriais, campos de texto, vetorizadores, perfis vetoriais e algoritmos vetoriais. Não é possível modificar o índice padrão durante o fluxo de trabalho do assistente. Os índices estão em conformidade com a API REST 2024-05-01-preview.
Um conjunto de competências com as seguintes cinco competências:
- A habilidade OCR reconhece texto em arquivos de imagem.
- A habilidade Text Merge unifica as várias saídas do processamento de OCR.
- A habilidade Divisão de texto adiciona fragmentação de dados. Essa habilidade é incorporada ao fluxo de trabalho do assistente.
- A habilidade de incorporações multimodais do Azure AI Vision é usada para vetorizar texto gerado a partir de OCR.
- A habilidade de incorporação multimodal do Azure AI Vision é chamada novamente para vetorizar imagens.

Ver resultados

O Search Explorer aceita texto, vetores e imagens como entradas de consulta. Você pode arrastar ou selecionar uma imagem para a área de pesquisa. O Search Explorer vetoriza sua imagem e envia o vetor como uma entrada de consulta para o mecanismo de pesquisa. A vetorização de imagem pressupõe que seu índice tenha uma definição de vetorizador, que Importar e vetorizar dados cria com base nas entradas do modelo de incorporação.

No portal do Azure, vá para Índices de Gerenciamento de>Pesquisa e selecione o índice que você criou. O explorador de pesquisa é o primeiro separador.
No menu Exibir, selecione Visualização de imagem.
Arraste uma imagem da pasta local que contém os arquivos de imagem de exemplo. Ou abra o navegador de arquivos para selecionar um arquivo de imagem local.
Selecione Pesquisar para executar a consulta.

A correspondência superior deve ser a imagem que você pesquisou. Como uma pesquisa vetorial corresponde a vetores semelhantes, o mecanismo de pesquisa retorna qualquer documento que seja suficientemente semelhante à entrada da consulta, até o k número de resultados. Você pode alternar para o modo de exibição JSON para consultas mais avançadas que incluem ajuste de relevância.
Experimente outras opções de consulta para comparar os resultados da pesquisa:
- Ocultar vetores para obter resultados mais legíveis (recomendado).
- Selecione um campo vetorial para consultar. O padrão é vetores de texto, mas você pode especificar o vetor de imagem para excluir vetores de texto da execução da consulta.

Limpeza

Esta demonstração usa recursos faturáveis do Azure. Se já não precisar dos recursos, elimine-os da sua subscrição para evitar encargos.

Próximo passo

Este guia de início rápido apresentou o assistente Importar e vetorizar dados que cria todos os objetos necessários para a pesquisa de imagens. Se você quiser explorar cada etapa em detalhes, tente uma amostra de vetorização integrada.

Partilhar via