Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
A pesquisa de vetor é uma abordagem de recuperação de informações que dá suporte à indexação e à consulta sobre representações numéricas de conteúdo. Como o conteúdo é numérico em vez de texto sem formatação, a correspondência é baseada em vetores mais semelhantes ao vetor de consulta. Essa abordagem permite a correspondência entre:
- Semelhança semântica ou conceitual. Por exemplo, "dog" e "canine" são conceitualmente semelhantes, mas linguisticamente distintos.
- Conteúdo multilíngue, como "cachorro" em inglês e "hund" em alemão.
- Vários tipos de conteúdo, como "cachorro" em texto sem formatação e uma imagem de um cachorro.
Este artigo fornece uma visão geral da pesquisa de vetor em Pesquisa de IA do Azure , incluindo cenários com suporte, disponibilidade e integração com outros serviços Azure.
Dica
Quer começar imediatamente? Siga estas etapas:
- Forneça inserções para o índice ou gere inserções em um pipeline do indexador.
- Crie um índice de vetor.
- Rodar consultas vetoriais.
Quais cenários podem dar suporte à pesquisa de vetor?
A pesquisa de vetor dá suporte aos seguintes cenários:
Pesquisa de similaridade. Codificar texto usando modelos de inserção ou modelos de software livre, como inserções OpenAI ou SBERT, respectivamente. Em seguida, você recupera documentos usando consultas que também são codificadas como vetores.
Pesquisa híbrida. Pesquisa de IA do Azure define a pesquisa híbrida como a execução da pesquisa de vetor e da pesquisa keyword na mesma solicitação. O suporte ao vetor é implementado no nível do campo. Se um índice contiver campos de vetor e não de vetor, você poderá escrever uma consulta direcionada a ambos. As consultas são executadas em paralelo e os resultados são mesclados em uma única resposta e classificados adequadamente.
Pesquisa multimodal. Codificar texto e imagens usando inserções multimodal, como OpenAI CLIP ou GPT-4 Turbo com Vision em Azure OpenAI e consultar um espaço de inserção composto por vetores de ambos os tipos de conteúdo.
Pesquisa multilíngue. Pesquisa de IA do Azure foi projetado para extensibilidade. Se você tiver modelos de embedding e modelos de chat treinados em vários idiomas, poderá chamá-los por meio de habilidades personalizadas ou internas no lado da indexação ou de vetorizadores no lado da consulta. Para obter mais controle sobre a tradução de texto, use os recursos multilíngues compatíveis com Pesquisa de IA do Azure para conteúdo não vetorial em cenários de pesquisa híbrida.
Pesquisa de vetor filtrado. Uma solicitação de consulta pode incluir uma consulta de vetor e uma expressão de filtro. Os filtros se aplicam a campos de texto e numéricos. Eles são úteis para filtros de metadados e para incluir ou excluir resultados da pesquisa com base em critérios de filtro. Embora um campo de vetor não seja filtrável, você pode configurar um campo de texto ou numérico que seja filtrável. O mecanismo de pesquisa pode processar o filtro antes ou depois de executar a consulta de vetor.
Banco de dados vetor. Pesquisa de IA do Azure armazena os dados que você consulta. Use-o como um índice de vetor puro quando precisar de memória de longo prazo ou de uma base de conhecimento, para basear dados na arquitetura de RAG (geração aumentada de recuperação) ou em um aplicativo que use vetores.
Como funciona a pesquisa de vetor?
Pesquisa de IA do Azure dá suporte à indexação, armazenamento e consulta de inserções de vetor de um índice de pesquisa. O diagrama a seguir mostra os fluxos de trabalho de indexação e consulta para pesquisa de vetor.
No lado da indexação, Pesquisa de IA do Azure usa um algoritmo de vizinhos mais próximos para colocar vetores semelhantes próximos em um índice. Internamente, ele cria índices de vetor para cada campo de vetor.
A forma como você obtém inserções do conteúdo de origem em Pesquisa de IA do Azure depende da abordagem de processamento:
Para processamento interno, o Pesquisa de IA do Azure oferece agrupamento e vetorização de dados integrados em um pipeline de indexador. Você fornece os recursos necessários, como endpoints e informações de conexão para o Azure OpenAI. Pesquisa de IA do Azure faz as chamadas e manipula as transições. Essa abordagem requer um indexador, uma fonte de dados com suporte e um conjunto de habilidades que impulsiona o agrupamento e a inserção.
Para processamento externo, você pode gerar embeddings fora de Pesquisa de IA do Azure e enviar o conteúdo pré-configurado diretamente para campos vetoriais no índice de pesquisa.
No lado da consulta, seu aplicativo cliente coleta a entrada do usuário, normalmente por meio de um prompt. Você pode adicionar uma etapa de codificação para vetorizar a entrada e, em seguida, enviar a consulta de vetor ao índice Pesquisa de IA do Azure para pesquisa de similaridade. Assim como acontece com a indexação, você pode usar a vetorização integrada para codificar a consulta. Para qualquer abordagem, Pesquisa de IA do Azure retorna documentos com o k kNN (vizinho mais próximo) solicitado nos resultados.
Pesquisa de IA do Azure dá suporte a cenários hibrid que executam a pesquisa de vetor e palavra-chave em paralelo e retornam um conjunto de resultados unificado, que geralmente fornece melhores resultados do que apenas a pesquisa de vetor ou palavra-chave. Para pesquisa híbrida, o conteúdo vetor e não vetor são ingeridos no mesmo índice para consultas que são executadas simultaneamente.
Disponibilidade e preços
A pesquisa de vetor está disponível em todas as regiões e em todas as camadas sem custo adicional. No entanto, gerar incorporações ou usar o enriquecimento de IA para vetorização pode incorrer em custos do provedor de modelo.
Para acesso programático e portal à pesquisa de vetor, você pode usar:
- O assistente de importação de dados no portal do Azure.
- As APIs REST do Serviço de Pesquisa.
- Os SDKs do Azure para .NET, Python e JavaScript.
- Outras ofertas do Azure, como Microsoft Foundry.
Nota
Alguns serviços de pesquisa criados antes de 1º de janeiro de 2019 não dão suporte a cargas de trabalho de vetor. Se você tentar adicionar um campo de vetor a um esquema e receber um erro, ele será resultado de serviços desatualizados. Nessa situação, você deve criar um novo serviço de pesquisa para experimentar o recurso de vetor.
Os serviços de pesquisa criados após 3 de abril de 2024 oferecem cotas mais altas para índices vetoriais. Se você tiver um serviço mais antigo, poderá atualizar seu serviço para cotas de vetor mais altas.
Azure integração e serviços relacionados
Pesquisa de IA do Azure está profundamente integrado em toda a plataforma de IA Azure. A tabela a seguir lista os produtos que são úteis em cargas de trabalho de vetor.
| Produto | Integração |
|---|---|
| OpenAI do Azure | Azure OpenAI fornece modelos de inserção e modelos de chat. Demonstrações e exemplos são direcionados ao modelo text-embedding-ada-002. Recomendamos Azure OpenAI para gerar inserções para texto. |
| Ferramentas de Fundição | API de Vetorização de Imagens de Recuperação de Imagem suporta a vetorização do conteúdo de imagem. Recomendamos essa API para gerar inserções para imagens. |
| Serviço do Foundry Agent | Em Pesquisa de IA do Azure , você pode criar uma fonte de conhecimento indexada que aponta para um índice de pesquisa contendo campos de vetor e um vetorizador. Em seguida, você pode ligar a fonte de conhecimento a uma base de conhecimento e conectar a base de conhecimento ao Serviço do Foundry Agent, fornecendo aos seus agentes resultados de pesquisa de vetores para a recuperação de conhecimento aprimorada. |
| Azure plataformas de dados: Armazenamento de Blobs do Azure, Azure Cosmos DB, SQL do Azure, Microsoft OneLake | Você pode usar indexadores para automatizar a ingestão de dados e, em seguida, usar a vetorização integrada para gerar inserções. Pesquisa de IA do Azure pode indexar automaticamente dados de vetor de Azure blob indexers, Azure Cosmos DB para NoSQL indexers, Azure Data Lake Storage Gen2, Armazenamento de Tabelas do Azure e Microsoft OneLake. Para obter mais informações, consulte Adicionar campos de vetor a um índice de pesquisa. |
Ele também é comumente usado em estruturas de software livre, como LangChain.