Compartilhar via

Armazenamentos de vetores no aprendizado de máquina do Azure (versão prévia)

  • Artigo

Importante

Esse recurso está atualmente em visualização pública. Essa versão prévia é fornecida sem um contrato de nível de serviço e não é recomendada para cargas de trabalho de produção. Alguns recursos podem não ter suporte ou podem ter restrição de recursos.

Para obter mais informações, consulte Termos de Uso Complementares de Versões Prévias do Microsoft Azure.

Este artigo descreve os índices vetoriais no Azure Machine Learning que você pode usar para executar a geração aumentada por recuperação (RAG). Um índice de vetor armazena inserções que são representações numéricas de conceitos (dados) convertidos em sequências de números. As inserções permitem que os modelos de linguagem grandes (LLMs) entendam as relações entre os conceitos. Você pode criar armazenamentos de vetores para conectar seus dados com LLMs, como o GPT-4, e recuperar os dados de forma eficiente.

O Microsoft Azure Machine Learning oferece suporte a dois armazenamentos de vetores que contêm seus dados suplementares usados em um fluxo de trabalho RAG:

Repositório de vetor Descrição Recursos e uso
Faiss Biblioteca de código aberto - Usar um repositório baseado em arquivos locais
- Incorrer em custos mínimos
- Suporte a dados somente de vetores
- Suporte ao desenvolvimento e testes
IA do Azure Search Recurso de PaaS do Azure - Armazenar dados de texto no índice de pesquisa
- Hospedar um grande número de índices com um único serviço
- Suporte a requisitos comerciais de nível empresarial
- Acessar a recuperação de informações híbridas

As seções a seguir exploram as considerações para trabalhar com esses repositórios de vetores.

Biblioteca Faiss

O Faiss é uma biblioteca de código aberto que fornece um repositório local baseado em arquivo. O índice de vetores é armazenado na conta de armazenamento do Azure do seu Workspace do Azure Machine Learning. Para trabalhar com o Faiss, baixe a biblioteca e use-a como um componente da sua solução. Como o índice é armazenado localmente, os custos são mínimos.

Você pode usar a biblioteca Faiss como seu armazenamento de vetores e executar as seguintes ações:

  • Armazenar dados vetoriais localmente, sem custos para criar um índice (somente custo de armazenamento)

  • Criar e consultar um índice na memória

  • Compartilhar cópias para uso individual e configurar a hospedagem do índice para um aplicativo

  • Dimensionar com o índice de carregamento de computação subjacente

Pesquisa de IA do Azure (anteriormente denominado Cognitive Search) é um recurso dedicado de PaaS do Azure que você cria em uma assinatura do Azure. O recurso dá suporte à recuperação de informações sobre seus dados vetoriais e textuais armazenados em índices de pesquisa. Um fluxo de prompt pode criar, preencher e consultar seus dados de vetor armazenados no Azure AI Search. Um único serviço de pesquisa pode hospedar um grande número de índices que podem ser consultados e usados em um padrão RAG.

Aqui estão alguns pontos-chave sobre o uso da Pesquisa de IA do Azure para seu armazenamento de vetores:

  • Dar suporte a requisitos de negócios em nível empresarial para escala, segurança e disponibilidade.

  • Acessar a recuperação de informações híbridas. Os dados vetoriais podem coexistir com dados não vetoriais, o que significa que você pode usar qualquer um dos recursos da Pesquisa de IA do Azure para indexação e consultas, incluindo a pesquisa híbrida e o ranking semântico.

  • Lembre-se de que o suporte a vetor está em pré-visualização. Atualmente, os vetores devem ser gerados externamente e, em seguida, passados para o Azure AI Search para indexação e codificação de consulta. O fluxo de prompt manipula essas transições para você.

Para usar o AI Search como um repositório de vetores para o Azure Machine Learning, você deve ter um serviço de pesquisa. Depois que o serviço existir e você conceder acesso aos desenvolvedores, poderá escolher a Pesquisa de IA do Azure como um índice vetorial em um fluxo rápido. O fluxo de prompt cria o índice no Azure AI Search, gera vetores de seus dados de origem, envia os vetores para o índice, invoca a pesquisa de similaridade na Pesquisa de IA e retorna a resposta.

Conteúdo relacionado