Geração aumentada de recuperação e índices

Importante

Alguns dos recursos descritos nesse artigo podem estar disponíveis apenas na versão prévia. Essa versão prévia é fornecida sem um contrato de nível de serviço e não recomendamos isso para cargas de trabalho de produção. Alguns recursos podem não ter suporte ou podem ter restrição de recursos. Para obter mais informações, consulte Termos de Uso Complementares de Versões Prévias do Microsoft Azure.

Este artigo fala sobre a importância e a necessidade da Recuperação de Geração Aumentada (RAG) e índice na IA generativa.

O que é a RAG?

Vamos ver alguns conceitos básicos primeiro. Os LLMs (modelos de linguagem grande) como o ChatGPT são treinados com os dados públicos da Internet disponíveis no momento em que foram treinados. Eles podem responder a perguntas relacionadas aos dados nos quais foram treinados. Esses dados públicos podem não ser suficientes para atender a todas as suas necessidades. Talvez você queira que as perguntas sejam respondidas com base nos seus dados particulares. Ou, então, os dados públicos podem simplesmente ter ficado desatualizados. A solução para esse problema é a RAG (geração aumentada por recuperação), um padrão usado na IA que usa um LLM para gerar respostas com seus dados.

Como funciona a RAG?

A RAG é um padrão que usa seus dados com um LLM para gerar respostas específicas desses dados. Quando um usuário faz uma pergunta, o armazenamento de dados é pesquisado com base na entrada do usuário. Em seguida, a pergunta do usuário é combinada com os resultados correspondentes e enviada ao LLM por meio de um prompt (instruções explícitas para um modelo de IA ou de machine learning) a fim de gerar a resposta desejada. Isso pode ser ilustrado da seguinte maneira.

O que é um índice e por que preciso dele?

A RAG usa seus dados para gerar respostas para a pergunta do usuário. Para que a RAG funcione bem, precisamos encontrar uma forma de pesquisar e enviar os dados de maneira fácil e econômica para os LLMs. Isso é obtido usando um índice. Um índice é um armazenamento de dados que permite que você pesquise dados com eficiência. Isso é muito útil na RAG. Um índice pode ser otimizado para LLMs com a criação de vetores (textos/dados convertidos em sequências numéricas por um modelo de inserção). Geralmente, um bom índice tem recursos de pesquisa eficientes, como pesquisas por palavras-chave, pesquisas semânticas, busca em vetores ou uma combinação dessas opções. Esse padrão de RAG otimizado pode ser ilustrado da seguinte maneira.

A IA do Azure fornece um ativo de índice a ser usado com o padrão RAG. O ativo de índice contém informações importantes como onde seu índice está armazenado, como acessar seu índice, quais são os modos nos quais seu índice pode ser pesquisado, seu índice tem vetores, qual é o modelo de inserção usado para vetores, etc. O índice de IA do Azure usa a Pesquisa de IA do Azure como o repositório de índice primário e recomendado. A Pesquisa de IA do Azure é um recurso do Azure que dá suporte à recuperação de informações sobre os dados vetoriais e textuais armazenados em índices de pesquisa.

Próximas etapas

• Criar um índice de vetor