Como criar uma solução RAG usando a Pesquisa de IA do Azure
Esta série de tutoriais demonstra um padrão para criar soluções RAG na Pesquisa de IA do Azure. Ela abrange os componentes internos da Pesquisa de IA do Azure, dependências, otimizações e tarefas de implantação.
Dados de exemplo são uma coleção de PDFs carregados no Armazenamento do Microsoft Azure.
O código de exemplo pode ser encontrado neste notebook Python, mas é recomendável usar essa série para obter contexto, insights e para explorar abordagens alternativas.
Exercícios nesta série
Escolher seus modelos para inserções e chat
Criar um índice para pesquisa de conversa
Criar um pipeline de indexação que carrega, agrupa, insere e ingere conteúdo pesquisável
Recuperar conteúdo pesquisável usando consultas e um modelo de chat
Maximizar relevância
Minimizar o armazenamento e os custos
Implantar e proteger um aplicativo
Omitimos alguns aspectos de um padrão RAG para reduzir a complexidade:
Nenhum gerenciamento de contexto e histórico de chats. Normalmente, o histórico de chats é armazenado e gerenciado separadamente dos dados de fundamentação, o que significa etapas e códigos adicionais. Este tutorial pressupõe perguntas atômicas e respostas do LLM.
Nenhuma segurança por usuário sobre os resultados (o que chamamos de "filtragem de segurança"). Para obter mais informações e recursos, comece com a filtragem de segurança e examine os links no final do artigo.
Esta série aborda os conceitos básicos do desenvolvimento da solução RAG. Após entender os conceitos básicos, continue com aceleradores e outros exemplos de código que fornecem mais abstração ou que sejam mais adequados para ambientes de produção e cargas de trabalho mais complexas.
Por que usar o RAG da Pesquisa de IA do Azure?
Os modelos de chat enfrentam restrições na quantidade de dados que podem aceitar em uma solicitação. É necessário usar a Pesquisa de IA do Azure porque a qualidade do conteúdo passado para um LLM pode criar ou interromper uma solução RAG.
Para fornecer as entradas de alta qualidade para um modelo de chat, a Pesquisa de IA do Azure fornece um mecanismo de pesquisa de melhor classe com integração de IA e ajuste de relevância abrangente. O mecanismo de pesquisa dá suporte à pesquisa de similaridade de vetor (vários algoritmos), pesquisa de palavras-chave, pesquisa difusa, pesquisa geoespacial e filtros. É possível criar solicitações de consulta híbrida que incluem todos esses componentes e controlar o quanto cada consulta contribui para a solicitação geral.