Generación e índices aumentados de recuperación

Este artículo habla de la importancia y la necesidad de la generación aumentada de recuperación (RAG) y el Índice en la IA generativa.

¿Qué es RAG?

Algunos aspectos básicos primero. Los modelos de lenguaje grande (LLM), como ChatGPT, se entrenan en datos públicos de Internet que estaban disponibles en el momento en que se entrenaron. Pueden responder a preguntas relacionadas con los datos en los que se han entrenado. Es posible que estos datos públicos no sean suficientes para satisfacer todas sus necesidades. Es posible que quiera que le respondan a preguntas basadas en sus datos privados. O bien, los datos públicos podrían simplemente estar obsoletos. La solución a este problema es la Generación Aumentada mediante Recuperación (RAG), un patrón utilizado en IA que emplea un LLM para generar respuestas con los datos propios del usuario.

¿Cómo funciona RAG?

RAG es un patrón que usa los datos con un LLM para generar respuestas específicas de los datos. Cuando un usuario realiza una pregunta, se busca el almacén de datos en función de la entrada del usuario. A continuación, la pregunta del usuario se combina con los resultados coincidentes y se envía al LLM mediante un aviso (instrucciones explícitas a una IA o a un modelo de aprendizaje automático) para que genere la respuesta deseada. Este proceso se puede ilustrar de la siguiente manera.

¿Qué es un índice y por qué lo necesito?

RAG usa los datos para generar respuestas a la pregunta del usuario. Para que el RAG funcione bien, tenemos que encontrar una manera de buscar y enviar sus datos de forma fácil y rentable a los LLM. Esto se logra mediante un índice. Un índice es un almacén de datos que permite buscar datos de forma eficaz. Este índice es muy útil en RAG. Un índice se puede optimizar para LLM mediante la creación de vectores (texto o datos convertidos en secuencias numéricas mediante un modelo de inserción). Un índice correcto suele tener funcionalidades de búsqueda eficaces, como búsquedas de palabras clave, búsquedas semánticas, vectores de búsqueda o una combinación de ellas. Este patrón RAG optimizado puede ilustrarse del siguiente modo.

Azure AI proporciona un activo de índice para usar con el patrón RAG. El recurso de índice contiene información importante como dónde se almacena el índice, cómo acceder a él, cuáles son los modos en los que se puede buscar en el índice, si el índice tiene vectores, cuál es el modelo de inserción utilizado para los vectores, etc. El índice de Azure AI usa Búsqueda de Azure AI como almacén de índices principal y recomendado. Azure AI Search es un recurso de Azure que admite la recuperación de información sobre los datos vectoriales y textuales almacenados en los índices de búsqueda.

Pasos siguientes

• Crear un índice vectorial