Génération augmentée de récupération et index

Important

Certaines des fonctionnalités décrites dans cet article peuvent uniquement être disponibles en préversion. Cette préversion est fournie sans contrat de niveau de service, nous la déconseillons dans des charges de travail de production. Certaines fonctionnalités peuvent être limitées ou non prises en charge. Pour plus d’informations, consultez Conditions d’Utilisation Supplémentaires relatives aux Évaluations Microsoft Azure.

Cet article explique l’importance et la nécessité de récupérer la génération augmentée (RAG) et l’index dans l’IA générative.

Qu’est-ce que RAG ?

Voici tout d’abord quelques concepts de base. Les LLM (modèles de langage volumineux) tels que ChatGPT sont formés sur des données Internet publiques qui étaient disponibles au moment de leur formation. Ils peuvent répondre à des questions liées aux données sur lesquelles ils sont entraînés. Il est possible que les données publiques ne soient pas suffisantes pour répondre à tous vos besoins. Vous souhaiterez peut-être obtenir des réponses à des questions basées sur vos données privées. Ou les données publiques peuvent être devenues obsolètes. La solution à ce problème est la génération augmentée de récupération (RAG), un modèle utilisé dans l’IA qui utilise un LLM pour générer des réponses avec vos propres données.

Comment fonctionne la RAG ?

La RAG est un modèle qui utilise vos données avec un LLM pour générer des réponses spécifiques à vos données. Quand un utilisateur pose une question, le magasin de données fait l’objet d’une recherche basée sur l’entrée utilisateur. La question de l’utilisateur est alors associée aux résultats correspondants et envoyée au LLM en utilisant une invite (instructions explicites à un modèle Machine Learning ou IA) pour générer la réponse souhaitée. Ce scénario peut être illustré comme suit.

Qu’est-ce qu’un index et pourquoi ai-je besoin de celui-ci ?

Le RAG utilise vos données pour générer des réponses à la question de l’utilisateur. Pour que RAG fonctionne correctement, nous devons trouver un moyen pour rechercher et envoyer vos données d’une façon facile et économique aux LLM. Pour ce faire, utilisez un index. Un index est un magasin de données qui vous permet de rechercher efficacement des données. Il est très utile dans le RAG. Un index peut être optimisé pour les machines virtuelles LLMs en créant des vecteurs (données de texte converties en séquences de nombres à l’aide d’un modèle d’incorporation). Un bon index a généralement des fonctionnalités de recherche efficaces telles que les recherches de mots clés, les recherches sémantiques, les recherches vectorielles ou une combinaison de ces derniers. Ce modèle de RAG optimisé peut être illustré comme suit.

Azure AI fournit une ressource d’index à utiliser avec le modèle RAG. La ressource d’index contient des informations importantes telles que l’emplacement où est stocké votre index, comment accéder à votre index, quels sont les modes dans lesquels votre index peut être recherché, votre index a-t-il des vecteurs, quel est le modèle d’incorporation utilisé pour les vecteurs, etc. L’index Azure AI utilise Azure AI Search comme magasin d’index principal et recommandé. Recherche Azure AI est une ressource Azure qui prend en charge la récupération d’informations sur vos données stockées textuelles et vectorielles dans les index de recherche.

Étapes suivantes

• Créer un index vectoriel