Augmented generatie en indexen ophalen
Belangrijk
Sommige van de functies die in dit artikel worden beschreven, zijn mogelijk alleen beschikbaar in de preview-versie. Deze preview wordt aangeboden zonder een service level agreement en we raden deze niet aan voor productieworkloads. Misschien worden bepaalde functies niet ondersteund of zijn de mogelijkheden ervan beperkt. Zie Aanvullende gebruiksvoorwaarden voor Microsoft Azure-previews voor meer informatie.
Dit artikel gaat over het belang en de noodzaak voor ophalen van Augmented Generation (RAG) en index in generatieve AI.
Wat is RAG?
Enkele basisprincipes eerst. Grote taalmodellen (LLM's) zoals ChatGPT worden getraind op openbare internetgegevens die beschikbaar waren op het moment waarop ze werden getraind. Ze kunnen vragen beantwoorden met betrekking tot de gegevens waarop ze zijn getraind. Deze openbare gegevens zijn mogelijk niet voldoende om aan al uw behoeften te voldoen. Mogelijk wilt u vragen beantwoorden op basis van uw persoonlijke gegevens. Of de openbare gegevens zijn mogelijk verouderd. De oplossing voor dit probleem is het ophalen van Augmented Generation (RAG), een patroon dat wordt gebruikt in AI, waarbij een LLM wordt gebruikt om antwoorden met uw eigen gegevens te genereren.
Hoe werkt RAG?
RAG is een patroon dat gebruikmaakt van uw gegevens met een LLM om antwoorden te genereren die specifiek zijn voor uw gegevens. Wanneer een gebruiker een vraag stelt, wordt het gegevensarchief doorzocht op basis van gebruikersinvoer. De gebruikersvraag wordt vervolgens gecombineerd met de overeenkomende resultaten en verzonden naar de LLM met behulp van een prompt (expliciete instructies voor een AI- of machine learning-model) om het gewenste antwoord te genereren. Dit kan als volgt worden geïllustreerd.
Wat is een index en waarom heb ik deze nodig?
RAG gebruikt uw gegevens om antwoorden te genereren op de vraag van de gebruiker. Rag werkt goed, we moeten een manier vinden om uw gegevens op een eenvoudige en rendabele manier naar de LLM's te zoeken en te verzenden. Dit wordt bereikt met behulp van een index. Een index is een gegevensarchief waarmee u efficiënt gegevens kunt doorzoeken. Dit is zeer handig in RAG. Een index kan worden geoptimaliseerd voor LLM's door vectoren te maken (tekstgegevens geconverteerd naar getalreeksen met behulp van een insluitmodel). Een goede index heeft meestal efficiënte zoekmogelijkheden, zoals trefwoordzoekopdrachten, semantische zoekopdrachten, vectorzoekopdrachten of een combinatie hiervan. Dit geoptimaliseerde RAG-patroon kan als volgt worden geïllustreerd.
Azure AI biedt een indexasset voor gebruik met RAG-patroon. De indexasset bevat belangrijke informatie zoals waar uw index is opgeslagen, hoe u toegang krijgt tot uw index, wat zijn de modi waarin uw index kan worden doorzocht, heeft uw index vectoren, wat is het insluitmodel dat wordt gebruikt voor vectoren, enzovoort. De Azure AI-index maakt gebruik van Azure AI Search als het primaire en aanbevolen indexarchief. Azure AI Search is een Azure-resource die ondersteuning biedt voor het ophalen van informatie over uw vector- en tekstgegevens die zijn opgeslagen in zoekindexen.