Förstå RAG (Retrieval Augmented Generation) med Azure OpenAI-tjänsten

  • 3 minuter

RAG med Azure OpenAI gör det möjligt för utvecklare att använda AI-chattmodeller som stöds och som kan referera till specifika informationskällor för att grunda svaret. Genom att lägga till den här informationen kan modellen referera till både de specifika data som tillhandahålls och dess förtränad kunskap för att ge effektivare svar.

Azure OpenAI aktiverar RAG genom att ansluta förträrade modeller till dina egna datakällor. Azure OpenAI på dina data använder sökfunktionen i Azure AI Search för att lägga till relevanta datasegment i prompten. När dina data finns i ett AI Search-index går Azure OpenAI på dina data igenom följande steg:

  1. Ta emot användarprompt.
  2. Fastställa relevant innehåll och avsikt för uppmaningen.
  3. Fråga sökindexet med det innehållet och avsikten.
  4. Infoga sökresultatsegment i Azure OpenAI-prompten, tillsammans med systemmeddelande och användarprompt.
  5. Skicka hela uppmaningen till Azure OpenAI.
  6. Returnera svars- och datareferens (om någon) till användaren.

Som standard uppmuntrar Azure OpenAI för dina data, men kräver inte, att modellen endast svarar med dina data. Den här inställningen kan avmarkeras när du ansluter dina data, vilket kan leda till att modellen väljer att använda sin förtränad kunskap över dina data.

Finjustering jämfört med RAG

Finjustering är en teknik som används för att skapa en anpassad modell genom att träna en befintlig grundläggande modell, till exempel gpt-35-turbo med en datamängd med ytterligare träningsdata. Finjustering kan resultera i begäranden av högre kvalitet än enbart fråga om teknik, anpassa modellen på exempel som är större än vad som får plats i en fråga och ge användaren färre exempel för att få samma högkvalitativa svar. Processen för finjustering är dock både kostsam och tidsintensiv och bör endast användas för användningsfall där det är nödvändigt.

RAG med Azure OpenAI på dina data använder fortfarande det tillståndslösa API:et för att ansluta till modellen, vilket tar bort kravet på att träna en anpassad modell med dina data och förenklar interaktionen med AI-modellen. AI Search hittar först användbar information för att besvara uppmaningen, lägger till den i prompten som grunddata och Azure OpenAI utgör svaret baserat på den informationen.