Informationssökning

När du har genererat inbäddningarna för dina segment är nästa steg att generera indexet i vektordatabasen och experimentera för att fastställa de optimala sökningar som ska utföras. När du experimenterar med informationshämtning finns det flera områden att tänka på, inklusive konfigurationsalternativ för sökindexet, vilka typer av sökningar du bör utföra och din omrankningsstrategi. Den här artikeln beskriver dessa tre ämnen.

Den här artikeln ingår i en serie. Läs introduktionen.

Sökindex

Sökindexet i ditt lager har en kolumn för varje fält i dina data. Söklager har vanligtvis stöd för datatyper som inte är datatyper som sträng, booleskt värde, heltal, enkel, dubbel, datetime och samlingar som Samling(enkel) och vektordatatyper som Samling(enkel). För varje kolumn måste du konfigurera information , till exempel datatypen, om fältet är filterbart, hämtningsbart och/eller sökbart.

Följande är några viktiga beslut som du måste fatta för vektorsökningskonfigurationen som tillämpas på vektorfält:

• Vektorsökningsalgoritm – Algoritmen som används för att söka efter relativa matchningar. Azure AI Search har ett brute-force-algoritmalternativ som söker igenom hela vektorutrymmet som kallas fullständig KNN och ett mer högpresterande algoritmalternativ som utför en ungefärlig sökning med närmaste granne (ANN) med namnet Hierarchical Navigable Small World (HNSW).
• metric – Den här konfigurationen är likhetsmåttet som används för att beräkna närliggande algoritmen. Alternativen i Azure AI Search är cosinus, dotProduct och Euclidean. Om du använder Inbäddningsmodeller för Azure OpenAI väljer du cosine.
• efConstruction – Parameter som används under HNSW-indexkonstruktionen (Hierarchical Navigable Small Worlds) som anger antalet närmaste grannar som är anslutna till en vektor under indexeringen. Ett större efConstruction-värde resulterar i ett index av bättre kvalitet än ett mindre tal. Kompromissen är att ett större värde kräver mer tid, lagring och beräkning. efConstruction bör vara högre för ett stort antal segment och lägre för ett lågt antal segment. För att fastställa det optimala värdet krävs experimentering med dina data och förväntade frågor.
• efSearch – parameter som används vid frågetillfället för att ange antalet närmaste grannar (dvs. liknande segment) som används under sökningen.
• m – Antalet dubbelriktade länkar. Intervallet är 4 till 10, med lägre tal som returnerar mindre brus i resultaten.

I Azure AI Search kapslas vektorkonfigurationerna in i en vectorSearch konfiguration. När du konfigurerar vektorkolumnerna refererar du till lämplig konfiguration för den vektorkolumnen och anger antalet dimensioner. Vektorkolumnens dimensionsattribut representerar antalet dimensioner som genereras av den inbäddningsmodell som du har valt. Till exempel genererar den lagringsoptimerade text-embedding-3-small modellen 1 536 dimensioner.

Sökningar

När du kör frågor från din promptorkestrerare mot sökarkivet har du många alternativ att tänka på. Du måste fastställa följande:

• Vilken typ av sökning du ska utföra: vektor eller nyckelord eller hybrid
• Oavsett om du ska köra frågor mot en eller flera kolumner
• Om du ska köra flera frågor manuellt, till exempel en nyckelordsfråga och en vektorsökning
• Om frågan behöver delas upp i underfrågor
• Om filtrering ska användas i dina frågor

Din uppmaningsorkestrerare kan ha en statisk metod eller en dynamisk metod som blandar metoderna baserat på kontext ledtrådar från prompten. I följande avsnitt beskrivs de här alternativen som hjälper dig att experimentera för att hitta rätt metod för din arbetsbelastning.

Söktyper

Sökplattformar stöder vanligtvis fulltext- och vektorsökningar. Vissa plattformar, till exempel Azure AI Search, stöder hybridsökningar. Om du vill se funktionerna i olika vektorsökningserbjudanden läser du Välj en Azure-tjänst för vektorsökning.

Vektorsökning

Vektorsökningar matchar likheten mellan den vektoriserade frågan (prompt) och vektorfälten.

embedding = embedding_model.generate_embedding(
    chunk=str(pre_process.preprocess(query))
)

vector = RawVectorQuery(
    k=retrieve_num_of_documents,
    fields="contentVector",
    vector=embedding,
)

results = client.search(
    search_text=None,
    vector_queries=[vector],
    top=retrieve_num_of_documents,
    select=["title", "content", "summary"],
)

Exempelkoden utför en vektorsökning mot fältet contentVector . Observera att koden som bäddar in frågan förbearbetar frågan först. Den förbearbetningen bör vara samma kod som förbearbetar segmenten före inbäddning. Inbäddningsmodellen måste vara samma inbäddningsmodell som inbäddade segmenten.

Fulltextsökning

Fulltextsökningar matchar oformaterad text som lagras i ett index. Det är vanligt att extrahera nyckelord från en fråga och använda de extraherade nyckelorden i en fulltextsökning mot en eller flera indexerade kolumner. Fulltextsökningar kan konfigureras för att returnera matchningar där alla villkor eller villkor matchar.

Du måste experimentera för att avgöra vilka fält som är effektiva att köra fulltextsökningar mot. Som beskrivs i berikningsfasen är fälten för nyckelord och entitetsmetadata bra kandidater att överväga för fulltextsökning i scenarier där innehållet har liknande semantisk betydelse, men entiteter eller nyckelord skiljer sig åt. Andra vanliga fält att tänka på för fulltextsökning är rubrik, sammanfattning och segmenttext.

formatted_search_results = []

results = client.search(
    search_text=query,
    top=retrieve_num_of_documents,
    select=["title", "content", "summary"],
)

formatted_search_results = format_results(results)

Exempelkoden utför en fulltextsökning mot fälten rubrik, innehåll och sammanfattning.

Hybridsökning

Azure AI Search stöder hybridfrågor där din fråga kan innehålla en eller flera textsökningar och en eller flera vektorsökningar. Plattformen utför varje fråga, hämtar mellanliggande resultat, rangordnar om resultaten med hjälp av Reciprocal Rank Fusion (RRF) och returnerar de främsta N-resultaten.

 embedding = embedding_model.generate_embedding(
    chunk=str(pre_process.preprocess(query))
)
vector1 = RawVectorQuery(
    k=retrieve_num_of_documents,
    fields="contentVector",
    vector=embedding,
)
vector2 = RawVectorQuery(
    k=retrieve_num_of_documents,
    fields="questionVector",
    vector=embedding,
)

results = client.search(
    search_text=query,
    vector_queries=[vector1, vector2],
    top=retrieve_num_of_documents,
    select=["title", "content", "summary"],
)

Exempelkoden utför en fulltextsökning mot fälten rubrik, innehåll och sammanfattning och vektorsökningar mot fälten contentVector och questionVector. Azure AI Search-plattformen kör alla frågor parallellt, återställer resultaten och returnerar de översta retrieve_num_of_documents dokumenten.

Manuell multipel

Du kan naturligtvis köra flera frågor, till exempel en vektorsökning och en fulltextsökning med nyckelord manuellt. Du aggregerar resultaten och rankar resultatet manuellt och returnerar de bästa resultaten. Följande är användningsfall för manuell multipel:

• Du använder en sökplattform som inte stöder hybridsökningar. Du skulle följa det här alternativet för att utföra din egen hybridsökning.
• Du vill köra fulltextsökningar mot olika frågor. Du kan till exempel extrahera nyckelord från frågan och köra en fulltextsökning mot nyckelordens metadatafält. Du kan sedan extrahera entiteter och köra en fråga mot metadatafältet entiteter.
• Du vill styra omrankningsprocessen själv.
• Frågan kräver att flera underfrågor körs för att hämta jordningsdata från flera källor.

Flera underfrågor

Vissa frågor är komplexa och kräver mer än en datainsamling för att jorda modellen. Frågan "Hur fungerar elbilar och hur jämför de med ICE-fordon?" kräver till exempel sannolikt jordningsdata från flera källor.

Det är bra att avgöra om frågan kräver flera sökningar innan du kör några sökningar. Om du anser att flera underfrågor krävs kan du köra manuella flera frågor för alla frågor. Använd en stor språkmodell för att avgöra om flera underfrågor krävs. Följande fråga hämtas från RAG-experimentacceleratorn som används för att kategorisera en fråga som enkel eller komplex, med komplexa krav på flera frågor:

Consider the given question to analyze and determine if it falls into one of these categories:
1. Simple, factual question
  a. The question is asking for a straightforward fact or piece of information
  b. The answer could likely be found stated directly in a single passage of a relevant document
  c. Breaking the question down further is unlikely to be beneficial
  Examples: "What year did World War 2 end?", "What is the capital of France?, "What is the features of productX?"
2. Complex, multi-part question
  a. The question has multiple distinct components or is asking for information about several related topics
  b. Different parts of the question would likely need to be answered by separate passages or documents
  c. Breaking the question down into sub-questions for each component would allow for better results
  d. The question is open-ended and likely to have a complex or nuanced answer
  e. Answering it may require synthesizing information from multiple sources
  f. The question may not have a single definitive answer and could warrant analysis from multiple angles
  Examples: "What were the key causes, major battles, and outcomes of the American Revolutionary War?", "How do electric cars work and how do they compare to gas-powered vehicles?"

Based on this rubric, does the given question fall under category 1 (simple) or category 2 (complex)? The output should be in strict JSON format. Ensure that the generated JSON is 100 percent structurally correct, with proper nesting, comma placement, and quotation marks. There should not be any comma after last element in the JSON.

Example output:
{
  "category": "simple"
}

En stor språkmodell kan också användas för att extrahera underfrågor från en komplex fråga. Följande fråga hämtas från RAG-experimentacceleratorn som konverterar en komplex fråga till flera underfrågor.

Your task is to take a question as input and generate maximum 3 sub-questions that cover all aspects of the original question. The output should be in strict JSON format, with the sub-questions contained in an array.
Here are the requirements:
1. Analyze the original question and identify the key aspects or components.
2. Generate sub-questions that address each aspect of the original question.
3. Ensure that the sub-questions collectively cover the entire scope of the original question.
4. Format the output as a JSON object with a single key "questions" that contains an array of the generated sub-questions.
5. Each sub-question should be a string within the "questions" array.
6. The JSON output should be valid and strictly formatted.
7. Ensure that the generated JSON is 100 percent structurally correct, with proper nesting, comma placement, and quotation marks. The JSON should be formatted with proper indentation for readability.
8. There should not be any comma after last element in the array.

Example input question:
What are the main causes of deforestation, and how can it be mitigated?

Example output:
{
  "questions": [
    "What are the primary human activities that contribute to deforestation?",
    "How does agriculture play a role in deforestation?",
    "What is the impact of logging and timber harvesting on deforestation?",
    "How do urbanization and infrastructure development contribute to deforestation?",
    "What are the environmental consequences of deforestation?",
    "What are some effective strategies for reducing deforestation?",
    "How can reforestation and afforestation help mitigate the effects of deforestation?",
    "What role can governments and policies play in preventing deforestation?",
    "How can individuals and communities contribute to reducing deforestation?"
  ]
}

Skicka bilder i frågor

Vissa multimodala modeller som GPT-4V och GPT-4o kan tolka bilder. Om du använder dessa modeller kan du välja om du vill undvika att segmentera bilderna och skicka bilden som en del av uppmaningen till den multimodala modellen. Du bör experimentera för att avgöra hur den här metoden fungerar jämfört med att segmentera bilderna med och utan att skicka ytterligare kontext. Du bör också jämföra skillnaden i kostnad mellan metoderna och göra en kostnads-nyttoanalys.

Filtrering

Fält i sökarkivet som är konfigurerade som filtreringsbara kan användas för att filtrera frågor. Överväg att filtrera efter nyckelord och entiteter för frågor som använder dessa fält för att begränsa resultatet. Med filtrering kan du endast hämta data som uppfyller vissa villkor från ett index genom att eliminera irrelevanta data. Detta förbättrar frågans övergripande prestanda med mer relevanta resultat. Precis som med varje beslut är det viktigt att experimentera och testa. Frågor kanske inte har nyckelord eller felaktiga nyckelord, förkortningar eller förkortningar. Du måste ta hänsyn till dessa fall.

Ändra rangordning

Med omrankning kan du köra en eller flera frågor, aggregera resultaten och rangordna dessa resultat. Överväg följande skäl för att ändra rangordningen av sökresultaten:

• Du utförde manuella flera sökningar och vill aggregera resultaten och rangordna dem.
• Vektor- och nyckelordssökningar är inte alltid korrekta. Du kan öka antalet dokument som returneras från sökningen, eventuellt inklusive några giltiga resultat som annars skulle ignoreras, och använda omrankning för att utvärdera resultaten.

Du kan använda en stor språkmodell eller korskodare för att utföra omrankning. Vissa plattformar, till exempel Azure AI Search, har egna metoder för att ändra resultat. Du kan utvärdera de här alternativen för dina data för att avgöra vad som fungerar bäst för ditt scenario. Följande avsnitt innehåller information om dessa metoder.

Omrankning av stor språkmodell

Följande är ett exempel på en fråga om stora språkmodeller från RAG-experimentacceleratorn som genererar resultat på nytt.

A list of documents is shown below. Each document has a number next to it along with a summary of the document. A question is also provided.
Respond with the numbers of the documents you should consult to answer the question, in order of relevance, as well as the relevance score as json string based on json format as shown in the schema section. The relevance score is a number from 1–10 based on how relevant you think the document is to the question. The relevance score can be repetitive. Don't output any additional text or explanation or metadata apart from json string. Just output the json string and strip rest every other text. Strictly remove any last comma from the nested json elements if it's present.
Don't include any documents that are not relevant to the question. There should exactly be one documents element.
Example format:
Document 1:
content of document 1
Document 2:
content of document 2
Document 3:
content of document 3
Document 4:
content of document 4
Document 5:
content of document 5
Document 6:
content of document 6
Question: user defined question

schema:
{
    "documents": {
        "document_1": "Relevance",
        "document_2": "Relevance"
    }
}

Korskodaromrankning

I följande exempel från RAG-experimentacceleratorn används CrossEncoder som tillhandahålls av Hugging Face för att läsa in Roberta-modellen. Den itererar sedan över varje segment och använder modellen för att beräkna likheten, vilket ger dem ett värde. Vi sorterar resultat och returnerar det översta N.

from sentence_transformers import CrossEncoder
...

model_name = 'cross-encoder/stsb-roberta-base'
model = CrossEncoder(model_name)

cross_scores_ques = model.predict(
    [[user_prompt, item] for item in documents],
    apply_softmax=True,
    convert_to_numpy=True,
)

top_indices_ques = cross_scores_ques.argsort()[-k:][::-1]
sub_context = []
for idx in list(top_indices_ques):
    sub_context.append(documents[idx])

Semantisk rankning

Azure AI Search har en egenutvecklad funktion som kallas semantisk rankning. Den här funktionen använder djupinlärningsmodeller som har anpassats från Microsoft Bing som främjar de mest semantiskt relevanta resultaten. Läs följande för att se Hur semantisk ranker fungerar.

Sökvägledning

Överväg följande allmänna vägledning när du implementerar din söklösning:

• Rubrik, sammanfattning, källa och råinnehåll (rensas inte) är bra fält att returnera från en sökning.
• Ta reda på i förväg om en fråga måste delas upp i underfrågor.
• I allmänhet är det bra att köra frågor på flera fält, både vektor- och textfrågor. När du får en fråga vet du inte om vektorsökning eller textsökning är bättre. Du vet inte heller vilka fält vektorsökningen eller nyckelordssökningen är bäst att söka i. Du kan söka i flera fält, eventuellt med flera frågor, ändra rangordning på resultaten och returnera resultaten med de högsta poängen.
• Nyckelord och entitetsfält är bra kandidater att överväga att filtrera på.
• Det är en bra idé att använda nyckelord tillsammans med vektorsökningar. Nyckelorden filtrerar resultatet till en mindre delmängd. Vektorlagret arbetar mot den delmängden för att hitta de bästa matchningarna.

Sökutvärdering

I förberedelsefasen bör du ha samlat in testfrågor tillsammans med testdokumentinformation. Du kan använda följande information som du samlade in i den fasen för att utvärdera sökresultaten:

• Frågan – exempelfrågan
• Kontexten – samlingen av all text i testdokumenten som hanterar exempelfrågan

Följande är tre väletablerade metoder för hämtningsutvärdering som du kan använda för att utvärdera din söklösning:

• Precision vid K – Procentandelen korrekt identifierade relevanta objekt av det totala sökresultatet. Det här måttet fokuserar på noggrannheten i sökresultaten.
• Recall at K – Recall at K mäter procentandelen relevanta objekt i topp K av de totala möjliga relativa objekten. Det här måttet fokuserar på sökresultattäckning.
• Genomsnittlig reciprocal rankning (MRR) – MRR mäter medelvärdet av de ömsesidiga rangordningarna för det första relevanta svaret i dina rankade sökresultat. Det här måttet fokuserar på var det första relevanta resultatet inträffar i sökresultaten.

Du bör testa både positiva och negativa exempel. För de positiva exemplen vill du att måtten ska vara så nära 1 som möjligt. För de negativa exemplen, där dina data inte ska kunna hantera frågorna, vill du att måtten ska vara så nära 0 som möjligt. Du bör testa alla dina testfrågor och medelvärdet av de positiva frågeresultaten och de negativa frågeresultaten för att förstå hur sökresultaten presterar aggregerat.

Nästa steg

Relaterade resurser

• Snabbstart: Chatta med Azure OpenAI-modeller med dina egna data
• Hybridsökning med hjälp av vektorer och fulltext i Azure AI Search