Přidání sémantického řazení do dotazů ve službě Azure AI Search

Sémantické řazení můžete použít u textových dotazů, hybridních dotazů a vektorových dotazů, pokud vaše hledané dokumenty obsahují řetězcová pole a vektorový dotaz má v vyhledávacím dokumentu textovou reprezentaci .

Tento článek vysvětluje, jak vyvolat sémantický ranker u dotazů.

Požadavky

• Vyhledávací služba, úroveň Basic nebo vyšší s povoleným sémantickým rankerem.

• Existující index vyhledávání s sémantickou konfigurací a obsahem ve formátu RTF.

• Pokud potřebujete úvod k této funkci, projděte si sémantické hodnocení .

Poznámka:

Titulky a odpovědi se extrahují doslovně z textu ve vyhledávacím dokumentu. Sémantický subsystém používá strojové čtení k rozpoznávání obsahu, který má charakteristiky titulku nebo odpovědi, ale nevytváí nové věty nebo fráze. Z tohoto důvodu je nejvhodnější obsah, který obsahuje vysvětlení nebo definice pro sémantické řazení. Pokud chcete komunikovat ve stylu chatu s vygenerovanými odpověďmi, přečtěte si téma Načítání rozšířené generace (RAG).

Volba klienta

K vytvoření dotazu, který používá sémantické řazení, můžete použít kterýkoli z následujících nástrojů a sad SDK:

• Azure Portal s použitím návrháře indexu přidejte sémantickou konfiguraci.
• Visual Studio Code s klientem REST
• Azure SDK pro .NET
• Azure SDK pro Python
• Azure SDK pro Javu
• Azure SDK pro JavaScript

Vyhněte se funkcím, které obcházejí vyhodnocování relevance

Několik možností dotazů obchází vyhodnocování relevance, což z nich dělá nekompatibilní sémantické hodnocení. Pokud logika dotazu obsahuje následující funkce, nemůžete výsledky seřadit sémanticky:

• Dotaz s nebo prázdným vyhledávacím řetězcem search=* , jako je čistý dotaz jen pro filtr, nebude fungovat, protože neexistuje nic k měření sémantické relevance, a proto skóre hledání je nula. Dotaz musí obsahovat termíny nebo fráze, které je možné vyhodnotit během zpracování.

• Řazení (klauzule orderBy) u konkrétních polí přepíše skóre hledání a sémantické skóre. Vzhledem k tomu, že sémantické skóre má poskytnout pořadí, přidání klauzule orderby má za následek chybu HTTP 400, pokud použijete sémantické řazení u seřazených výsledků.

Nastavení dotazu

V tomto kroku přidejte do požadavku dotazu parametry. Aby byl dotaz úspěšný, měl by být fulltextové vyhledávání (pomocí parametru search pro předání řetězce) nebo vektorového dotazu a index by měl obsahovat textová pole s bohatým sémantickým obsahem a sémantickou konfigurací.

Azure Portal

Průzkumník služby Search obsahuje možnosti pro sémantické řazení.

1. Přihlaste se k portálu Azure.

2. Otevřete vyhledávací index a vyberte Průzkumníka služby Search.

3. Vyberte možnosti dotazu. Pokud jste už definovali sémantickou konfiguraci, je ve výchozím nastavení vybraná. Pokud ho nemáte, vytvořte pro svůj index sémantickou konfiguraci .

   

4. Zadejte dotaz, například "historický hotel s dobrým jídlem", a vyberte Hledat.

5. Alternativně vyberte zobrazení JSON a vložte definice do editoru dotazů:

   

   Tady je nějaký text JSON, který můžete vložit do zobrazení:

    {
        "queryType": "semantic",
        "search": "historic hotel with good food",
        "semanticConfiguration": "my-semantic-config",
        "answers": "extractive|count-3",
        "captions": "extractive|highlight-true",
        "highlightPreTag": "<strong>",
        "highlightPostTag": "</strong>",
        "select": "HotelId,HotelName,Description,Category",
        "count": true
    }
   

REST API

K formulaci požadavku použijte vyhledávací dokumenty .

Odpověď obsahuje @search.rerankerScore automaticky. Pokud chcete v odpovědi titulky nebo odpovědi, přidejte do žádosti titulky a odpovědi.

Následující příklad v této části používá index hotels-sample-index k předvedení sémantického hodnocení sémantických odpovědí a titulků.

1. Vložte následující požadavek do webového klienta jako šablonu. Nahraďte název služby a název indexu platnými hodnotami.

   POST https://[service name].search.windows.net/indexes/hotels-sample-index/docs/search?api-version=2024-07-01      
   {
       "queryType": "semantic",
       "search": "newer hotel near the water with a great restaurant",
       "semanticConfiguration": "my-semantic-config",
       "answers": "extractive|count-3",
       "captions": "extractive|highlight-true",
       "highlightPreTag": "<strong>",
       "highlightPostTag": "</strong>",
       "select": "HotelId,HotelName,Description,Category",
       "count": true
   }
   

2. Nastavte "queryType" na "sémantic".

3. Nastavte "search" na fulltextový vyhledávací dotaz. Hledaný řetězec může podporovat jednoduchou syntaxi nebo úplnou syntaxi Lucene. Sémantické řazení je rozšíření fulltextového vyhledávání, takže i když není potřeba hledat, nebudete dostávat očekávaný výsledek, pokud se jedná o prázdné hledání ("search": "*").

4. Nastavte sémanticConfiguration na předdefinovanou sémantickou konfiguraci , která je vložená do indexu.

5. Nastavte "odpovědi" a určete, jestli jsou do výsledku zahrnuty sémantické odpovědi . V současné době je jedinou platnou hodnotou tohoto parametru extractive. Odpovědi je možné nakonfigurovat tak, aby vracely maximálně 10. Výchozí hodnota je jedna. Tento příklad ukazuje počet tří odpovědí: extractive|count-3.

   U každého požadavku nejsou zaručeny odpovědi. Pokud chcete získat odpověď, musí dotaz vypadat jako otázka a obsah musí obsahovat text, který vypadá jako odpověď.

6. Nastavte "titulky" a určete, jestli jsou ve výsledku zahrnuté sémantické titulky. V současné době je jedinou platnou hodnotou tohoto parametru extractive. Titulky je možné nakonfigurovat tak, aby vracely výsledky se zvýrazněnými nebo bez nich. Výchozí hodnota je pro vrácení zvýraznění. Tento příklad vrátí titulky bez zvýraznění: extractive|highlight-false.

   Základem titulků a odpovědí jsou pole odkazovaná v sémantické konfiguraci. Tato pole jsou pod kombinovaným limitem v rozsahu 2 000 tokenů nebo přibližně 20 000 znaků. Pokud předpokládáte, že počet tokenů překročí tento limit, zvažte krok dělení dat pomocí dovednosti Rozdělení textu. Tento přístup představuje závislost na kanálu rozšiřování AI a indexerech.

7. Pokud chcete přepsat výchozí formátování zvýraznění použité u titulků, nastavte "highlightPreTag" a "highlightPostTag".

   Titulky používají formátování zvýraznění u klíčových pasáží v dokumentu, které shrnují odpověď. Výchozí hodnota je <em>. Pokud chcete zadat typ formátování (například žluté pozadí), můžete nastavit zvýrazněníPreTag a zvýrazněníPostTag.

8. Nastavte "select" a určete, která pole se vrátí v odpovědi, a "count" pro vrácení počtu shod v indexu. Tyto parametry zlepšují kvalitu požadavku a čitelnosti odpovědi.

9. Odešlete žádost o provedení dotazu a vrátí výsledky.

.NET SDK

K vyvolání sémantického rankeru v sémantickém dotazu použijte QueryType nebo SémanticQuery. Následující příklad je od týmu sady Azure SDK.

SearchResults<Hotel> response = await searchClient.SearchAsync<Hotel>(
    "Is there any hotel located on the main commercial artery of the city in the heart of New York?",
    new SearchOptions
    {
        SemanticSearch = new()
        {
            SemanticConfigurationName = "my-semantic-config",
            QueryCaption = new(QueryCaptionType.Extractive),
            QueryAnswer = new(QueryAnswerType.Extractive)
        },
        QueryLanguage = QueryLanguage.EnUs,
        QueryType = SearchQueryType.Semantic
    });

int count = 0;
Console.WriteLine($"Semantic Search Results:");

Console.WriteLine($"\nQuery Answer:");
foreach (QueryAnswerResult result in response.SemanticSearch.Answers)
{
    Console.WriteLine($"Answer Highlights: {result.Highlights}");
    Console.WriteLine($"Answer Text: {result.Text}");
}

await foreach (SearchResult<Hotel> result in response.GetResultsAsync())
{
    count++;
    Hotel doc = result.Document;
    Console.WriteLine($"{doc.HotelId}: {doc.HotelName}");

    if (result.SemanticSearch.Captions != null)
    {
        var caption = result.SemanticSearch.Captions.FirstOrDefault();
        if (caption.Highlights != null && caption.Highlights != "")
        {
            Console.WriteLine($"Caption Highlights: {caption.Highlights}");
        }
        else
        {
            Console.WriteLine($"Caption Text: {caption.Text}");
        }
    }
}
Console.WriteLine($"Total number of search results:{count}");

Vyhodnocení odpovědi

Pouze prvních 50 shod z počátečních výsledků může být sémanticky seřazeno. Stejně jako u všechdotazůch select Odpověď zahrnuje původní skóre relevance a může také obsahovat počet nebo dávkové výsledky v závislosti na tom, jak jste žádost formulovali.

V sémantickém řazení má odpověď více prvků: nové sémanticky seřazené skóre relevance, volitelný titulek ve formátu prostého textu a zvýraznění a volitelná odpověď. Pokud vaše výsledky neobsahují tyto nadbytečné prvky, může být váš dotaz nesprávně nakonfigurovaný. Jako první krok k řešení potíží zkontrolujte sémantickou konfiguraci a ujistěte se, že je zadaná v definici indexu i dotazu.

V klientské aplikaci můžete vytvořit strukturu vyhledávací stránky tak, aby obsahovala titulek jako popis shody, a ne celý obsah konkrétního pole. Tento přístup je užitečný, když jsou jednotlivá pole pro stránku výsledků hledání příliš hustá.

Odpověď pro výše uvedený příklad dotazu vrátí následující shodu jako horní výběr. Titulky se vrátí, protože je nastavena vlastnost titulky s prostým textem a zvýrazněnými verzemi. Odpovědi jsou z příkladu vynechány, protože nebylo možné určit pro tento konkrétní dotaz a korpus.

"@odata.count": 35,
"@search.answers": [],
"value": [
    {
        "@search.score": 1.8810667,
        "@search.rerankerScore": 1.1446577133610845,
        "@search.captions": [
            {
                "text": "Oceanside Resort. Luxury. New Luxury Hotel. Be the first to stay. Bay views from every room, location near the pier, rooftop pool, waterfront dining & more.",
                "highlights": "<strong>Oceanside Resort.</strong> Luxury. New Luxury Hotel. Be the first to stay.<strong> Bay</strong> views from every room, location near the pier, rooftop pool, waterfront dining & more."
            }
        ],
        "HotelName": "Oceanside Resort",
        "Description": "New Luxury Hotel. Be the first to stay. Bay views from every room, location near the pier, rooftop pool, waterfront dining & more.",
        "Category": "Luxury"
    },
  ...
]

Očekávané úlohy

Pro sémantické řazení byste měli očekávat, že vyhledávací služba bude podporovat až 10 souběžných dotazů na repliku.

Služba omezuje sémantické požadavky na řazení, pokud jsou svazky příliš vysoké. Chybová zpráva, která obsahuje tyto fráze, značí, že služba má kapacitu pro sémantické řazení:

Error in search query: Operation returned an invalid status 'Partial Content'`
@search.semanticPartialResponseReason`
CapacityOverloaded

Pokud očekáváte konzistentní požadavky na propustnost blízko této úrovně nebo vyšší než tato úroveň, vytvořte lístek podpory, abychom pro vaši úlohu mohli zřídit.

Další kroky

Sémantické řazení lze použít v hybridních dotazech, které kombinují vyhledávání klíčových slov a vektorové vyhledávání do jednoho požadavku a jednotné odpovědi.

Hybridní dotaz sémantickým rankerem