Skóre spolehlivosti odpovědi
Když se uživatelský dotaz porovná s znalostní báze, služba QnA Maker vrátí relevantní odpovědi spolu se skóre spolehlivosti. Toto skóre označuje jistotu, že odpověď odpovídá správné shodě pro daný uživatelský dotaz.
Skóre spolehlivosti je číslo mezi 0 a 100. Skóre 100 je pravděpodobně přesná shoda, zatímco skóre 0 znamená, že nebyla nalezena žádná odpovídající odpověď. Čím vyšší je skóre, tím větší je spolehlivost odpovědi. U daného dotazu může být vráceno více odpovědí. V takovém případě se odpovědi vrátí v pořadí snížení skóre spolehlivosti.
V následujícím příkladu vidíte jednu entitu QnA se 2 otázkami.
U výše uvedeného příkladu můžete očekávat skóre, jako je rozsah ukázkových skóre níže– pro různé typy uživatelských dotazů:
Následující tabulka označuje typickou spolehlivost přidruženou k danému skóre.
| Hodnota skóre | Význam skóre | Příklad dotazu |
|---|---|---|
| 90 - 100 | Téměř přesná shoda uživatelského dotazu a otázky znalostní báze | Po publikování se moje změny neaktualizují v znalostní bázi. |
| > 70 | Vysoká spolehlivost – obvykle dobrá odpověď, která zcela odpovídá na dotaz uživatele | "Publikoval(a) jsem znalostní bázi, ale neaktualizovala se" |
| 50 - 70 | Střední spolehlivost – obvykle dobrá odpověď, která by měla odpovídat na hlavní záměr dotazu uživatele | "Mám před publikováním znalostní báze uložit aktualizace?" |
| 30 - 50 | Nízká spolehlivost – obvykle související odpověď, která částečně odpovídá záměru uživatele | "Co dělá ukládání a trén?" |
| < 30 | Velmi nízká spolehlivost – obvykle neodpovídá na dotaz uživatele, ale obsahuje pár odpovídajících slov nebo frází. | "Kde můžu přidat synonyma do znalostní báze" |
| 0 | Žádná shoda, takže odpověď se nevrátí. | "Kolik stojí služba" |
Volba prahové hodnoty skóre
Výše uvedená tabulka zobrazuje skóre, která se očekávají u většiny kb. Vzhledem k tomu, že se každá znalostní báze liší a má různé typy slov, záměrů a cílů, doporučujeme testovat a zvolit prahovou hodnotu, která vám nejlépe vyhovuje. Ve výchozím nastavení je prahová hodnota nastavená na hodnotu 0, aby se vrátily všechny možné odpovědi. Doporučená prahová hodnota, která by měla fungovat pro většinu kb, je 50.
Při výběru prahové hodnoty mějte na paměti rovnováhu mezi přesností a pokrytím a upravte prahovou hodnotu na základě vašich požadavků.
Pokud je pro váš scénář důležitější přesnost (nebo přesnost), zvyšte prahovou hodnotu. Tímto způsobem, pokaždé, když vrátíte odpověď, bude to mnohem větší jistota případ a mnohem větší pravděpodobnost, že budou uživatelé odpovědí, které hledají. V takovém případě můžete nechat další otázky nezodpovězené. Například: Pokud nastavíte prahovou hodnotu 70, můžete vynechat některé nejednoznačné příklady jako "co je uložit a trénovat?".
Pokud je pokrytí (nebo odvolání) důležitější – a chcete odpovědět na co nejvíce otázek, i když existuje jenom částečný vztah k otázce uživatele – pak prahovou hodnotu snižte. To znamená, že může existovat více případů, kdy odpověď neodpoví na skutečný dotaz uživatele, ale poskytne jinou poněkud související odpověď. Například: Pokud nastavíte prahovou hodnotu 30, můžete zadat odpovědi na dotazy, jako je "Kde můžu upravit znalostní bázi?".
Poznámka:
Novější verze služby QnA Maker zahrnují vylepšení logiky vyhodnocování a můžou ovlivnit vaši prahovou hodnotu. Kdykoli službu aktualizujete, nezapomeňte v případě potřeby otestovat a upravit prahovou hodnotu. Tady můžete zkontrolovat verzi služby QnA a zjistit, jak tady získat nejnovější aktualizace.
Nastavit prahovou hodnotu
Nastavte prahové skóre jako vlastnost textu JSON rozhraní GenerateAnswer API. To znamená, že jste ho nastavili pro každé volání GenerateAnswer.
V rámci architektury robota nastavte skóre jako součást objektu možností pomocí jazyka C# nebo Node.js.
Zlepšení skóre spolehlivosti
Pokud chcete zlepšit skóre spolehlivosti konkrétní odpovědi na uživatelský dotaz, můžete dotaz uživatele přidat do znalostní báze jako alternativní otázku v této odpovědi. Změny slov bez rozlišování malých a velkých písmen můžete také použít k přidání synonym do klíčových slov ve znalostní bázi.
Podobné skóre spolehlivosti
Pokud má více odpovědí podobné skóre spolehlivosti, je pravděpodobné, že dotaz byl příliš obecný, a proto se shodoval se stejnou pravděpodobností s více odpověďmi. Snažte se strukturovat své otázky lépe tak, aby každá entita QnA měl odlišný záměr.
Rozdíly mezi skóre spolehlivosti mezi testem a produkčním prostředím
Skóre spolehlivosti se může mezi testovací a publikovanou verzí znalostní báze nepatrně lišit, i když je obsah stejný. Důvodem je to, že obsah testu a publikované znalostní báze se nacházejí v různých indexech Azure AI Search.
Testovací index obsahuje všechny páry QnA vašich znalostní báze. Při dotazování na testovací index se dotaz vztahuje na celý index, výsledky jsou omezeny na oddíl pro konkrétní znalostní báze. Pokud výsledky testovacího dotazu negativně ovlivňují vaši schopnost ověřit znalostní báze, můžete:
- uspořádejte znalostní báze jedním z následujících způsobů:
- 1 prostředek omezený na 1 kB: Omezte jeden prostředek QnA (a výsledný testovací index služby Azure AI Search) na jeden znalostní báze.
- 2 prostředky – 1 pro testování, 1 pro produkční prostředí: mají dva prostředky služby QnA Maker, jeden pro testování (s vlastními testovacími a produkčními indexy) a jeden pro produkt (má také vlastní testovací a produkční indexy).
- a vždy používejte stejné parametry, jako je například top při dotazování testovacího i produkčního znalostní báze
Při publikování znalostní báze se obsah otázky a odpovědi znalostní báze přesune z testovacího indexu do produkčního indexu ve službě Azure Search. Podívejte se, jak funguje operace publikování .
Pokud máte znalostní báze v různých oblastech, každá oblast používá vlastní index Azure AI Search. Vzhledem k tomu, že se používají různé indexy, nebudou skóre úplně stejné.
Nebyla nalezena žádná shoda.
Pokud ranker nenajde žádnou dobrou shodu, vrátí se skóre spolehlivosti 0,0 nebo None a výchozí odpověď není nalezena v kB. Tuto výchozí odpověď můžete přepsat v robotovi nebo kódu aplikace volajícím koncový bod. Alternativně můžete také nastavit odpověď přepsání v Azure a tím se změní výchozí nastavení pro všechny znalostní báze nasazené v konkrétní službě služby QnA Maker.