Testování znalostní báze ve službě QnA Maker

  • Článek

Testování znalostní báze služby QnA Maker je důležitou součástí iterativního procesu, aby se zlepšila přesnost vrácených odpovědí. Znalostní báze můžete otestovat prostřednictvím vylepšeného rozhraní chatu, které vám také umožní provádět úpravy.

Poznámka:

Služba QnA Maker se vyřadí z provozu 31. března 2025. Novější verze funkce pro otázky a odpovědi je teď dostupná jako součást jazyka Azure AI. Možnosti odpovídání na otázky v rámci služby Language Service najdete v tématu odpovědi na otázky. Od 1. října 2022 nebudete moct vytvářet nové prostředky služby QnA Maker. Informace o migraci stávajících znalostní báze služby QnA Maker na zodpovězení otázek najdete v průvodci migrací.

Interaktivní testování na portálu QnA Maker

  1. K znalostní báze se dostanete tak, že na stránce Moje znalostní báze s vyberete jeho název.
  2. Pokud chcete získat přístup k panelu testovacího vysouvacího panelu, vyberte v horním panelu aplikace možnost Test .
  3. Do textového pole zadejte dotaz a vyberte Enter.
  4. Jako odpověď se vrátí nejvhodnější odpověď z znalostní báze.

Vymazat testovací panel

Pokud chcete vymazat všechny zadané testovací dotazy a jejich výsledky z testovací konzoly, vyberte Začít znovu v levém horním rohu testovacího panelu.

Zavřít testovací panel

Panel Test zavřete tak, že znovu vyberete tlačítko Test . Při otevření panelu Test nelze upravovat obsah znalostní báze.

Kontrola skóre

Podrobnosti o výsledku testu zkontrolujete na panelu Kontrola.

  1. Po otevření panelu Testovací vysunutí vyberte Zkontrolovat další podrobnosti o této odpovědi.

    Inspect responses

  2. Zobrazí se panel Kontrola. Panel obsahuje záměr s nejvyšším skóre a také všechny identifikované entity. Na panelu se zobrazí výsledek vybrané promluvy.

Oprava odpovědi s nejvyšším skóre

Pokud je odpověď s nejvyšším skóre nesprávná, vyberte v seznamu správnou odpověď a vyberte Uložit a trénovat.

Correct the top scoring answer

Přidání alternativních otázek

K dané odpovědi můžete přidat alternativní formy otázky. Do textového pole zadejte alternativní odpovědi a výběrem klávesy Enter je přidejte. Výběrem možnosti Uložit a Trénovat uložte aktualizace.

Add alternate questions

Přidání nové odpovědi

Novou odpověď můžete přidat, pokud některé z existujících odpovědí, které byly nalezeny, nesprávné nebo odpověď v znalostní báze neexistuje (žádná dobrá shoda nebyla nalezena v znalostní bázi).

V dolní části seznamu odpovědí zadejte novou odpověď pomocí textového pole a stisknutím klávesy Enter ji přidejte.

Chcete-li zachovat tuto odpověď, vyberte Uložit a trénovat . Do vašeho znalostní báze se teď přidal nový pár odpovědí na otázku.

Poznámka:

Všechny úpravy znalostní báze se uloží jenom po stisknutí tlačítka Uložit a trénovat.

Otestování publikovaného znalostní báze

Publikovanou verzi znalostní báze můžete otestovat v podokně testování. Po publikování znalostní báze vyberte pole Publikované znalostní báze a odešlete dotaz, který získá výsledky z publikované znalostní báze.

Test against a published KB

Dávkové testování pomocí nástroje

Nástroj dávkového testování použijte, pokud chcete:

  • určení nejlepší odpovědi a skóre sady otázek
  • ověření očekávané odpovědi pro sadu otázek

Předpoklady

  • Předplatné Azure – vytvoření bezplatného předplatného
  • Vytvořte službu QnA Maker nebo použijte existující službu, která používá anglický jazyk.
  • Stažení ukázkového .docx souboru s vícenásobným otáčením
  • Stáhněte nástroj pro dávkové testování a extrahujte z souboru .zip spustitelný soubor.

Přihlášení k portálu služby QnA Maker

Přihlaste se k portálu služby QnA Maker.

Vytvoření nového znalostní báze ze souboru sample.docx s více turny

  1. Na panelu nástrojů vyberte Vytvořit znalostní báze.

  2. Přeskočte krok 1 , protože už byste měli mít prostředek služby QnA Maker a přejděte ke kroku 2 a vyberte stávající informace o prostředku:

    • Microsoft Entra ID
    • Název předplatného Azure
    • Název služby Azure QnA
    • Jazyk – angličtina

  3. Jako název znalostní báze zadejte názevMulti-turn batch test quickstart.

  4. V kroku 4 nakonfigurujte nastavení s následující tabulkou:

    Nastavení Hodnota
    Povolte extrahování z adres URL, souborů .pdf nebo .docx s více servery. Zkontrolováno
    Výchozí text odpovědi Batch test - default answer not found.
    + Přidat soubor Vyberte stažený .docx soubor, který je uveden v požadavcích.
    Povídání Vybrat profesionály

  5. V kroku 5 vyberte Vytvořit znalostní bázi.

    Po dokončení procesu vytváření se na portálu zobrazí upravitelná znalostní báze.

Ukládání, trénování a publikování znalostní báze

  1. Výběrem možnosti Uložit a trénovat na panelu nástrojů uložte znalostní báze.

  2. Na panelu nástrojů vyberte Publikovat a pak znovu vyberte Publikovat a publikujte znalostní báze. Publikování zpřístupní znalostní báze pro dotazy z koncového bodu veřejné adresy URL. Po dokončení publikování uložte adresu URL hostitele a informace o klíči koncového bodu zobrazené na stránce Publikovat .

    Požadovaná data Příklad
    Publikovaný hostitel https://YOUR-RESOURCE-NAME.azurewebsites.net
    Publikovaný klíč XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX (32mísícový řetězec zobrazený za Endpoint )
    ID aplikace xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx (36mísícový řetězec zobrazený jako součást POST)

Vytvoření dávkového testovacího souboru s ID otázek

Pokud chcete použít nástroj dávkového testování, vytvořte soubor s názvem batch-test-data-1.tsv v textovém editoru. Soubor by měl být ve formátu UTF-8 a musí mít následující sloupce oddělené tabulátorem.

Pole vstupního souboru TSV Notes Příklad
ID znalostní báze Vaše ID znalostní báze nalezené na stránce Publikovat. Otestujte několik znalostní báze ve stejné službě najednou v jednom souboru pomocí různých ID znalostní báze v jednom souboru. xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx (36mísícový řetězec zobrazený jako součást POST)
Otázka Text otázky, který uživatel zadá. Maximálně 1 000 znaků How do I sign out?
Značky metadat optional topic:powerpoužívá formát.key:value
Horní parametr optional 25
Očekávané ID odpovědi optional 13

Pro tento znalostní báze přidejte do souboru tři řádky pouze dvou požadovaných sloupců. První sloupec je ID znalostní báze a druhý sloupec by měl být v následujícím seznamu otázek:

Sloupec 2 – otázky
Use Windows Hello to sign in
Charge your Surface Pro 4
Get to know Windows 10

Tyto otázky jsou přesné znění z znalostní báze a měly by vrátit 100 jako skóre spolehlivosti.

Dále přidejte několik otázek, podobně jako tyto otázky, ale ne úplně stejné na třech dalších řádcích, pomocí stejného ID znalostní báze:

Sloupec 2 – otázky
What is Windows Hello?
How do I charge the laptop?
What features are in Windows 10?

Upozornění

Ujistěte se, že každý sloupec je oddělený pouze oddělovačem tabulátoru. Do dat sloupce se přidají úvodní nebo koncové mezery a program vyvolá výjimky, pokud je typ nebo velikost nesprávná.

Dávkový testovací soubor při otevření v Excelu vypadá jako na následujícím obrázku. ID znalostní báze bylo nahrazeno zabezpečenímxxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx. U vlastního dávkového testu se ujistěte, že sloupec zobrazuje id znalostní báze.

Input first version of .tsv file from batch test

Otestování dávkového souboru

Spusťte program dávkového testování pomocí následujícího formátu rozhraní příkazového řádku na příkazovém řádku.

Nahraďte YOUR-RESOURCE-NAME a ENDPOINT-KEY nahraďte vlastními hodnotami pro název služby a klíč koncového bodu. Tyto hodnoty najdete na stránce Nastavení na portálu služby QnA Maker.

batchtesting.exe batch-test-data-1.tsv https://YOUR-RESOURCE-NAME.azurewebsites.net ENDPOINT-KEY out.tsv

Test se dokončí a vygeneruje out.tsv soubor:

Output first version of .tsv file from batch test

ID znalostní báze bylo nahrazeno zabezpečenímxxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx. Ve vašem vlastním dávkovém testu se ve sloupci zobrazí ID znalostní báze.

Výsledek testu skóre spolehlivosti ve čtvrtém sloupci ukazuje první tři otázky, které vrátily skóre 100 podle očekávání, protože každá otázka je úplně stejná jako v znalostní báze. Poslední tři otázky s novým zněním otázky nevrací hodnotu 100 jako skóre spolehlivosti. Pokud chcete zvýšit skóre testu i uživatelů, musíte do znalostní báze přidat další alternativní otázky.

Testování s volitelnými poli

Jakmile pochopíte formát a proces, můžete vygenerovat testovací soubor, který se spustí proti znalostní báze ze zdroje dat, jako jsou protokoly chatů.

Vzhledem k tomu, že zdroj a proces dat jsou automatizované, může být testovací soubor spuštěn mnohokrát s různými nastaveními, aby bylo možné určit správné hodnoty.

Pokud máte například protokol chatu a chcete určit, který text protokolu chatu se vztahuje na pole metadat, vytvořte testovací soubor a nastavte pole metadat pro každý řádek. Spusťte test a zkontrolujte řádky, které odpovídají metadatem. Obecně platí, že shody by měly být pozitivní, ale měli byste zkontrolovat výsledky falešně pozitivních výsledků. Falešně pozitivní je řádek, který odpovídá metadatem, ale na základě textu by se neměl shodovat.

Použití volitelných polí ve vstupním dávkovém testovacím souboru

Následující graf vám umožní pochopit, jak najít hodnoty polí pro volitelná data.

Column number Volitelný sloupec Umístění dat
3 metadata Export existujících znalostní báze pro existující key:value páry
4 top Doporučuje se výchozí hodnota 25 .
5 ID sady otázek a odpovědí Export existujících znalostní báze pro hodnoty ID Všimněte si také, že ID se vrátila ve výstupním souboru.

Přidání metadat do znalostní báze

  1. Na portálu QnA na stránce Upravit přidejte metadata topic:power k následujícím otázkám:

    Otázky
    Nabíjení zařízení Surface Pro 4
    Kontrola úrovně baterie

    Dvě páry QnA mají nastavenou metadata.

    Tip

    Pokud chcete zobrazit metadata a ID QnA každé sady, exportujte znalostní báze. Vyberte stránku Nastavení a pak vyberte Exportovat jako .xls soubor. Najděte tento stažený soubor a otevřete ho v Excelu a zkontrolujte metadata a ID.

  2. Vyberte Uložit a trénovat, pak vyberte stránku Publikovat a pak vyberte tlačítko Publikovat . Tyto akce zpřístupní změnu dávkovému testu. Stáhněte znalostní báze ze stránky Nastavení.

    Stažený soubor má správný formát pro metadata a správné ID sady otázek a odpovědí. Použití těchto polí v další části

    Exported knowledge base with metadata

Vytvoření druhého dávkového testu

Pro dávkové testování existují dva hlavní scénáře:

  • Zpracování souborů protokolu chatu – Určení hlavní odpovědi na dříve nezobrazený dotaz – nejčastější situace je, když potřebujete zpracovat soubor protokolů dotazů, jako jsou uživatelské otázky chatovacího robota. Vytvořte dávkový test souborů s pouze požadovanými sloupci. Test vrátí nejlepší odpověď pro každou otázku. To neznamená, že nejvyšší odpovědí je správná odpověď. Po dokončení tohoto testu přejděte k ověřovacímu testu.
  • Ověřovací test – Ověřte očekávanou odpověď. Tento test vyžaduje, aby byly ověřeny všechny otázky a odpovídající očekávané odpovědi v dávkovém testu. To může vyžadovat nějaký ruční proces.

Následující postup předpokládá, že scénářem je zpracování protokolů chatu s využitím

  1. Vytvořte nový dávkový testovací soubor, který bude obsahovat volitelná data. batch-test-data-2.tsv Přidejte šest řádků z původního vstupního souboru dávkového testu a pak přidejte metadata, nahoře a ID páru QnA pro každý řádek.

    Chcete-li simulovat automatizovaný proces kontroly nového textu z protokolů chatu proti znalostní báze, nastavte metadata pro každý sloupec na stejnou hodnotu: topic:power.

    Input second version of .tsv file from batch test

  2. Spusťte test znovu a změňte názvy vstupních a výstupních souborů tak, aby indikovala, že se jedná o druhý test.

    Output second version of .tsv file from batch test

Výsledky testů a automatizovaný testovací systém

Tento výstupní soubor testu je možné analyzovat jako součást automatizovaného kanálu průběžného testování.

Tento konkrétní testovací výstup by se měl číst jako: každý řádek byl filtrován s metadaty a protože každý řádek neodpovídá metadatám v znalostní báze, výchozí odpověď pro ty, které se nevracely odpovídající řádky ("žádná dobrá shoda nebyla nalezena v kB"). Z těchto řádků, které se shodovaly, se vrátilo ID a skóre QnA.

Všechny řádky vrátily popisek nesprávné, protože žádný řádek neodpovídá očekávanému ID odpovědi.

S těmito výsledky byste měli být schopni vidět, že můžete použít protokol chatu a použít text jako dotaz na každý řádek. Aniž byste věděli něco o datech, výsledky vám hodně říkají o datech, která pak můžete použít vpřed:

  • meta-data
  • QnA ID
  • score

Bylo filtrování s meta-daty dobrý nápad pro test? Ano i ne. Testovací systém by měl vytvořit testovací soubory pro každý pár meta-dat a také test bez párů meta-dat.

Vyčištění prostředků

Pokud nebudete pokračovat v testování znalostní báze, odstraňte nástroj pro dávkové soubory a testovací soubory.

Pokud tento znalostní báze nebudete dál používat, odstraňte znalostní báze následujícím postupem:

  1. Na portálu služby QnA Maker vyberte v horní nabídce moje znalostní báze .
  2. V seznamu znalostní báze vyberte na řádku znalostní báze tohoto rychlého startu ikonu Odstranit.

Referenční dokumentace k nástroji zahrnuje:

  • příklad příkazového řádku nástroje
  • formát pro vstupní a výstupní soubory TSV

Další kroky

Publikování znalostní báze