Testování a monitorování agenta Genie

Otestujte agenta Genie s otázkami z reálného světa, projděte si vygenerované sql a vizualizace, upravte odpovědi, když Genie něco není v pořádku, a sledujte využití agenta a zpětnou vazbu uživatelů, abyste mohli agenta udržovat přesnou při vývoji dat a otázek. Pomocí srovnávacích testů můžete určit skóre přesnosti odpovědi ve velkém měřítku.

Note

Agenti Genie byli dříve označováni jako Genie Spaces.

Otestujte agenta Genie

Většina interakcí uživatelů probíhá v okně chatu. Nejlepším způsobem, jak zjistit, jestli váš agent pracuje tak, jak chcete, je otestovat ho realistickými dotazy, které očekáváte, že se vaši firemní uživatelé budou ptát.

Ukázkové otázky nakonfigurované v nastavení agenta se zobrazí v okně chatu. Genie může také generovat ukázkové otázky na základě kontextu agenta, aby uživatelé mohli začít zkoumat data. Uživatelé můžou kliknout na ukázkovou otázku nebo zadat vlastní otázky do textového pole v dolní části obrazovky.

Odpovědi se zobrazí nad textovým polem. Když uživatel zadá otázku, uloží se do historie chatu.

Zahájení nové konverzace:

1. Kliknutím na Nový chat zahájíte nový chat. Kliknutím na otevřete předchozí konverzaci.
2. Zadejte otázku do pole Položte otázku... pole pro zadávání textu.

Kontrola odpovědí

Odpovědi se obvykle doručují jako odpovědi na otázky v přirozeném jazyce a tabulka zobrazující příslušnou sadu výsledků. Když Genie zjistí, že vizualizace může zlepšit srozumitelnost odpovědí, vrátí také vizualizaci. Přesná struktura odpovědí se liší v závislosti na otázce. Pokud byl dotaz SQL vygenerován pro odpověď na otázku, je součástí odpovědi.

Note

Stejně jako jiné velké jazykové modely (LLMs) může Genie vykazovat ne deterministické chování. To znamená, že při odesílání stejné výzvy můžete občas obdržet různé výstupy. Poskytnutí ukázkových dotazů SQL, ze které se Genie může učit, může pomoct zajistit konzistentnější Genie. Viz Přidání ukázkových dotazů a funkcí SQL.

Zpětná vazba k odpovědím

Každá odpověď vyzve uživatele, aby odpověděl, jestli je tato odpověď správná? Uživatelé můžou reagovat jedním z následujících způsobů:

• Ano: Potvrdí, že odpověď je přesná.
• Opravte ho: Označí odpověď jako nesprávnou. Uživatelé si můžou vybrat z běžných problémů nebo zadat vlastní vysvětlení. Pak můžou:
  • Klikněte na Odeslat a zkuste znovu vygenerovat odpověď pomocí poskytnuté zpětné vazby.
  • Kliknutím na Odeslat odešlete zpětnou vazbu bez opětovného vygenerování odpovědi.
• Požadavek na kontrolu: Označí odpověď k ruční kontrole. Uživatelé můžou přidat volitelný komentář, který vám poskytne další kontext.

Jako editor můžete v rozhraní Genie zobrazit zpětnou vazbu a označené odpovědi. Chování agenta Genie se nemění jenom na základě zpětné vazby od uživatelů. Zpětnou vazbu byste měli použít k identifikaci příležitostí ke zlepšení nebo k přímému odpovídání na dotazy uživatelů. Databricks doporučuje uživatelům, aby pomocí tohoto mechanismu poskytli zpětnou vazbu k agentovi.

Firemní uživatelé můžou zobrazit aktualizace otázek, které si označili ke kontrole, na stránce Monitorování . Uživatelé s alespoň oprávněním „Může spravovat“ pro agenta Genie Agent mohou zkontrolovat konkrétní konverzaci, přidat komentář k požadavku a potvrdit nebo opravit odpověď. Můžou získat přístup ke zpětné vazbě a kontrolovat žádosti na stránce monitorování. Tuto zpětnou vazbu pak můžete využít k ladění odpovědí a dalšímu vylepšování agenta. Viz Monitorujte agenta.

Další akce odpovědi

U odpovědí, které zahrnují vygenerovaný SQL, vám další možnosti umožňují pracovat s vrácenými daty.

• Kopie CSV: Uživatelé agenta si můžou stáhnout až přibližně 1 GB dat s výsledky ve formátu CSV. Konečná velikost stahování souborů může být o něco větší nebo menší než 1 GB, protože limit 1 GB se použije u dřívějšího kroku, než je konečný soubor ke stažení. Pokud chcete stáhnout výsledky, klikněte v odpovědi na ikonu stahování.

• Zobrazit kód: Kliknutím na Zobrazit kód zobrazíte vygenerovaný dotaz. To může být užitečné pro řešení potíží s nespolehlivými odpověďmi. Viz Úpravy a ukládání dotazů.

• : Přístup k následujícím akcím:

  • Zkopírovat CSV: Zkopírujte soubor CSV odpovědi do schránky.
  • Přidat jako instrukce: Pro interakce, které můžou být užitečné pro výuku Genie, jak odpovědět na podobné otázky, klikněte na Přidat jako instrukce. Otevře se uživatelské rozhraní pro ukládání ukázkových dotazů SQL naplněných otázkou a vygenerovaným SQL. Příklad můžete nechat napsaný nebo upravit a uložit, abyste mohli provádět změny. Viz Přidání ukázkových dotazů a funkcí SQL.
  • Přidat jako srovnávací test: Přidejte otázku jako otázku srovnávacího testu. Viz Srovnávací testy.
  • Aktualizovat data: Aktualizujte data spuštěním dříve vygenerovaného dotazu.
  • Znovu vygenerujte odpověď: Znovu odešlete otázku a znovu vygenerujte odpověď Genie.

Úpravy a ukládání dotazů

Dotazy SQL Pro Genie je možné podle potřeby zkontrolovat a upravit. Autoři agenta Genie obvykle znají doménu a data, která jim umožňují rozpoznat, kdy Genie generuje nesprávnou odpověď. Chyby je často možné opravit malým množstvím ručního ladění, které je aplikováno na vygenerovaný dotaz SQL. Kliknutím na Zobrazit vygenerovaný kód zkontrolujete dotaz a zobrazíte vygenerovaný SQL pro jakoukoli odpověď.

Vygenerovaný příkaz SQL můžete upravit a opravit, pokud máte u agenta Genie oprávnění CAN EDIT nebo vyšší. Po provedení oprav spusťte dotaz. Pak ji můžete uložit jako pokyn naučit Genie, jak odpovědět v budoucnu. Pokud chcete upravený dotaz uložit, klikněte na Přidat jako pokyn.

Ladění odpovědí pomocí kódu Genie

Když Genie vrátí nesprávnou odpověď, pomocí Genie Code diagnostikujte problém a vylepšete kontext agenta:

1. Otevřete Kód Genie z odpovědi.
2. Popište problém a požadované chování.
3. Zkontrolujte kontextové změny, které Genie Code navrhuje, a přijměte ty, které chcete zachovat.

Tip

Řekněte Genie Code , aby to udělal za vás:

The Genie Agent is using calendar quarters instead of our fiscal calendar. Update its context to use our fiscal quarters: Q1 is February through April, Q2 is May through July, Q3 is August through October, and Q4 is November through January.

Genie Code můžete použít také k uložení sémantického kontextu z konverzace. Jakmile uživatelé zavádějí nové termíny nebo opraví chování Genieho, požádejte Genie Code, aby zachytil, co se naučil. Zkontrolujte každý návrh a přijměte kontext, který chcete přidat do agenta.

Monitorujte agenta

Agent Genie si můžete představit jako dlouhodobý nástroj pro spolupráci mezi datovými týmy a obchodními uživateli. Shromažďuje znalosti v průběhu času, nikoli jako jednorázové nasazení. Jak uživatelé kladou nové otázky, můžete agenta dále vyladit a zlepšit tak pokrytí i přesnost.

Na kartě Monitor můžete zkontrolovat jednotlivé otázky a odpovědi, zobrazit zpětnou vazbu uživatelů a identifikovat odpovědi označené ke kontrole.

Na kartě Monitor se zobrazují všechny otázky a odpovědi, které v agentu zazněly. Dotazy můžete filtrovat podle času, hodnocení, uživatele nebo stavu. Monitorováním agenta můžou uživatelé s oprávněními CAN MANAGE aktivně porozumět dotazům vyvolaným podnikovými uživateli a tomu, jak agent Genie odpověděl.

Určení otázek, s nimiž má Genie potíže, vám může pomoci aktualizovat agenta Genie pomocí konkrétních pokynů a zlepšit tak jeho odpovědi. Kliknutím na otázku otevřete text otázky a odpovědi a zobrazíte celé vlákno chatu.

Kontrola využití a trendů

Pomocí oddílu Týdenní přehled na kartě Monitorování můžete zkontrolovat týdenní objem zpráv, aktivní uživatele a zpětnou vazbu nahoru nebo dolů. Pokud chcete identifikovat hlavní trendy využití a běžné problémy, klikněte na možnost Analyzovat využití prostoru. Tím se spustí Genie Code, který kontroluje zprávy uživatelů, zpětnou vazbu a problémy z posledních sedmi dnů a podává zprávy o běžných tématech, opakovaných problémech a navrhovaných vylepšeních kontextu. Odpovědi zahrnují citace, které odkazují zpět na relevantní konverzace ve vašem agentu. Kliknutím na citaci otevřete konverzaci přímo ve vlákně Genie Code.

Kontrola kvality konverzací

Important

Tato funkce je v beta verzi. Chcete-li jej použít, správce pracovního prostoru musí na stránce Previews zapnout možnost Genie Chat Sharing. Viz Manage Azure Databricks preview.

Sdílení chatu Genie umožňuje správcům agentů zkontrolovat úplné konverzace, které mají podnikoví uživatelé s agentem Genie. Když je konverzace nastavená na kontrolovatelné správci vesmíru, můžou uživatelé s oprávněním CAN MANAGE otevřít konverzaci z karty monitorování a zkontrolovat úplnou výměnu. To vám umožní vyhodnotit kvalitu odpovědí Genie, reagovat na zpětnou vazbu uživatelů a identifikovat oblasti, kde by se zlepšily další pokyny nebo ukázkové dotazy. U konverzací nastavených na Soukromé můžou správci agentů zobrazit na kartě monitorování výzvy uživatelů, ale nemůžou zobrazit celou konverzaci nebo výsledky. Další informace najdete v tématu Sdílení konverzace.

Note

Konverzace vytvořené před povolením beta verze zůstanou soukromé. Konverzace vytvořené poté, co byla tato funkce povolena, ve výchozím nastavení umožňují kontrolu správci prostoru.

Odstranění konverzace

Uživatelé s oprávněním CAN MANAGE u agenta Genie můžou trvale odstranit jakoukoli konverzaci v agentu ze stránky monitorování. Tím se konverzace a její zprávy odeberou pro všechny uživatele.

1. Otevřete agenta Genie a klikněte na kartu Monitorování .
2. Klikněte na konverzaci a otevřete panel konverzace.
3. Klikněte na Odstranit konverzaci.
4. V potvrzovací dialogovém okně kliknutím na odstranit konverzaci trvale odstraníte nebo kliknutím na tlačítko Storno zavřete dialogové okno bez odstranění.

Benchmarks

Srovnávací testy umožňují vytvořit sadu testovacích otázek, které můžete spustit, abyste posoudili celkovou přesnost odpovědí Genie. Dobře navržená sada srovnávacích testů, které pokrývají nejčastější dotazy uživatelů, pomáhá vyhodnotit přesnost agenta Genie při jeho zpřesnění. Každý agent Genie může obsahovat až 500 srovnávacích dotazů.

Srovnávací otázky běží jako nové konverzace. Nenabízejí stejný kontext jako konverzace Genie s vlákny. Každá otázka se zpracuje jako nový dotaz pomocí pokynů definovaných v agentu, včetně všech zadaných ukázkových funkcí SQL a SQL.

Srovnávací dotazy podporují dva režimy:

• Režim chatu: Výchozí režim. Genie posuzuje přesnost porovnáním výsledků vygenerovaných SQL s poskytnutou odpovědí SQL.
• Režim agenta: Provede srovnávací dotazy pomocí stejného vícestupňového odůvodnění jako režim agenta Genie. LLM jako hodnotitel hodnotí odpovědi. Můžete zadat volitelnou poznámku k hodnocení, která usnadní známkování.

Přidání otázek k srovnávacím testům

Srovnávací dotazy by měly odrážet různé způsoby formulace běžných otázek, které uživatelé ptají. Můžete je použít ke kontrole odpovědi Genie na varianty v otazních formulacích nebo různých formátech otázek.

Při vytváření srovnávací otázky můžete volitelně zahrnout dotaz SQL, jehož sada výsledků je správná odpověď. Během srovnávacích běhů se přesnost posuzuje porovnáním sady výsledků z dotazu SQL s tím, který vygeneroval Genie. Funkce SQL katalogu Unity můžete také použít jako zlaté standardní odpovědi na srovnávací testy.

Přidání otázky srovnávacího testu:

1. V horní části agenta Genie klikněte na Srovnávací testy.

2. Klikněte na Přidat srovnávací test.

3. Do pole Otázka zadejte srovnávací otázku, která se má testovat.

4. Vyberte režim: Chat nebo Agent.

   • Režim chatu: Genie posuzuje přesnost porovnáním výsledků s odpovědí SQL, kterou zadáte.
   • Režim agenta: Genie používá vícekrokové odůvodnění k zodpovězení otázky. LLM jako hodnotitel hodnotí odpovědi.

5. (Pouze režim chatu) Zadejte dotaz SQL, který odpovídá na otázku. Vlastní dotaz můžete napsat zadáním do pole SQL odpověď, včetně funkcí SQL služby Unity Catalog. Případně můžete kliknout na Vygenerovat SQL , aby Genie za vás napsal dotaz SQL. Použijte příkaz SQL, který přesně odpovídá na zadaná otázka.

   Note

   Tento krok se doporučuje. Přesnost je možné automaticky vyhodnotit pouze na otázky, které obsahují tento ukázkový příkaz SQL. Všechny otázky, které neobsahují odpověď SQL, vyžadují ruční kontrolu, aby bylo možné určit skóre. Pokud použijete tlačítko Generovat SQL , zkontrolujte příkaz a ujistěte se, že na tuto otázku přesně odpovídá.

6. (Pouze režim agenta, volitelné) Do pole Poznámka k vyhodnocení zadejte pokyny ke správné odpovědi nebo očekávanému obsahu. Genie předá zkušební poznámku soudce LLM. Poznámka může odkazovat na očekávaný obsah v textových sestavách, které generuje režim agenta.

7. (Jenom režim chatu, volitelné) Kliknutím na Spustit spustíte dotaz a zobrazíte výsledky.

8. Po dokončení úprav klikněte na Přidat srovnávací test.

9. Pokud chcete po uložení aktualizovat otázku, klikněte na ikonu ikonu tužky a otevřete dialogové okno Aktualizovat otázku.

Použití srovnávacích testů k otestování alternativních formulací otázek

Při vyhodnocování přesnosti agenta Genie je důležité strukturovat testy tak, aby odrážely reálné scénáře. Uživatelé můžou položit stejnou otázku různými způsoby. Databricks doporučuje přidat více frází stejné otázky a použít stejný příklad SQL v srovnávacích testech k úplnému posouzení přesnosti. Většina agentů Genie by měla obsahovat dvě až čtyři formulace téže otázky.

Spuštění otázek srovnávacích testů

Uživatelé s alespoň oprávněními CAN EDIT v agentu Genie můžou kdykoli spustit vyhodnocení srovnávacího testu. Můžete spustit všechny otázky srovnávacího testu nebo vybrat podmnožinu otázek, které chcete testovat.

Pro každou otázku Genie interpretuje vstup, vygeneruje SQL a vrací výsledky. Vygenerované SQL a výsledky se pak porovnávají s odpovědí SQL definovanou v otázce srovnávacího testu.

Pro spuštění všech otázek srovnávacích testů:

1. V horní části agenta Genie klikněte na Srovnávací testy.
2. Kliknutím na Spustit srovnávací testy spusťte testovací běh.

Spustit podmnožinu otázek z benchmarkových testů:

1. V horní části agenta Genie klikněte na Srovnávací testy.
2. Zaškrtněte políčka vedle otázek, které chcete testovat.
3. Kliknutím na tlačítko Spustit spustíte testovací běh u vybraných otázek.

Můžete také vybrat podmnožinu otázek z předchozího výsledku srovnávacího testu a znovu spustit tyto konkrétní otázky a otestovat vylepšení.

Srovnávací testy se budou dál spouštět, když přejdete mimo stránku. Po dokončení spuštění můžete zkontrolovat výsledky na kartě Vyhodnocení .

Po dokončení spuštění můžete pomocí nástroje Genie Code zkontrolovat výsledky celého spuštění a navrhnout vylepšení kontextu. Viz Analýza spuštění srovnávacího testu pomocí Genie Code.

Hodnocení režimu chatu

Následující kritéria určují, jak Genie ohlašuje odpovědi v režimu chatu:

Podmínka	Rating
Genie vygeneruje SQL, který přesně odpovídá zadané odpovědi SQL.	Dobrý
Genie vygeneruje sadu výsledků, která přesně odpovídá sadě výsledků vytvořené odpovědí SQL.	Dobrý
Genie vygeneruje sadu výsledků se stejnými daty jako sql Answer , ale seřadí se jinak.	Dobrý
Genie vygeneruje sadu výsledků s číselnými hodnotami, které jsou zaokrouhleny na stejné 4 platné číslice jako odpověď SQL.	Dobrý
Genie vygeneruje SQL, který vytvoří prázdnou sadu výsledků nebo vrátí chybu.	Špatné
Genie vygeneruje sadu výsledků, která obsahuje další sloupce ve srovnání se sadou výsledků vytvořenou odpovědí SQL.	Špatné
Genie vygeneruje výsledek jedné buňky, který se liší od výsledku jedné buňky vytvořeného SQL Answer.	Špatné

Potřebná ruční kontrola: Odpovědi jsou označeny tímto popiskem, pokud Genie nemůže vyhodnotit správnost nebo když výsledky dotazu vygenerované Genie neobsahují přesnou shodu s výsledky z poskytnuté odpovědi SQL. Všechny dotazy týkající se srovnávacích testů, které neobsahují odpověď SQL, se musí zkontrolovat ručně.

Hodnocení režimu agenta

Hodnocení odpovědí v režimu Agenta provádí hodnotitel LLM namísto porovnání pomocí SQL. Pokud jste zadali poznámku k vyhodnocení, použije ji soudce LLM jako vodítko při posuzování odpovědi, včetně očekávaného obsahu v textové sestavě, kterou režim agenta generuje. Soudce hodnotí odpovědi, které splňují kritéria hodnocení poznámek jako Dobré.

Vyhodnocení srovnávacích testů přístupu

Ke všem hodnocením srovnávacích testů můžete získat přístup, abyste mohli sledovat přesnost agenta Genie v průběhu času. Když otevřete agentovy Benchmarky, na kartě Hodnocení se zobrazí seznam běhů hodnocení s časovými razítky. Pokud nejsou nalezeny žádné běhy hodnocení, viz Přidání benchmarkových otázek nebo Spuštění benchmarkových otázek.

Na kartě Vyhodnocení se zobrazí přehled vyhodnocení a jejich výkon v následujících kategoriích:

Název vyhodnocení: Časové razítko, které označuje, kdy došlo ke spuštění vyhodnocení. Kliknutím na časové razítko zobrazíte podrobnosti pro toto hodnocení. Stav spuštění: Označuje, jestli je vyhodnocení dokončeno, pozastaveno nebo neúspěšné. Pokud testovací běh obsahuje otázky srovnávacího testu, které nemají předdefinované odpovědi SQL, označí se k revizi v tomto sloupci. Přesnost: Číselné posouzení přesnosti ve všech otázkách srovnávacích testů. U zkušebních spuštění, která vyžadují ruční kontrolu, se míra přesnosti zobrazí až po kontrole těchto otázek. Autor: Označuje jméno uživatele, který spustil vyhodnocení.

Kontrola jednotlivých vyhodnocení

Můžete zkontrolovat jednotlivá vyhodnocení a podívat se na jednotlivé odpovědi. Posouzení můžete upravit pro libovolnou otázku a aktualizovat všechny položky, které potřebují ruční kontrolu.

Kontrola jednotlivých hodnocení:

1. V horní části agenta Genie klepněte na tlačítko Benchmark.

2. Kliknutím na časové razítko pro jakékoli vyhodnocení ve sloupci Název vyhodnocení otevřete podrobné zobrazení tohoto testovacího spuštění.

   

3. Pokud chcete zobrazit podrobné zobrazení jednotlivých otázek, použijte seznam otázek na levé straně obrazovky.

4. Zkontrolujte a porovnejte výstupní odpověď modelu s odpovědí základní pravdy.

   V případě nesprávných výsledků se zobrazí vysvětlení popisující, proč byl výsledek hodnocen jako Chybný. To vám pomůže pochopit konkrétní rozdíly mezi vygenerovaným výstupem a očekávanou základní pravdou.

   Note

   Výsledky těchto odpovědí se objevují v podrobnostech hodnocení po dobu jednoho týdne. Po jednom týdnu se výsledky už nezobrazují. Vygenerovaný příkaz SQL a ukázkový příkaz SQL zůstanou zachovány.

5. Klikněte na Aktualizovat Ground Truth a uložte odpověď jako nový Ground truth pro tuto otázku. To je užitečné, pokud neexistuje žádná základní pravda nebo pokud je odpověď lepší nebo přesnější než existující základní pravdivý výrok.

6. Klikněte na na popisku k úpravě posouzení.

   Označte každý výsledek jako Dobrý nebo Chybný, abyste získali přesné skóre pro toto hodnocení.

Analýza spuštění srovnávacího testu pomocí Genie Code

Po dokončení srovnávacího testu můžete pomocí nástroje Genie Code zkontrolovat výsledky celého běhu místo kontroly jednotlivých otázek samostatně. Spusťte Genie Code z hodnocení a požádejte ho, aby analyzoval daný běh. Genie Code zkontroluje očekávané výsledky, to, co váš agent vygeneroval, a aktuální kontext agenta, aby zjistil mezery, a pak navrhne vylepšení pokynů a kontextu, které můžete zkontrolovat a uložit.