Genie Code pro pozorovatelnost a vyhodnocení agenta

Genie Code poskytuje rozhraní přirozeného jazyka pro pochopení, ladění a vylepšení aplikací GenAI v MLflow. Má přístup ke všemu v experimentu, od sledování, výzev a datových sad až po vyhodnocení, skórovací nástroje a relace popisků – takže můžete zkoumat pozorovatelnost a hodnocení dat pomocí konverzace místo psaní dotazů nebo procházení několika stránek uživatelského rozhraní.

Začněte tak, že kliknete na ikonu Genie Code v pravém horním rohu pracovního prostoru při prohlížení experimentu.

Capabilities

Genie Code vám může pomoct s širokou škálou pozorovatelných a vyhodnocovaných úkolů, mezi které patří:

• Analýza trasování a ladění: Zkoumání neúspěšných trasování, vyhledání chyb, prozkoumání stromů, určení původních příčin, analýza latence a zjištění kritických bodů v toku provádění vašeho agenta. Podrobně se ponořte do jakéhokoli trasování a prozkoumejte celou hierarchii rozsahu, včetně vstupů, výstupů, metadat a použití tokenů v každém kroku.
• Metriky a výkon: Výpočet percentilů latence (P50/P95/P99), sledování míry chyb a propustnosti v průběhu času, analýza vzorů a nákladů na využití tokenů a porovnání výkonu přes různá časová období nebo filtry.
• Kvalita a hodnocení: Zkontrolujte skóre hodnocení od lidských názorů, porotců LLM a programových kontrol. Zkontrolujte hodnotící datové sady, zkontrolujte registrované posuzovatele a jejich konfigurace a získejte pomoc s nastavením mlflow.genai.evaluate() správných posuzovatelů.
• Označování a kontrola: Zobrazte relace označování a zjistěte, kdo je přiřazen ke kontrole trasování, a prohlédněte si modely označování, abyste porozuměli kritériím zpětné vazby, jako jsou hodnocení, komentáře a očekávání.
• Registr promptů: Procházejte prompty v Unity Catalog, zobrazujte šablony, verze a aliasy.
• Instrukce k instrumentaci: Získejte nápovědu k přidání trasování do kódu pomocí autolog(), @mlflow.trace nebo ručních rozsahů se spustitelnými úryvky kódu, které můžete vložit přímo do poznámkových bloků Azure Databricks.

Ukázkové otázky

Tady je několik věcí, na které se můžete zeptat Genie Code:

• Pomozte mi odhalit problémy s použitím nástrojem agenta při sledování tohoto experimentu za poslední 3 hodiny
• Identifikace případů, kdy se uživatelé v konverzacích s mým agentem frustrovali
• "Které relace mají nejnižší skóre zpětné vazby uživatelů a co se v těchto konverzacích nepovedlo?"
• Jaké jsou nejběžnější patterny selhání v mých trasách v minulém týdnu a jaké skórovače nebo výpočtové metody mám přidat, abych je zachytil?
• "Které rozsahy spotřebovávají nejvíce tokenů napříč všemi mými trasami?"
• Najít stopy, kde retriever nevrátil žádné výsledky, ale agent se přesto snažil odpovědět.
• Pomozte mi nastavit hodnocení pro agenta RAG se správnými hodnotiteli.

Požadavky

Pokud chcete použít Genie Code pro pozorovatelnost a vyhodnocení agenta, váš pracovní prostor potřebuje následující:

• Funkce umělé inteligence založené na partnerech jsou povolené pro účet i pracovní prostor. Podívejte se na funkce umělé inteligence založené na partnerech.
• Váš pracovní prostor musí být v podporované oblasti. Genie Code je určená služba, která ke správě umístění dat používá Geos. Podívejte se na geografickou dostupnost funkcí Genie Code.

Další zdroje informací

• Trasování MLflow – observabilita GenAI – Seznamte se s trasováním MLflow pro komplexní observabilitu.
• Vyhodnocení a monitorování agentů AI – Nastavení vyhodnocení a monitorování agentů GenAI
• Začínáme: MLflow 3 pro GenAI – Začínáme s MLflow 3 pro GenAI.