Co je monitorování Lakehouse pro generování umělé inteligence? (MLflow 2)

Důležitý

Tato funkce je v Beta.

Důležitý

Tato stránka popisuje použití zkušební verze 0.22 agenta s MLflow 2. Databricks doporučuje používat MLflow 3, které je integrováno s hodnocením agenta >1.0. V MLflow 3 jsou nyní rozhraní API pro vyhodnocení agenta součástí balíčku mlflow.

Informace o tomto tématu najdete v tématu Monitorování kvality produkce (automatické spouštění výkonnostních metrik).

Tato stránka popisuje, jak monitorovat generování aplikací AI pomocí monitorování Lakehouse pro GenAI. Monitorování Lakehouse je úzce integrované s vyhodnocením agenta, takže můžete použít stejnou konfiguraci hodnocení (LLM porotci a vlastní metriky) v offline hodnocení i v online monitorování.

Aplikace gen AI nasazené pomocí rámce Mosaic AI Agent Framework nebo ty nasazené mimo Databricks můžete monitorovat.

Monitorování Lakehouse pro generativní AI vám pomůže sledovat provozní metriky, jako je objem, latence, chyby a náklady, a také metriky kvality, jako je správnost a dodržování pokynů, pomocí hodnocení agenta Mosaic AI.

Přehled produktu

Monitorování Lakehouse pro GenAI používá trasování MLflow, otevřený standard pro pozorovatelnost GenAI na základě otevřené telemetrie, k instrumentaci a zachytávání produkčních protokolů z vaší aplikace GenAI. Pokud chcete použít monitorování, nejprve instrumentujte aplikaci GenAI pomocí trasování MLflow.

Monitorování je navržené tak, aby:

1. Pomoc s identifikací problémů s kvalitou a výkonem (náklady, latence) v produkčním agentu
   • Automatické spouštění porotců LLM za účelem posouzení kvality vašeho produkčního agenta
   • Zobrazení řídicího panelu s metrikami o kvalitě produkčního agenta
   • Kontrola jednotlivých sledování (např. žádosti uživatelů)
2. Přeneste nedostatečně výkonné stopy do vývojové smyčky, aby se iterativně testovaly opravy zjištěných problémů.
   • Přidejte jednotlivé stopy do hodnoticí datové sady, aby se použily pro vyhodnocení agenta
   • Odeslat jednotlivé stopy do Review App, aby odborníci na danou problematiku mohli shromáždit referenční popisky.

Následující diagram znázorňuje pracovní postup povolený monitorováním.

Poznámka:

Tento pracovní postup se vztahuje také na předprodukční aplikace, které používají testeři beta verze.

Požadavky

Monitorování aplikací nasazených pomocí architektury agenta Mosiac AI:

• Bezserverové úlohy musí být povolené.
• Pokud chcete používat metriky posouzení LLM, musí být povolené asistivní funkce poháněné umělou inteligencí partnery. Ostatní metriky, jako je latence, se podporují bez ohledu na toto nastavení.
• Tato funkce není podporována v pracovních prostorech s povoleným řízením výchozího přenosu dat bez serveru .

Omezení

Důležitý

• Online monitorování je aktuálně v beta verzi. Pouze některé pracovní prostory můžou používat Beta produkty.
• Ve veřejné beta verzi aktuálně nejsou k dispozici následující funkce:
  • Protokolování zpětné vazby uživatelů
  • Vlastní metriky

Pokud potřebujete tyto funkce použít nebo váš pracovní prostor není aktuálně aktivován pro beta verzi monitorování, obraťte se na zástupce účtu Databricks, aby vám k němu měli přístup.

Nastavení monitorování

Monitorování agentů podporuje agenty nasazené pomocí architektury Mosaic AI Agent Framework a aplikace generativní AI nasazené mimo Databricks. Postup, který sledujete, závisí na typu aplikace, kterou potřebujete monitorovat. Podrobnosti najdete v následujících tématech:

• Pokud chcete nastavit monitorování pro aplikace nasazené pomocí architektury agenta Mosaic AI, přečtěte si téma Monitorování aplikací nasazených pomocí agenta Framework (MLflow 2).
• Pokud chcete nastavit monitorování aplikací nasazených mimo Databricks, přečtěte si téma Monitorování aplikací nasazených mimo Azure Databricks (MLflow 2).