Monitorování Unity Gateway

Unity Gateway observability vám umožňuje sledovat náklady, využití, výkon a přístup ke každé AI službě z jedné řídicí roviny, podpořené tabulkami systému Unity Catalog. Jak týmy přijímají kódovací agenty, kopiloty a zakázkové agenty napříč organizací, je stále těžší vidět, kdo přistupuje ke kterým modelům nebo nástrojům, kolik stojí a zda jsou endpointy v pořádku. Protože každý požadavek prochází Unity Gateway, můžete na tyto otázky odpovědět na jednom místě.

Note

Přístup k těmto systémovým tabulkám vyžaduje ve výchozím nastavení jak administrátorské role účtů, tak metastore. Administrátoři mohou spravovat přístup k tabulkám systému nebo publikovat AI Gateway uživatelský dashboard pro sdílení analýzy využití bez povolení přístupu k tabulkám.

Požadavky

Monitorování nákladů

Z uživatelského rozhraní pracovního prostoru přejděte na AI Gateway > Govern > Usage Dashboard > Cost Analysis, kde můžete sledovat výdaje podle koncových bodů, základního modelu poskytovaného Azure Databricks nebo uživatele v čase. Vestavěný dashboard čerpá z tabulek využití a fakturace:

Note

Výdaje na externí model se počítají z zveřejněných cen každého poskytovatele a slouží pouze jako informace. Viz Externí modely.

Pro přiřazení výdajů podle vlastních dimenzí použijte tagy požadavků nebo služeb k seskupení nákladů podle obchodní jednotky, projektu nebo jakéhokoli rozměru, na kterém vaší organizaci záleží (viz Sledujte výdaje na model základů podle uživatele, týmu nebo projektu).

Viz Analýza nákladů Unity Gateway.

Používání a výkon monitoru

Dashboard využití Unity Gateway (AI Gateway > Govern > Usage Dashboard) sleduje objem požadavků, spotřebu tokenů a latenci pro všechny koncové body spravované přes gateway. Každý model nebo MCP služba má také vestavěnou záložku Metrics pro monitorování stavu bez nutnosti opustit uživatelské rozhraní Průzkumníka katalogu. Pro hlubší analýzu vyprašujte tabulku system.ai_gateway.usage a analyzujte metriky využití, jako jsou počty tokenů, latence, požadavatel a tagy požadavků pro každý požadavek směrovaný přes bránu (viz schéma tabulky použití).

Note

Koncové body Unity Gateway zaznamenávají protokoly do system.ai_gateway.usage, zatímco koncové body pro obsluhu modelů (legacy) zaznamenávají protokoly do system.serving.endpoint_usage.

Běžné využití:

  • Monitorujte a optimalizujte všechny své AI služby z jednoho místa, napříč vaším AI stackem
  • Sledujte adopci agentů kódování a popularitu modelů napříč týmy
  • Identifikujte nejaktivnější uživatele, služby a modely, abyste odhalili příležitosti k optimalizaci

Viz Sledování použití modelu.

Kontrola požadavků a odpovědí

Povolte pro modelovou službu inferenční tabulky, aby se datové části požadavků a odpovědí zaznamenávaly do tabulky Unity Catalog. Použijte inferenční tabulky k:

  • Řešte problémy s neúspěšnými nebo neočekávanými odpověďmi
  • Ověřte, že ochranná opatření fungují, například redakce osobních údajů (PII)
  • Audit expozice citlivým datům

Viz Logové požadavky a odpovědi na inferenční tabulky.

Přístup k auditu

Dotazujte tabulku system.access.audit , abyste zjistili, kdo a kdy a ke které AI službě přistupoval. Pro rozlišení lidského volajícího od agenta jednajícího jeho jménem použijte run_by pole a run_as v identity_metadata.

Běžné využití:

  • Vytvořte přístupovou stopu pro dodržování předpisů a regulační reportování
  • Rozlište lidského volajícího od agenta jednajícího jeho jménem
  • Udržujte centrální auditní stopu napříč kódujícími agenty, které vaše týmy používají

Viz Referenční informace k systémové tabulce protokolu auditu.

Sledování závislostí

Lineage sleduje závislosti mezi základními modely a službami modelů i jejich navazujícími uživateli. Použijte rodokmen k posouzení dopadu zrušení nebo změny modelové služby a informování jejích vlastníků.

Viz Datová linie v Unity Catalogu.

Dodatečné zdroje

  • Last updated on