Monitorování nasazení modelů v modelech Microsoft Foundry

Důležité

Položky označené (Preview) v tomto článku jsou aktuálně ve verzi Public Preview. Tato verze Preview je poskytována bez smlouvy o úrovni služeb a nedoporučujeme ji pro produkční úlohy. Některé funkce nemusí být podporované nebo můžou mít omezené možnosti. Další informace najdete v tématu Supplementální podmínky použití pro Microsoft Azure Verze Preview.

Tento článek vysvětluje, jak používat metriky a protokoly Azure Monitor ke sledování dostupnosti, výkonu a využití pro nasazení modelů v modelech Foundry. Azure Monitor automaticky shromažďuje a agreguje metriky a protokoly z nasazení Foundry Models, abyste mohli zobrazit data o výkonu v reálném čase a nastavit upozornění na problémy.

Požadavky

Pokud chcete použít možnosti monitorování pro nasazení modelů v foundry Models, potřebujete následující:

Metriky

Azure Monitor automaticky shromažďuje metriky z foundry Models. Nevyžaduje se žádná konfigurace. Mezi tyto metriky patří:

  • Uložená v Azure Monitor databázi metrik časových řad.
  • Zjednodušené a schopné podporovat upozorňování téměř v reálném čase.
  • Používá se ke sledování výkonu prostředku v průběhu času.

Zobrazení metrik

Azure Monitor metriky je možné dotazovat pomocí několika nástrojů, mezi které patří:

Portál Foundry

Metriky můžete zobrazit na portálu Foundry. Pokud je chcete zobrazit, postupujte takto:

  1. Přejděte na portál Foundry.

  2. V části Moje prostředky v nabídce bočního panelu vyberte Modely a koncové body a pak vyberte název nasazení, o které chcete zobrazit metriky.

  3. Vyberte kartu Metriky .

  4. Můžete získat přístup k přehledu běžných metrik, které by mohly zajímat. V případě metrik souvisejících s náklady vyberte odkaz Správa nákladů v Azure, který poskytuje přístup k podrobným metrikám nákladů po spotřebě v části Analýza umístěná na portálu Azure.

    Snímek obrazovky zobrazující metriky zobrazené pro nasazení modelů na portálu Foundry

    Data nákladů na portálu Azure zobrazují skutečné poplatky po spotřebě modelu, včetně dalších prostředků AI v rámci Foundry. Úplný seznam prostředků AI najdete v tématu Sestavení s přizpůsobitelnými rozhraními API a modely. V analýze nákladů na portálu Azure je přibližně 5hodinová prodleva od okamžiku fakturace.

    Důležité

    Odkaz Správa nákladů v Azure poskytuje přímý odkaz na portálu Azure, který uživatelům umožňuje přístup k podrobným metrikám nákladů pro nasazené modely AI. Tento přímý odkaz se integruje se zobrazením služby Azure Cost Analysis Service a nabízí transparentní a použitelné přehledy o nákladech na úrovni modelu.

    Hluboký odkaz nasměruje uživatele do zobrazení Analýza nákladů na portálu Azure a poskytuje prostředí pouze jedním kliknutím pro zobrazení nasazení jednotlivých prostředků, včetně nákladů a spotřeby vstupního/výstupního tokenu. Pokud chcete zobrazit data o nákladech, potřebujete alespoň read přístup k účtu Azure. Informace o přiřazování přístupu k datům služby Cost Management najdete v tématu Přiřazení přístupu k datům.

  5. Metriky můžete zobrazit a analyzovat pomocí průzkumníka metrik Azure Monitor k dalšímu průřezu a filtrování metrik nasazení modelu.

    Screenshot zobrazující možnost otevření metrik nasazení modelu v Azure Monitor.

Průzkumník metrik

Průzkumník metrik je nástroj na portálu Azure, který umožňuje zobrazit a analyzovat metriky pro Azure prostředky. Další informace najdete v tématu Analyze metrik pomocí průzkumníka metrik Azure Monitor.

Pokud chcete použít Azure Monitor, postupujte takto:

  1. Přejděte na portál Azure.

  2. Do vyhledávacího pole zadejte a vyberte Sledovat .

  3. V nabídce bočního panelu vyberte Metriky .

  4. V části Vybrat obor vyberte prostředky, které chcete monitorovat. Můžete vybrat jeden prostředek nebo vybrat skupinu prostředků nebo předplatné. V takovém případě se ujistěte, že jako typy prostředků vyberete nástroje Foundry.

  5. Zobrazí se Průzkumník metrik. Vyberte metriky , které chcete prozkoumat. Následující příklad ukazuje počet požadavků k nasazením modelu v rámci prostředku.

    Snímek obrazovky znázorňující, jak do grafu přidat novou metriku

    Důležité

    Metriky v kategorii Azure OpenAI obsahují metriky pro modely OpenAI Azure v prostředku. Kategorie Models obsahuje všechny modely dostupné v prostředku, včetně Azure OpenAI, DeepSeek a Phi. Doporučujeme přejít na tuto novou sadu metrik.

  6. Do stejného grafu nebo do nového grafu můžete přidat tolik metrik, kolik potřebujete.

  7. Pokud potřebujete, můžete metriky filtrovat podle libovolné z dostupných dimenzí.

    Snímek obrazovky znázorňující, jak použít filtr na metriku

  8. Je užitečné rozdělit konkrétní metriky podle některých dimenzí. Následující příklad ukazuje, jak rozdělit počet požadavků provedených do prostředku podle modelu pomocí možnosti Přidat rozdělení:

    Snímek obrazovky znázorňující rozdělení metriky podle dané dimenze

  9. Řídicí panely můžete kdykoli uložit, abyste je nemuseli pokaždé konfigurovat.

Další nástroje

Mezi nástroje, které umožňují složitější vizualizaci, patří:

  • Workbooks: personalizovatelné sestavy, které můžete vytvořit v portálu Azure. Sešity můžou obsahovat text, metriky a dotazy na logy.
  • Grafana: otevřený nástroj platformy, který exceluje v provozních řídicích panelech. Grafana můžete použít k vytvoření řídicích panelů, které obsahují data z více zdrojů, než je Azure Monitor.
  • Power BI: služba obchodní analýzy, která poskytuje interaktivní vizualizace napříč různými zdroji dat. Můžete nakonfigurovat Power BI tak, aby automaticky naimportovalo data protokolu z Azure Monitor, abyste mohli tyto vizualizace využít.

Referenční informace k metrikám

K dispozici jsou následující kategorie metrik:

Modely – požadavky

Metrika Interní název Jednotka Agregace Dimenze
Frekvence dostupnosti modelu

Procento dostupnosti s následujícím výpočtem: (celkový počet volání – chyby serveru)/celkový počet volání. Chyby serveru zahrnují všechny odpovědi >HTTP =500.		 ModelAvailabilityRate Procenta Minimum, Maximum, Průměr ApiName, OperationName, Region, StreamType, ModelDeploymentName, , ModelNameModelVersion
Žádosti o model

Počet volání rozhraní API pro odvozování modelu v určitém časovém období		 ModelRequests Počet Celkem (součet) ApiName, OperationName, Region, , StreamTypeModelDeploymentName, ModelName, , ModelVersionStatusCode

Modely – latence

Metrika Interní název Jednotka Agregace Dimenze
Doba odezvy

Doporučená míra latence (rychlost odezvy) pro požadavky streamování Platí pro nasazení PTU a spravovaná PTU . Počítané jako čas potřebný k zobrazení první odpovědi po odeslání výzvy uživatelem měřeným bránou rozhraní API. Toto číslo se zvětšuje, když se zvětšuje velikost požadavku a/nebo zmenšuje velikost zásahu do mezipaměti. Tato metrika je aproximace, protože měřená latence závisí na několika faktorech, včetně souběžných volání a celkového vzorce úloh. Nebere v úvahu latenci na straně klienta mezi vaším klientem a koncovým bodem rozhraní API. Odkazujte na své vlastní protokolování pro optimální sledování latence.		 TimeToResponse Milisekund Maximum, Minimum, Průměr ApiName, OperationName, Region, , StreamTypeModelDeploymentName, ModelName, , ModelVersionStatusCode
Normalizovaný čas mezi tokeny

Pro požadavky na streamování; rychlost generování tokenů modelu měřená v milisekundách Platí pro nasazení PTU a spravovaná PTU .		 NormalizedTimeBetweenTokens Milisekund Maximum, Minimum, Průměr ApiName, OperationName, Region, StreamType, ModelDeploymentName, , ModelNameModelVersion

Modely – využití

Metrika Interní název Jednotka Agregace Dimenze
Vstupní tokeny

Počet zpracovaných tokenů výzvy (vstup) v modelu Platí pro PTU, řízená PTU a standardní nasazení.		 InputTokens Počet Celkem (součet) ApiName, Region, ModelDeploymentName, , ModelNameModelVersion
Výstupní tokeny

Počet vygenerovaných tokenů (výstup) z modelu Platí pro PTU, řízená PTU a standardní nasazení.		 OutputTokens Počet Celkem (součet) ApiName, Region, ModelDeploymentName, , ModelNameModelVersion
Total Tokens

Počet inference tokenů zpracovaných na modelu Vypočítá se jako součet tokenů výzvy (vstup) a vygenerovaných tokenů (výstup). Platí pro PTU, řízená PTU a standardní nasazení.		 TotalTokens Počet Celkem (součet) ApiName, Region, ModelDeploymentName, , ModelNameModelVersion
Míra shody mezipaměti tokenů

Procento tokenů výzvy, které se dostaly do mezipaměti Platí pro PTU a nasazení spravovaná PTU.		 TokensCacheMatchRate Procento Průměr Region, ModelDeploymentName, , ModelNameModelVersion
Vyhrazené využití

Procento využití zřízeného spravovaného nasazení vypočítané jako (spotřebované PTU / nasazené PTU) × 100. Pokud je využití větší nebo rovno 100%, volání jsou omezena a vrátí se kód chyby 429.		 ProvisionedUtilization Procento Průměr Region, ModelDeploymentName, , ModelNameModelVersion
Přidělené spotřebované tokeny

Celkový počet tokenů minus uložené tokeny za určité časové období. Platí pro PTU a nasazení spravovaná PTU.		 ProvisionedConsumedTokens Počet Celkem (součet) Region, ModelDeploymentName, , ModelNameModelVersion
Zvukové vstupní tokeny

Počet zpracovaných tokenů zvukových výzev (vstup) v modelu Platí pro nasazení modelů spravovaných PTU.		 AudioInputTokens Počet Celkem (součet) Region, ModelDeploymentName, , ModelNameModelVersion
Zvukové výstupní tokeny

Počet vygenerovaných tokenů zvukových výzev (výstup) v modelu Platí pro nasazení modelů spravovaných PTU.		 AudioOutputTokens Počet Celkem (součet) Region, ModelDeploymentName, , ModelNameModelVersion

Logové soubory

Protokoly prostředků poskytují přehled o operacích provedených Azure prostředkem. Protokoly se generují automaticky, ale musíte je směrovat do Azure Monitor protokolů pro uložení nebo dotazování konfigurováním nastavení diagnostiky. Protokoly jsou uspořádané do kategorií. Při vytváření nastavení diagnostiky určíte, které kategorie protokolů se mají shromažďovat.

Pro modely Foundry jsou k dispozici následující kategorie protokolů:

Kategorie Popis
RequestResponse Protokoly pro každou žádost o odvozování a odpověď, včetně stavových kódů a latence.
Trasování Podrobné protokoly trasování pro volání odvozování modelů
Audit Operace správy, jako jsou nasazení, změny konfigurace a události řízení přístupu.

Další informace o všech dostupných kategoriích protokolů najdete v tématu kategorie protokolů prostředků služby Azure Monitor.

Konfigurace nastavení diagnostiky

Všechny metriky se dají exportovat s nastavením diagnostiky v Azure Monitor. Pokud chcete analyzovat protokoly a data metrik pomocí dotazů Azure Monitor Log Analytics, můžete nakonfigurovat nastavení diagnostiky pro prostředek Foundry Tools. Proveďte tuto operaci pro každý prostředek.

Snímek obrazovky znázorňující konfiguraci protokolování diagnostiky v resource.png

Konfigurujte nastavení diagnostiky pro váš prostředek Foundry:

  1. Přejděte na portál Azure a vyhledejte prostředek Foundry.

  2. V části Monitorování v nabídce bočního panelu vyberte Nastavení diagnostiky.

  3. Vyberte Přidat nastavení diagnostiky.

  4. Zadejte název nastavení diagnostiky.

  5. V části Protokoly vyberte kategorie protokolů , které chcete shromáždit (například RequestResponseLogs).

  6. V části Metriky vyberte Všechny metriky , které chcete exportovat.

  7. V části Podrobnosti o destinaci vyberte Odeslat do Log Analytics pracovního prostoru a zvolte pracovní prostor ve vašem předplatném.

  8. Vyberte Uložit.

Poznámka

Shromažďování dat v pracovním prostoru Log Analytics je nákladné, takže shromážděte jenom kategorie, které pro každou službu potřebujete. Objem dat pro logy prostředků se mezi službami výrazně liší.

Prohledávání protokolů pomocí KQL

Po konfigurování nastavení diagnostiky k odesílání metrik do Log Analytics můžete dotazovat a analyzovat data protokolu pomocí dotazovacího jazyka Kusto (KQL).

Pokud chcete dotazovat metriky, postupujte takto:

  1. Přejděte na portál Azure.

  2. Vyhledejte prostředek Foundry, který chcete dotazovat.

  3. V části Monitorování v nabídce bočního panelu vyberte Protokoly. Pokud se možnosti okna dotazu naplní, zavřete okno.

  4. Naplní se nová karta dotazu. Vyberte rozevírací seznam Ukázkový režim a vyberte režim KQL.

  5. Pokud chcete prozkoumat metriky Azure, zadejte vlastní dotaz nebo zkopírujte a vložte následující dotaz:

    AzureMetrics
| take 100
| project TimeGenerated, MetricName, Total, Count, Maximum, Minimum, Average, TimeGrain, UnitName

  6. Vyberte Spustit

    Poznámka

    Když vyberete Monitoring>Logs v nabídce prostředku, Log Analytics se otevře s rozsahem dotazu nastaveným na aktuální prostředek. Viditelné dotazy protokolu zahrnují pouze data z daného prostředku. Pokud chcete spustit dotaz, který obsahuje data z jiných prostředků nebo dat z jiných Azure služeb, vyberte na portálu Azure Logs z nabídky Azure Monitor. Další informace viz rozsah dotazu logu a časový rozsah v Azure Monitor Log Analytics.

Řešení potíží

Problém Možná příčina Rozlišení
Metriky se nezobrazují v Průzkumníku metrik Filtr typu prostředku možná není nastaven správně. Ujistěte se, že jsou typy prostředků nastaveny na Foundry Tools v selektoru oboru.
V Log Analytics nejsou žádná data protokolu Nastavení diagnostiky se nenakonfiguruje nebo data ještě nepřišla. Nakonfigurujte nastavení diagnostiky a počkejte až 15 minut, než se zobrazí data.
Metriky zobrazují nulové hodnoty Nasazení modelu pravděpodobně nepřijalo provoz ve vybraném časovém rozsahu. Upravte časový rozsah v Průzkumníku metrik nebo ověřte, že nasazení přijímá požadavky.
Data nákladů se v Microsoft Cost Management nezobrazují Chybějící oprávnění nebo zpoždění fakturace Ujistěte se, že máte alespoň read přístup k účtu Azure. Zobrazení dat o nákladech může trvat až pět hodin.
Chyby typu 429 při volání modelu Zřízené využití je minimálně 100%. Zkontrolujte metriku zřízeného využití a zvyšte kapacitu PTU nebo snižte objem požadavků.

Další kroky

  • Last updated on