Referenční informace k datům monitorování Azure OpenAI

Tento článek obsahuje všechny referenční informace o monitorování této služby.

Podrobnosti o datech, která můžete shromažďovat pro Azure OpenAI v modelech Microsoft Foundry a jak je používat, najdete v tématu Monitor Azure OpenAI.

Metriky

Tato sekce uvádí všechny automaticky sbírané metriky platformy pro tuto službu. Tyto metriky jsou také součástí globálního seznamu všech platformních metrik podporovaných v Azure Monitor.

Pro informace o zadržení metrik viz přehled Azure Monitor Metrik.

Podporované metriky pro Microsoft. CognitiveServices/účty

Monitorujte nejdůležitější metriky pro Azure OpenAI. Později v tomto článku najdete delší seznam všech dostupných metrik pro tento obor názvů, který obsahuje další podrobnosti o metrikách v tomto kratším seznamu. Nejnovější informace o up-to-date najdete v následujícím seznamu. Tým Azure pracuje na aktualizaci tabulek v následujících částech.

Important

Nepleťte si metriky v této sekci s historickou metrikou Latency uvedenou později v tomto článku pod Kognitivní služby - HTTP požadavky . Metrika Latency není navržena pro Azure OpenAI pracovní zátěže a při diagnostic Azure e latence OpenAI přináší zavádějící výsledky. Pro monitorování latence Azure OpenAI použijte Time to Response (AzureOpenAITimeToResponse), Čas do posledního bajtu (AzureOpenAITTLTInMS), Čas mezi tokeny (AzureOpenAINormalizedTBTInMS) nebo Normalizovaný čas do prvního bajtu (AzureOpenAINormalizedTTFTInMS). Pro rady při interpretaci těchto metrik viz Výkon a latence.

  • Azure žádosti OpenAI
  • Aktivní tokeny
  • Vygenerované tokeny dokončení
  • Zpracované FineTuned školící hodiny
  • Zpracované inferenční tokeny
  • Zpracované tokeny výzvy
  • Zřízené využití spravovaného uživatelem V2
  • Míra shody prompt token cache
  • Doba odezvy
  • Čas mezi tokeny
  • Čas na poslední bajt
  • Normalizovaný čas na první bajt
  • Tokeny za sekundu

Můžete také monitorovat metriky bezpečnosti obsahu, které používají jiné související služby.

  • Blokovaný svazek
  • Zjištěný škodlivý objem
  • Potenciálně zneužívající uživatelský počet
  • Událost bezpečnostního systému
  • Celkový objem odeslán na bezpečnostní kontrolu

Note

Metrika využití spravovaná s provisionedem je nyní zastaralá a již není doporučována. Tato metrika se nahrazuje metrikou Využití zřízeného spravovaného uživatelem V2 . Tokeny za sekundu, Doba odezvy a Doba mezi tokeny nejsou aktuálně dostupné pro standardní nasazení.

Rychlá reference: Klíčové metriky podle případu použití

Použijte tuto tabulku k nalezení správné metriky pro konkrétní cíl monitorování. Pro komplexní návod k interpretaci těchto metrik viz Výkon a latence.

Chci sledovat... Použijte tuto metriku Název rozhraní REST API
Celková doba odezvy Čas na poslední bajt AzureOpenAITTLTInMS
První tokenová odezva (streamování) Doba odezvy AzureOpenAITimeToResponse
Rychlost generování tokenů Čas mezi tokeny AzureOpenAINormalizedTBTInMS
Efektivita prvního tokenu normalizovaná velikostí promptu Normalizovaný čas na první bajt AzureOpenAINormalizedTTFTInMS
Objem výstupního tokenu na požadavek Vygenerované tokeny dokončení GeneratedTokens
Objem vstupního tokenu na požadavek Zpracované tokeny výzvy ProcessedPromptTokens
Využití kapacity PTU Zřízené využití spravovaného uživatelem V2 AzureOpenAIProvisionedManagedUtilizationV2
Objem požadavků a chyby Azure žádosti OpenAI AzureOpenAIRequests

Tip

Metriku latence vždy spárujte s metrikou počtu tokenů. Zvýšení latence bez odpovídajícího zvýšení tokenu může naznačovat skutečný problém. Očekávané chování je zvýšení latence s úměrným nárůstem tokenů.

Warning

Metriky pod Cognitive Services - HTTP Requests později v tomto článku jsou starší metriky Cognitive Services a nejsou navrženy pro Azure OpenAI pracovní zátěže. Konkrétně metrika Latency v této kategorii není stejná jako latence Azure OpenAI (čas do odpovědi, čas do posledního bajtu, čas mezi tokeny, normalizovaný čas do prvního bajtu). Použití staré metriky Latency pro Azure řešení problémů OpenAI přináší zavádějící výsledky. Použijte místo toho metriky Azure OpenAI uvedené v této sekci.

Následující tabulka uvádí dostupné metriky pro Microsoft. Typ zdroje CognitiveServices/accounts.

  • Všechny sloupce nemusí být ve všech tabulkách.
  • Některé sloupce mohou být mimo oblast zobrazení stránky. Vyberte Rozbalit tabulku pro zobrazení všech dostupných sloupců.

Nadpisy tabulek

  • Kategorie – Skupina metrik nebo klasifikace.
  • Metric - Zobrazovaný název metriky, jak se objevuje v portálu Azure.
  • Název v REST API – Název metriky, jak je uveden v REST API.
  • Jednotka – Jednotka měření.
  • Agregace – výchozí typ agregace . Platné hodnoty: Průměr (průměr), Minimum (min), Maximum (Max), Součet (součet), Počet.
  • Rozměry - Rozměry dostupné pro tuto metriku.
  • Časová zrna - Intervaly , ve kterých je metrika vzorkována. Například označuje, PT1M že metrika je vzorkována každou minutu, PT30M každých 30 minut, PT1H každou hodinu a tak dále.
  • DS Export – Zda je metrika exportovatelná do Azure Monitor logů přes diagnostická nastavení. Pro informace o exportu metrik viz Vytvořte diagnostická nastavení v Azure Monitor.

Kategorie: Azure OpenAI - HTTP Requests

Metrika Název v REST API Pokročilé metriky platformy Unit Aggregation Dimensions Časová zrnka DS Vývoz
Dostupnost Azure OpenAI

Procento dostupnosti s následujícím výpočtem: (Celkový počet hovorů - chyby serveru)/Celkový počet hovorů. Chyby >serveru zahrnují jakékoli HTTP odpovědi =500.
AzureOpenAIAvailabilityRate No Procenta Minimální hodnota, Maximální hodnota, Průměr ApiName, OperationName, Region, StreamType, , ModelDeploymentName, , ModelNameModelVersion PT1M No
Požadavky Azure OpenAI

Počet hovorů uskutečněných do Azure OpenAI API během časového období. Platí to pro PTU, PTU-Managed a nasazení typu Pay-as-you-go. Pro rozbor API požadavků můžete přidat filtr nebo aplikovat rozdělení podle následujících dimenzí: ModelDeploymentName, ModelName, ModelVersion, StatusCode (úspěšné, clienterrors, server errors), IsSpillover pro informace o přelévání, ServiceTier, StreamType (Streaming vs nestreamovací požadavky) a provoz.
AzureOpenAIRequests No Počet Celkem (Suma) ApiName, OperationName, , Region, StreamTypeModelDeploymentNameModelNameModelVersionStatusCodeIsSpillover, ServiceTierRequestServiceTierResponse PT1M Ano

Kategorie: Azure OpenAI - Latency

Metrika Název v REST API Pokročilé metriky platformy Unit Aggregation Dimensions Časová zrnka DS Vývoz
Čas mezi žetony

Pro požadavky na streamování; Rychlost generování tokenů modelujte, měřenou v milisekundách. Platí to pro PTU, PTU řízená a nasazení typu Pay-as-you-go.
AzureOpenAINormalizedTBTInMS No Milisekundy Maximální, Minimální, Průměrný Region, ModelDeploymentName, , , ModelName, ModelVersionServiceTierRequestServiceTierResponse PT1M Ano
Normalizovaný čas do prvního bajtu

Pro požadavky na streamování i nestreamování; Čas, který trvá přijetí prvního bajtu dat odpovědí po požadavku podle modelu, normalizovaného tokenem. Platí to pro PTU, PTU řízená a nasazení typu Pay-as-you-go.
AzureOpenAINormalizedTTFTInMS No Milisekundy Maximální, Minimální, Průměrný Region, ModelDeploymentName, , , ModelName, ModelVersionServiceTierRequestServiceTierResponse PT1M Ano
Čas na odpověď

Doporučená latence (reakce) pro požadavky na streamování. Platí to pro PTU, PTU řízená a nasazení typu Pay-as-you-go. Vypočítává se jako doba, za kterou se po odeslání výzvy uživatelem objeví první odpověď, měřená API bránou. Toto číslo roste s rostoucí velikostí promptu a/nebo se snižuje velikost zásahu do cache. Pro rozdělení času na metriku odpovědi můžete přidat filtr nebo aplikovat rozdělení podle následujících dimenzí: ModelDeploymentName, ModelName a ModelVersion.

Poznámka: tato metrika je aproximací, protože měřená latence silně závisí na více faktorech, včetně souběžných volání a celkového vzorce pracovní zátěže. Navíc nezohledňuje žádnou latenci na straně klienta, která může existovat mezi vaším klientem a API endpointem. Pro optimální sledování latence se prosím podívejte na vlastní záznamy.
AzureOpenAITimeToResponse No Milisekundy Minimální hodnota, Maximální hodnota, Průměr ApiName, OperationName, , Region, ModelDeploymentNameStreamType, ModelNameModelVersionStatusCode, , ServiceTierRequestServiceTierResponse PT1M Ano
Tokeny za sekundu

Vyjmenovává rychlost generování pro danou odezvu modelu Azure OpenAI. Celkový počet vygenerovaných tokenů se dělí časem potřebným k jejich vygenerování, tedy v sekundách. Platí to pro PTU, PTU řízená a nasazení typu Pay-as-you-go.
AzureOpenAITokenPerSecond No Počet Maximální, Minimální, Průměrný Region, ModelDeploymentName, , , ModelName, ModelVersionServiceTierRequestServiceTierResponse PT1M Ano
Čas do posledního bajtu

Pro požadavky na streamování i nestreamování; Čas, který trvá, než je po požadavku modelem přijat poslední bajt odpovědních dat. Platí to pro PTU, PTU řízená a nasazení typu Pay-as-you-go.
AzureOpenAITTLTInMS No Milisekundy Maximální, Minimální, Průměrný Region, ModelDeploymentName, , , ModelName, ModelVersionServiceTierRequestServiceTierResponse PT1M Ano

Kategorie: Azure OpenAI - Použití

Metrika Název v REST API Pokročilé metriky platformy Unit Aggregation Dimensions Časová zrnka DS Vývoz
Aktivní tokeny

Celkový počet tokenů minus cacheované tokeny v průběhu času. Platí to pro PTU a nasazení řízená PTU. Použijte tuto metriku k pochopení využití PTU na základě TPS nebo TPM a porovnejte je s benchmarky pro cílové TPS nebo TPM ve vašich scénářích. Pro rozčlenění API požadavků můžete přidat filtr nebo aplikovat rozdělení podle následujících dimenzí: ModelDeploymentName, ModelName a ModelVersion.
ActiveTokens No Počet Minimum, Maximum, Average, Total (Součet) Region, ModelDeploymentName, , , ModelName, ModelVersionServiceTierRequestServiceTierResponse PT1M Ano
Tokeny pro dokončení zvuku

Počet tokenů zvukových promptů generovaných (výstupů) na modelu OpenAI. Platí to pro nasazení v modelu PTU a modelu Pay-as-you-go.
AudioCompletionTokens No Počet Celkem (Suma) ModelDeploymentName, ModelName, , ModelVersionRegion PT1M Ano
Tokeny pro zvukové prompty

Počet zpracovaných (vstupních) tokenů zvukových promptů na modelu OpenAI. Platí to pro nasazení v modelu PTU a modelu Pay-as-you-go.
AudioPromptTokens No Počet Celkem (Suma) ModelDeploymentName, ModelName, , ModelVersionRegion PT1M Ano
Míra shody prompt token cache

Procento prompt tokenů, které se dostanou do cache. Platí to pro PTU a nasazení řízená PTU.
AzureOpenAIContextTokensCacheMatchRate No Procenta Minimální hodnota, Maximální hodnota, Průměr Region, ModelDeploymentName, , ModelNameModelVersion PT1M No
Provisioned-managed Utilization (zastaralé)

Využití % pro nasazení s provizionovanou správou, vypočítáno jako (spotřebované PTU / nasazené PTU) x 100. Když je využití větší nebo rovno 100%, jsou hovory omezeny a vrací se chybový kód 429. Pro rozdělení této metriky můžete přidat filtr nebo aplikovat rozdělení podle následujících dimenzí: ModelDeploymentName, ModelName, ModelVersion a StreamType (Streamování vs nestreamovací požadavky)
AzureOpenAIProvisionedManagedUtilization No Procenta Minimální hodnota, Maximální hodnota, Průměr Region, StreamType, ModelDeploymentName, , ModelNameModelVersion PT1M No
Zřízené využití spravovaného uživatelem V2

Využití % pro nasazení s provizionovanou správou, vypočítáno jako (spotřebované PTU / nasazené PTU) x 100. Když je využití větší nebo rovno 100%, jsou hovory omezeny a vrací se chybový kód 429. Pro rozdělení této metriky můžete přidat filtr nebo aplikovat rozdělení podle následujících dimenzí: ModelDeploymentName, ModelName, ModelVersion a StreamType (Streamování vs nestreamovací požadavky)
AzureOpenAIProvisionedManagedUtilizationV2 No Procenta Minimální hodnota, Maximální hodnota, Průměr Region, StreamType, ModelDeploymentName, , ModelNameModelVersion PT1M No
Zpracované FineTuned školící hodiny

Počet tréninkových hodin zpracovaných na modelu OpenAI FineTuned
FineTunedTrainingHours No Počet Celkem (Suma) ApiName, ModelDeploymentName, FeatureName, , UsageChannelRegion PT1M Ano
Generované tokeny dokončení

Počet tokenů generovaných (výstupů) z modelu OpenAI. Platí to pro PTU, PTU řízená a nasazení typu Pay-as-you-go. Pro rozdělení této metriky můžete přidat filtr nebo aplikovat rozdělení podle následujících dimenzí: ModelDeploymentName a ModelName.
GeneratedTokens No Počet Celkem (Suma) ApiName, ModelDeploymentName, , FeatureNameUsageChannel, , Region, ModelVersion, ServiceTierRequestServiceTierResponse PT1M Ano
Zpracované promptové tokeny

Počet prompt tokenů zpracovaných (vstupních) na modelu OpenAI. Platí to pro PTU, PTU řízená a nasazení typu Pay-as-you-go. Pro rozdělení této metriky můžete přidat filtr nebo aplikovat rozdělení podle následujících dimenzí: ModelDeploymentName a ModelName.
ProcessedPromptTokens No Počet Celkem (Suma) ApiName, ModelDeploymentName, , FeatureNameUsageChannel, , Region, ModelVersion, ServiceTierRequestServiceTierResponse PT1M Ano
Použité sekundy API v reálném čase

Počet použitých sekund v RealtimeAPI
RealtimeUsageTime No Počet Celkem (Suma) Region, ModelDeploymentName PT1M Ano
Zpracované inferenční tokeny

Počet inferenčních tokenů zpracovaných na modelu OpenAI. Vypočítávají se jako prompt tokeny (vstup) plus generované tokeny (výstup). Platí to pro PTU, PTU řízená a nasazení typu Pay-as-you-go. Pro rozdělení této metriky můžete přidat filtr nebo aplikovat rozdělení podle následujících dimenzí: ModelDeploymentName a ModelName.
TokenTransaction No Počet Celkem (Suma) ApiName, ModelDeploymentName, , FeatureNameUsageChannel, , Region, ModelVersion, ServiceTierRequestServiceTierResponse PT1M Ano

Kategorie: Kognitivní služby - HTTP požadavky

Metrika Název v REST API Pokročilé metriky platformy Unit Aggregation Dimensions Časová zrnka DS Vývoz
Blokovaná volání

Počet hovorů, které překročily limit rychlosti nebo kvóty. Nepoužívejte pro Azure OpenAI službu.
BlockedCalls No Počet Celkem (Suma) ApiName, OperationName, , RegionRatelimitKey PT1M Ano
Chyby klienta

Počet hovorů s chybou na straně klienta (HTTP kód odpovědi 4xx). Nepoužívejte pro Azure OpenAI službu.
ClientErrors No Počet Celkem (Suma) ApiName, OperationName, , RegionRatelimitKey PT1M Ano
Příchozí data

Velikost příchozích dat v bajtech. Nepoužívejte pro Azure OpenAI službu.
DataIn No Bytes Celkem (Suma) ApiName, , OperationNameRegion PT1M Ano
Data Out

Velikost odchozích dat v bajtech. Nepoužívejte pro Azure OpenAI službu.
DataOut No Bytes Celkem (Suma) ApiName, , OperationNameRegion PT1M Ano
Latency

Latence v milisekundách. Nepoužívejte pro Azure OpenAI službu.
Latency No Milisekundy Průměr ApiName, OperationName, , RegionRatelimitKey PT1M Ano
Ratelimit

Aktuální limit sazby klíče pro limit. Nepoužívejte pro Azure OpenAI službu.
Ratelimit No Počet Celkem (Suma) Region, RatelimitKey PT1M Ano
Chyby serveru

Počet hovorů s interní chybou služby (HTTP kód odpovědi 5xx). Nepoužívejte pro Azure OpenAI službu.
ServerErrors No Počet Celkem (Suma) ApiName, OperationName, , RegionRatelimitKey PT1M Ano
Úspěšná volání

Počet úspěšných hovorů. Nepoužívejte pro Azure OpenAI službu.
SuccessfulCalls No Počet Celkem (Suma) ApiName, OperationName, , RegionRatelimitKey PT1M Ano
Celkový počet volání

Celkový počet hovorů. Nepoužívejte pro Azure OpenAI službu.
TotalCalls No Počet Celkem (Suma) ApiName, OperationName, , RegionRatelimitKey PT1M Ano
Celkový počet chyb

Celkový počet hovorů s chybovou odpovědí (HTTP kód odpovědi 4xx nebo 5xx). Nepoužívejte pro Azure OpenAI službu.
TotalErrors No Počet Celkem (Suma) ApiName, OperationName, , RegionRatelimitKey PT1M Ano
Celkový počet tokenových callů

Celkový počet tokenových hovorů.
TotalTokenCalls No Počet Celkem (Suma) ApiName, , OperationNameRegion PT1M Ano

Kategorie: Kognitivní služby - SLI

Metrika Název v REST API Pokročilé metriky platformy Unit Aggregation Dimensions Časová zrnka DS Vývoz
Dostupnost – rychlost

Procento dostupnosti s následujícím výpočtem: (Celkový počet hovorů - chyby serveru)/Celkový počet hovorů. Chyby >serveru zahrnují jakékoli HTTP odpovědi =500. Nepoužívejte pro Azure OpenAI službu.
SuccessRate No Procenta Minimální hodnota, Maximální hodnota, Průměr ApiName, OperationName, , RegionRatelimitKey PT1M No

Kategorie: Porozumění obsahu - Použití

Metrika Název v REST API Pokročilé metriky platformy Unit Aggregation Dimensions Časová zrnka DS Vývoz
Transakce přes rozpoznání obličeje

Počet API volání uskutečněných na Face service
FaceApiTransactions No Počet Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano
Zpracované zvukové minuty

Minuty zpracování zvuku
ProcessedAudioMinutes No Počet Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano
Zpracované stránky

Počet zpracovaných stránek dokumentu
ProcessedDocumentPages No Počet Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano
Zpracované obrázky

Počet zpracovaných obrazů
ProcessedImageCount No Počet Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano
Zpracované video minuty

Minuty zpracovaného videa
ProcessedVideoMinutes No Počet Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano
Odznaky

Počet spotřebovaných tokenů
Tokens No Počet Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano

Kategorie: ContentSafety - Rizika a bezpečnost

Metrika Název v REST API Pokročilé metriky platformy Unit Aggregation Dimensions Časová zrnka DS Vývoz
Zjištěný škodlivý objem

Počet volání uskutečněných do Azure OpenAI API a zjištěných jako škodlivé (jak v režimu blokového modelu, tak v annotátovém režimu) pomocí filtru obsahu aplikovaného v průběhu času. Můžete přidat filtr nebo aplikovat rozdělení podle následujících dimenzí: ModelDeploymentName, ModelName a TextType.
RAIHarmfulRequests No Počet Celkem (Suma) Region, ModelDeploymentName, , ModelNameModelVersion, , ApiName, TextType, CategorySeverity PT1M Ano
Blokovaný svazek

Počet volání uskutečněných do Azure OpenAI API a odmítnutých filtrem obsahu aplikovaných v průběhu času. Můžete přidat filtr nebo aplikovat rozdělení podle následujících dimenzí: ModelDeploymentName, ModelName a TextType.
RAIRejectedRequests No Počet Celkem (Suma) Region, ModelDeploymentName, ModelName, ModelVersion, , ApiName, , TextTypeCategory PT1M Ano
Událost bezpečnostního systému

Systémová událost pro monitorování rizik a bezpečnosti. Můžete přidat filtr nebo aplikovat rozdělení podle následující dimenze: EventType.
RAISystemEvent No Počet Průměr Region, EventType PT1M Ano
Celkový objem odeslán k bezpečnostní kontrole

Počet hovorů uskutečněných do Azure OpenAI API a detekovaných filtrem obsahu aplikovaných v průběhu času. Můžete přidat filtr nebo aplikovat rozdělení podle následujících dimenzí: ModelDeploymentName, ModelName.
RAITotalRequests No Počet Celkem (Suma) Region, ModelDeploymentName, ModelName, , ModelVersionApiName PT1M Ano

Kategorie: ContentSafety - Použití

Metrika Název v REST API Pokročilé metriky platformy Unit Aggregation Dimensions Časová zrnka DS Vývoz
Počet hovorů pro moderaci obrázků

Počet výzev k moderování obrázků.
ContentSafetyImageAnalyzeRequestCount No Počet Celkem (Suma) ApiVersion PT1M Ano
Počet hovorů pro textové moderování

Počet výzev k moderování textu.
ContentSafetyTextAnalyzeRequestCount No Počet Celkem (Suma) ApiVersion PT1M Ano

Kategorie: Jazyk - Pracovní pozice

Metrika Název v REST API Pokročilé metriky platformy Unit Aggregation Dimensions Časová zrnka DS Vývoz
Délka práce (náhled)

Poznámka: tato hodnota silně závisí na velikosti vstupu, počtu dokumentů a složitosti úkolu. Jedná se o souhrnnou hodnotu napříč všemi pracovními úkoly.
JobDuration No Milisekundy Minimální hodnota, Maximální hodnota, Průměr JobStatus, JobType PT1M Ano

Kategorie: Směrovač modelů

Metrika Název v REST API Pokročilé metriky platformy Unit Aggregation Dimensions Časová zrnka DS Vývoz
Počet náhradních modelů směrovače

Počet požadavků, které vyžadovaly náhradní model
ModelRouterFallbackCount No Počet Celkem (Suma) ModelDeploymentName, ModelName, , RegionRouterMode PT1M Ano
Latence směrovače modelů

Doba potřebná směrovačem modelu k rozhodování o směrování
ModelRouterLatency No Milisekundy Minimální hodnota, Maximální hodnota, Průměr ModelDeploymentName, ModelName, , RegionRouterMode PT1M Ano
Žádosti o směrovač modelů

Celkový počet požadavků zpracovaných směrovačem modelu
ModelRouterRequests No Počet Celkem (Suma) ModelDeploymentName, ModelName, , RegionRouterMode PT1M Ano
Záložní model zdrojového modelu směrovače modelů

Počet požadavků, u kterých došlo k selhání prvního pokusu o model, což způsobilo návrat k jinému modelu
ModelRouterSourceModelFallback No Počet Celkem (Suma) ModelDeploymentName, ModelName, Region, , RouterModeSourceModelName PT1M Ano
Úspěšné požadavky směrovače modelů

Počet úspěšně směrovaných požadavků bez chyby
ModelRouterSuccessfulRequests No Počet Celkem (Suma) ModelDeploymentName, ModelName, , RegionRouterMode PT1M Ano

Kategorie: Modely - HTTP požadavky

Metrika Název v REST API Pokročilé metriky platformy Unit Aggregation Dimensions Časová zrnka DS Vývoz
Dostupnost modelu

Procento dostupnosti s následujícím výpočtem: (Celkový počet hovorů - chyby serveru)/Celkový počet hovorů. Chyby >serveru zahrnují jakékoli HTTP odpovědi =500.
ModelAvailabilityRate No Procenta Minimální hodnota, Maximální hodnota, Průměr Region, ModelDeploymentName, , ModelNameModelVersion PT1M No
Žádosti o model

Počet volání provedených do modelového API během časového období. Platí to pro PTU, PTU-Managed a nasazení typu Pay-as-you-go.
ModelRequests No Počet Celkem (Suma) ApiName, OperationName, , Region, StreamTypeModelDeploymentNameModelNameModelVersionStatusCodeIsSpillover, ServiceTierRequestServiceTierResponse PT1M Ano

Kategorie: Modely - latence

Metrika Název v REST API Pokročilé metriky platformy Unit Aggregation Dimensions Časová zrnka DS Vývoz
Čas mezi žetony

Rychlost generování tokenů modelujte, měřenou v milisekundách. Platí to pro PTU a nasazení řízená PTU. Pro požadavky mimo streamování je tato hodnota odhadem.
NormalizedTimeBetweenTokens No Milisekundy Maximální, Minimální, Průměrný ApiName, OperationName, Region, StreamType, , ModelDeploymentName, , ModelNameModelVersion PT1M Ano
Normalizovaný čas do prvního bajtu

Čas, který trvá přijetí prvního bajtu dat odpovědi po podání požadavku podle modelu, normalizováno podle tokenu. Platí to pro PTU, PTU řízená a nasazení typu Pay-as-you-go. Pro požadavky mimo streamování je tato hodnota odhadem.
NormalizedTimeToFirstToken No Milisekundy Maximální, Minimální, Průměrný ApiName, OperationName, Region, StreamType, , ModelDeploymentName, , ModelNameModelVersion PT1M Ano
Čas do posledního bajtu

Doba potřebná k přijetí posledního bajtu dat odpovědi po podání požadavku modelem. Platí to pro PTU, PTU řízená a nasazení typu Pay-as-you-go. Pro požadavky mimo streamování je tato hodnota odhadem.
TimeToLastByte No Milisekundy Maximální, Minimální, Průměrný ApiName, OperationName, Region, StreamType, , ModelDeploymentName, , ModelNameModelVersion PT1M Ano
Čas na odpověď

Doporučená latence (reagence) míra. Platí to pro PTU a nasazení řízená PTU. Vypočítává se jako doba, za kterou se po odeslání výzvy uživatelem objeví první odpověď, měřená API bránou. Toto číslo roste s rostoucí velikostí promptu a/nebo se snižuje velikost zásahu do cache. Pro rozdělení času na metriku odpovědi můžete přidat filtr nebo aplikovat rozdělení podle následujících dimenzí: ModelDeploymentName, ModelName a ModelVersion.

Poznámka: tato metrika je aproximací, protože měřená latence silně závisí na více faktorech, včetně souběžných volání a celkového vzorce pracovní zátěže. Navíc nezohledňuje žádnou latenci na straně klienta, která může existovat mezi vaším klientem a API endpointem. Pro požadavky mimo streamování je tato hodnota odhadem. Pro optimální sledování latence se prosím podívejte na vlastní záznamy.
TimeToResponse No Milisekundy Minimální hodnota, Maximální hodnota, Průměr ApiName, OperationName, , RegionStreamType, , ModelDeploymentName, ModelName, ModelVersionStatusCode PT1M Ano
Tokeny za sekundu

Vyjmenovává rychlost generování pro daný modelový odpočet. Celkový počet vygenerovaných tokenů se dělí časem potřebným k jejich vygenerování, tedy v sekundách. Platí to pro PTU a nasazení řízená PTU. Pro požadavky mimo streamování je tato hodnota odhadem.
TokensPerSecond No Počet Maximální, Minimální, Průměrný ApiName, OperationName, Region, StreamType, , ModelDeploymentName, , ModelNameModelVersion PT1M Ano

Kategorie: Modely - Použití

Metrika Název v REST API Pokročilé metriky platformy Unit Aggregation Dimensions Časová zrnka DS Vývoz
Anotované stránky

Celkový počet zpracovaných stránek s poznámkami. Platí to pro PTU, PTU-Managed a nasazení typu Pay-as-you-go.
AnnotatedPages No Počet Celkem (Suma) ApiName, Region, ModelDeploymentName, , ModelNameModelVersion PT1M Ano
Audio vstupní tokeny

Počet zpracovaných (vstupních) tokenů zvukových promptů na modelu OpenAI. Platí to pro nasazení modelů spravovaných PTU.
AudioInputTokens No Počet Celkem (Suma) ModelDeploymentName, ModelName, , ModelVersionRegion PT1M Ano
Zvukové výstupní tokeny

Počet tokenů zvukových promptů generovaných (výstupů) na modelu OpenAI. Platí to pro nasazení modelů spravovaných PTU.
AudioOutputTokens No Počet Celkem (Suma) ModelDeploymentName, ModelName, , ModelVersionRegion PT1M Ano
Promptové tokeny čtené z cache

Celkový počet tokenů načtených z cache. Platí to pro nasazení Anthropic modelů. Zobrazeno v sekci použití v odpovědi jako cache_read_input_tokens
cacheReadInputTokens No Počet Celkem (Suma) ApiName, Region, , , ModelDeploymentName, ModelNameModelVersionContextLength PT1M Ano
Promptové tokeny zapsané do cache (1 hodina TTL)

Počet prompt tokenů použitých k vytvoření hodinového záznamu. Platí to pro nasazení Anthropic modelů. Zobrazeno v sekci použití v odpovědi jako cache_creation.ephemeral_1h_input_tokens
ephemeral1hInputTokens No Počet Celkem (Suma) ApiName, Region, , , ModelDeploymentName, ModelNameModelVersionContextLength PT1M Ano
Prompt tokeny zapsané do cache (5minutové TTL)

Počet prompt tokenů použitých k vytvoření 5minutového záznamu v cache. Platí to pro nasazení Anthropic modelů. Zobrazeno v sekci použití v odpovědi jako cache_creation.ephemeral_5m_input_tokens
ephemeral5mInputTokens No Počet Celkem (Suma) ApiName, Region, , , ModelDeploymentName, ModelNameModelVersionContextLength PT1M Ano
Odhadované náklady modelu Foundry (Preview)

Odhadované náklady na využití modelu pro tento účet v USD Platí jenom pro modely Foundry. Tato hodnota je odhad a nejedná se o fakturu ani fakturované poplatky.
FoundryModelEstimatedCost No Nespecifikovaný Celkem (Suma) ProjectId, ModelDeploymentName, ModelName, , ModelVersionRegion PT1M No
Vygenerované obrázky

Celkový počet vytvořených obrázků. Platí to pro PTU, PTU-Managed a nasazení typu Pay-as-you-go.
GeneratedImages No Počet Celkem (Suma) ApiName, Region, ModelDeploymentName, , ModelNameModelVersion PT1M Ano
Vstupní tokeny

Počet prompt tokenů zpracovaných (vstup) na modelu. Platí to pro PTU, PTU-Managed a nasazení typu Pay-as-you-go.
InputTokens No Počet Celkem (Suma) ApiName, Region, ModelDeploymentName, , ModelNameModelVersion PT1M Ano
Výstupní tokeny

Počet tokenů generovaných (výstupů) z modelu OpenAI. Platí to pro PTU, PTU-Managed a nasazení typu Pay-as-you-go.
OutputTokens No Počet Celkem (Suma) ApiName, Region, ModelDeploymentName, , ModelNameModelVersion PT1M Ano
Vyhrazené využití

Využití % pro nasazení s provizionovanou správou, vypočítáno jako (spotřebované PTU / nasazené PTU) x 100. Když je využití větší nebo rovno 100%, jsou hovory omezeny a vrací se chybový kód 429.
ProvisionedUtilization No Procenta Minimální hodnota, Maximální hodnota, Průměr Region, ModelDeploymentName, , ModelNameModelVersion PT1M No
Celkový počet stránek

Celkový počet zpracovaných stránek. Platí to pro PTU, PTU-Managed a nasazení typu Pay-as-you-go.
TotalPages No Počet Celkem (Suma) ApiName, Region, ModelDeploymentName, , ModelNameModelVersion PT1M Ano
Total Tokens

Počet inferenčních tokenů zpracovaných na modelu. Vypočítávají se jako prompt tokeny (vstup) plus generované tokeny (výstup). Platí to pro PTU, PTU-Managed a nasazení typu Pay-as-you-go.
TotalTokens No Počet Celkem (Suma) ApiName, Region, ModelDeploymentName, , ModelNameModelVersion PT1M Ano

Kategorie: SpeechServices - Použití

Metrika Název v REST API Pokročilé metriky platformy Unit Aggregation Dimensions Časová zrnka DS Vývoz
Zvukové sekundy přepisovány

Přepis počtu sekund
AudioSecondsBatchTranscribed No Počet Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano
Zvukové sekundy Šeptání

Přepis šeptaných sekund
AudioSecondsBatchWhisperTranscribed No Počet Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano
Audio sekundy rychle přepsáno

Rychlý přepis sekund
AudioSecondsFastTranscribed No Počet Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano
Zvuk sekund rychlý šepot přepsán

Rychlý šepot přepis sekund
AudioSecondsFastWhisperTranscribed No Počet Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano
Přepsány zvukové sekundy

Počet přepisovaných sekund
AudioSecondsTranscribed No Počet Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano
Překlad zvukových sekund

Počet sekund přeložených
AudioSecondsTranslated No Počet Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano
Modely Avatar Hostingové sekundy

Počet sekund.
AvatarModelHostingSeconds No Počet Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano
Tréninkové sekundy modelu avatara

Počet sekund.
AvatarModelTrainingSeconds No Počet Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano
Otevírací doba hostování modelu řeči

Počet hodin hostování modelu řeči
SpeechModelHostingHours No Počet Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano
Syntetizované znaky

Počet postav.
SynthesizedCharacters No Počet Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano
Video Sekundy syntetizovány

Počet sekund syntetizovaných
VideoSecondsSynthesized No Počet Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano
Vstupní tokeny pro hlas živého zvuku

Počet vstupních tokenů zvuku, bez uložených tokenů.
VoiceLiveAudioInputTokens No Počet Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano
Hlasové živé audio výstupní tokeny

Počet výstupních tokenů zvuku.
VoiceLiveAudioOutputTokens No Počet Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano
Hlasové živé cacheované audio vstupní tokeny

Počet cacheovaných vstupních tokenů pro audio.
VoiceLiveCachedAudioInputTokens No Počet Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano
Hlasové živé cacheované textové vstupní tokeny

Počet uložených textových vstupních tokenů.
VoiceLiveCachedTextInputTokens No Počet Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano
Hlasové živé textové vstupní tokeny

Počet textových vstupních tokenů, bez uložených tokenů.
VoiceLiveTextInputTokens No Počet Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano
Hlasové živé textové výstupní tokeny

Počet textových výstupních tokenů.
VoiceLiveTextOutputTokens No Počet Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano
Otevírací doba moderování hlasových modelů

Počet hodin.
VoiceModelHostingHours No Počet Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano
Minuty tréninku hlasového modelu

Počet minut.
VoiceModelTrainingMinutes No Počet Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano

Kategorie: Překladače – Využití

Metrika Název v REST API Pokročilé metriky platformy Unit Aggregation Dimensions Časová zrnka DS Vývoz
Překlad znaků v dokumentu

Počet znaků v žádosti o překlad dokumentu.
DocumentCharactersTranslated No Počet Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano
Dokument přeložené vlastní znaky

Počet znaků v požadavku na překlad vlastního dokumentu.
DocumentCustomCharactersTranslated No Počet Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano
Překlad znaků synchronizace dokumentů

Počet znaků v požadavku na překlad dokumentů (synchronní).
OneDocumentCharactersTranslated No Počet Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano
Synchronizace dokumentů Překlad vlastních znaků

Počet znaků v dotazu na vlastní překlad dokumentů (synchronní).
OneDocumentCustomCharactersTranslated No Počet Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano
Textové znaky přeložené

Počet znaků v požadavku na překlad příchozího textu.
TextCharactersTranslated No Počet Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano
Přeložené textové vlastní znaky

Počet znaků v příchozím požadavku na překlad vlastního textu.
TextCustomCharactersTranslated No Počet Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano
Textově trénované znaky

Počet znaků trénovaných pomocí překladu textu.
TextTrainedCharacters No Počet Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano
Aplikace Translator Pro Seconds

Počet sekund používání aplikace Translator Pro.
TranslatorProAppSeconds No Seconds Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano

Kategorie: Využití

Metrika Název v REST API Pokročilé metriky platformy Unit Aggregation Dimensions Časová zrnka DS Vývoz
Počítačové zpracování obrazu Transakce

Počet transakcí v Počítačové zpracování obrazu
ComputerVisionTransactions No Počet Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano
Čas na trénink vlastního vidění

Čas na školení Custom Vision
CustomVisionTrainingTime No Seconds Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano
Transakce s vlastní vizí

Počet transakcí predikce Custom Vision
CustomVisionTransactions No Počet Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano
Trénované obrazy obličeje

Počet natrénovaných obrazů. 1 000 natrénovaných obrázků na transakci.
FaceImagesTrained No Počet Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano
Uložené tváře

Počet uložených tváří, poměrně denně. Počet uložených tváří je hlášen denně.
FacesStored No Počet Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano
Transakce přes rozpoznání obličeje

Počet API volání uskutečněných na Face service
FaceTransactions No Počet Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano
Uložené obrázky

Počet uložených obrázků Custom Vision.
ImagesStored No Počet Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano
Naučené události

Počet naučených událostí.
LearnedEvents No Počet Celkem (Suma) IsMatchBaseline, , ModeRunId PT1M Ano
Žádosti o projev LUIS

Počet žádostí o porozumění LUIS s úmyslem
LUISSpeechRequests No Počet Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano
Textové požadavky LUIS

Počet LUIS textových požadavků
LUISTextRequests No Počet Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano
Spárované odměny

Počet spárovaných odměn.
MatchedRewards No Počet Celkem (Suma) Mode, RunId PT1M Ano
Neaktivované události

Počet vynechaných událostí.
NonActivatedEvents No Počet Celkem (Suma) Mode, RunId PT1M Ano
Sledované odměny

Počet pozorovaných odměn.
ObservedRewards No Počet Celkem (Suma) Mode, RunId PT1M Ano
Zpracované znaky

Počet znaků zpracovaných Immersive Reader.
ProcessedCharacters No Počet Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano
Zpracované zdravotní textové záznamy

Počet zpracovaných záznamů o zdravotních textech
ProcessedHealthTextRecords No Počet Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano
Zpracované obrázky

Počet zpracovaných obrazů
ProcessedImages No Počet Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano
Zpracované stránky

Počet zpracovaných stran
ProcessedPages No Počet Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano
Zpracované textové záznamy

Počet textových záznamů.
ProcessedTextRecords No Počet Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano
QA textové záznamy

Počet zpracovaných textových záznamů
QuestionAnsweringTextRecords No Počet Celkem (Suma) ApiName, FeatureName, , UsageChannelRegion PT1M Ano
Celkový počet událostí

Počet disciplín.
TotalEvents No Počet Celkem (Suma) Mode, RunId PT1M Ano
Celkový počet transakcí (ukončeno)

Celkový počet transakcí.
TotalTransactions No Počet Celkem (Suma) <žádné> PT1M Ano

Rozměry v metrickém systému

Pro informace o metrických rozměrech viz Vícerozměrné metriky.

Tato služba má následující rozměry spojené s jejími metrikami.

  • Název rozhraní API
  • Název funkce
  • ModelDeploymentName
  • Název modelu
  • ModelVersion
  • název operace
  • Oblast
  • kód stavu
  • StreamType
  • UsageChannel

Protokoly zdrojů

Tato sekce uvádí typy záznamů zdrojů, které můžete pro tuto službu shromažďovat. Tato sekce čerpá ze seznamu kategorií všech typů zdrojových logů podporovaných v Azure Monitor.

Podporoval jsem resource logy pro Microsoft. CognitiveServices/účty

Kategorie Náklady na export Tabulka logů Podporuje základní logovací plán Podporuje transformaci v době vstupu Příkladové dotazy
Audit No AzureDiagnostics

Logy z více Azure zdrojů.

No No
AzureOpenAIRequestUsage Ano AzureDiagnostics

Logy z více Azure zdrojů.

No No
ManagedNetworkEvent Ano AzureDiagnostics

Logy z více Azure zdrojů.

No No
RequestResponse No AzureDiagnostics

Logy z více Azure zdrojů.

No No
Trasování No AzureDiagnostics

Logy z více Azure zdrojů.

No No

Azure Monitor Logs tabulky

Tato sekce uvádí tabulky Azure Monitor Logs relevantní pro tuto službu, které jsou k dispozici pro dotazy Log Analytics pomocí dotazů Kusto. Tabulky obsahují data z resource log a možná i další v závislosti na tom, co je shromážděno a směrováno do nich.

Azure OpenAI microsoft.cognitiveservices/accounts

protokol aktivit

Propojená tabulka uvádí operace, které lze zaznamenat v záznamu aktivit této služby. Tyto operace jsou podmnožinou všech možných operací poskytovatele zdrojů v logu aktivit.

Pro více informací o schématu záznamů v denníku aktivit viz schéma záznamu aktivit.