Azure OpenAI 監控數據參考資料

本文包含本服務的所有監測參考資訊。

關於你可以在 Microsoft Foundry 模型中收集 OpenAI Azure資料的詳細資訊,以及如何使用,請參見 OpenAI <Monitor Azure>。

Metrics

本節列出所有自動收集的平台指標。 這些指標同時也是全球Azure 監視器支援的所有平台指標清單的一部分。

有關指標保留的資訊,請參閱 Azure 監視器 指標概覽。

支援 Microsoft 的指標。認知服務/帳號

監控 Azure OpenAI 最重要的指標。 本文後面會列出該命名空間所有可用指標的詳細資料,並包含更詳細的指標。 請參閱以下列表以獲得最 up-to的日期資訊。 Azure 團隊正在著手更新以下章節的資料表。

Important

請勿將本節的指標與本文後面「Latency」下的舊有指標混淆。 舊有的 Latency 指標並非為 OpenAI 工作負載設計Azure,當用來診斷 OpenAI 延遲時會產生誤導Azure結果。 對於 OpenAI Azure延遲監控,可以使用 回應時間 (AzureOpenAITimeToResponse)、 最後位元組時間 (AzureOpenAITTLTInMS)、標記間時間 (AzureOpenAINormalizedTBTInMS),或 標準化到第一個位元組 (AzureOpenAINormalizedTTFTInMS)。 關於解讀這些指標的指引,請參見 效能與延遲。

  • Azure OpenAI Requests
  • 主動代幣
  • 產生的完成代幣
  • 處理精細調整訓練時數
  • 處理後推論標記
  • 處理後的提示標記
  • 配置管理利用 V2
  • 提示令牌快取匹配率
  • 回應時間
  • 代幣間隔時間
  • 最後一個位元組的時間
  • 標準化至第一個位元組的時間
  • 每秒代幣數

你也可以監控其他相關服務使用的內容安全指標。

  • 阻塞量
  • 偵測到有害體積
  • 潛在濫用用戶數量
  • 安全系統活動
  • 送來安全檢查的總量

備註

配置 管理的利用率 指標現已棄用,不再建議使用。 此指標被 配置管理的利用率 V2 指標取代。 標準部署目前無法提供每秒代幣數、回應時間和代幣間隔時間。

快速參考:依使用案例分類的關鍵指標

請使用此表尋找特定監測目標的正確指標。 關於解讀這些指標的端對端指引,請參見 效能與延遲。

我想監控...... 使用這個指標 REST API 名稱
整體反應時間 最後一個位元組的時間 AzureOpenAITTLTInMS
第一標記響應性(串流) 回應時間 AzureOpenAITimeToResponse
代幣生成速度 代幣間隔時間 AzureOpenAINormalizedTBTInMS
第一標記效率以提示大小標準化 標準化至第一個位元組的時間 AzureOpenAINormalizedTTFTInMS
每個請求的輸出權杖量 產生的完成代幣 GeneratedTokens
每個請求的輸入標記量 處理後的提示標記 ProcessedPromptTokens
PTU 容量利用率 配置管理利用 V2 AzureOpenAIProvisionedManagedUtilizationV2
請求音量與錯誤 Azure OpenAI Requests AzureOpenAIRequests

Tip

延遲指標和代幣計數指標一定要配對。 延遲增加卻沒有相應的代幣增加,可能代表真正的問題。 延遲增加與成比例的標記增加是預期行為。

Warning

本文後面提到的Cognitive Services - HTTP Requests 下的指標是舊有的認知服務指標,並非為 OpenAI 工作負載Azure設計。 特別是,該類別中的 Latency 指標與 OpenAI Azure 延遲指標(回應時間、最後位元組時間、標記間隔時間、標準化至第一個位元組時間)不同。 使用舊有的 Latency 指標來Azure OpenAI 故障排除會產生誤導性的結果。 建議使用本節列出的 Azure OpenAI 指標。

下表列出了 Microsoft 可用的指標。CognitiveServices/Account 資源類型。

  • 並非所有欄位都存在於每張表格中。
  • 有些欄位可能超出頁面的視野範圍。 選擇 展開表格 以查看所有可用欄位。

表格標題

  • 類別 - 指標群組或分類。
  • Metric - Azure入口中顯示的度量顯示名稱。
  • REST API 中的名稱 - REST API 中所指的指標名稱。
  • 單位 - 計量單位。
  • 聚合 - 預設的 聚合 類型。 有效數值:平均(平均)、最小(最小)、最大(最大)、總(總和)、計數。
  • 尺寸 - 度量的可用尺寸。
  • 時間顆粒 - 度量取樣的區間。 例如,表示 PT1M 指標每分鐘、 PT30M 每 30 分鐘、 PT1H 每小時抽樣一次,依此類推。
  • DS 匯出- 指標是否能透過診斷設定匯出到 Azure 監視器 日誌。 有關匯出指標的資訊,請參閱 在 Azure 監視器 建立診斷設定。

分類:Azure OpenAI - HTTP 請求

計量 REST API 中的名稱 進階平台指標 單位 Aggregation 尺寸 時間顆粒 DS 匯出
Azure OpenAI 可用性率

可用率百分比計算如下:(總通話 - 伺服器錯誤)/總通話數。 伺服器錯誤包括任何 HTTP 回應 >=500。
AzureOpenAIAvailabilityRate No Percent 最低、最高、平均 ApiName, OperationName, Region, StreamType, ModelDeploymentNameModelName,ModelVersion PT1M No
Azure OpenAI 請求

在一段時間內呼叫 Azure OpenAI API 的次數。 適用於PTU、PTU-Managed 及隨用隨付部署。 要拆解 API 請求,你可以新增篩選器或依以下維度拆分:ModelDeploymentName、ModelName、ModelVersion、StatusCode(成功、clienterrors、server errors)、用於溢出資訊的 IsSpillover、ServiceTier、StreamType(串流與非串流請求)以及操作。
AzureOpenAIRequests No 計數 總計 (總和) ApiName, OperationName, , RegionStreamTypeModelDeploymentNameModelNameModelVersionStatusCodeIsSpilloverServiceTierRequestServiceTierResponse PT1M Yes

分類:Azure OpenAI - 延遲

計量 REST API 中的名稱 進階平台指標 單位 Aggregation 尺寸 時間顆粒 DS 匯出
代幣間隔時間

對於串流請求;模型代幣生成率,以毫秒為單位。 適用於PTU、PTU管理及隨用隨付部署。
AzureOpenAINormalizedTBTInMS No 毫秒 最大值、最小值、平均值 Region, ModelDeploymentName, , ModelNameModelVersion, ServiceTierRequest, ,ServiceTierResponse PT1M Yes
標準化至第一個位元組的時間

無論是串流還是非串流請求;模型提出請求後,第一個回應資料位元組所需的時間,並以標記正規化。 適用於PTU、PTU管理及隨用隨付部署。
AzureOpenAINormalizedTTFTInMS No 毫秒 最大值、最小值、平均值 Region, ModelDeploymentName, , ModelNameModelVersion, ServiceTierRequest, ,ServiceTierResponse PT1M Yes
回應時間

串流請求的建議延遲(回應速度)指標。 適用於PTU、PTU管理及隨用隨付部署。 計算為使用者發送提示後,第一個回應出現所需的時間,依據 API 閘道所測量。 隨著提示大小增加及/或快取命中大小減少,這個數字會增加。 要將回應時間分解到回應指標,你可以新增篩選器或依以下維度進行分割:ModelDeploymentName、ModelName 和 ModelVersion。

注意:此指標僅為近似值,因為測量延遲高度依賴多項因素,包括同時通話次數及整體工作負載模式。 此外,它也未考慮客戶端與 API 端點之間可能存在的任何延遲。 請參考您自己的日誌以取得最佳延遲追蹤。
AzureOpenAITimeToResponse No 毫秒 最低、最高、平均 ApiName、OperationName、Region、StreamType、ModelDeploymentName、ModelName、ModelVersion、StatusCode、ServiceTierRequest、ServiceTierResponse PT1M Yes
每秒代幣數

列舉給定 Azure OpenAI 模型回應的生成速度。 產生的代幣總數除以產生代幣的時間,單位為秒。 適用於PTU、PTU管理及隨用隨付部署。
AzureOpenAITokenPerSecond No 計數 最大值、最小值、平均值 Region, ModelDeploymentName, , ModelNameModelVersion, ServiceTierRequest, ,ServiceTierResponse PT1M Yes
最後一個位元組的時間

無論是串流還是非串流請求;模型提出請求後,回應資料最後一個位元組被接收所需的時間。 適用於PTU、PTU管理及隨用隨付部署。
AzureOpenAITTLTInMS No 毫秒 最大值、最小值、平均值 Region, ModelDeploymentName, , ModelNameModelVersion, ServiceTierRequest, ,ServiceTierResponse PT1M Yes

分類:Azure OpenAI - 使用

計量 REST API 中的名稱 進階平台指標 單位 Aggregation 尺寸 時間顆粒 DS 匯出
作用中語彙基元

總代幣減去一段時間內的快取代幣。 適用於PTU及PTU管理的部署。 利用這個指標了解你基於 TPS 或 TPM 的 PTU 利用率,並與你針對特定情境的目標 TPS 或 TPM 基準做比較。 要拆解 API 請求,你可以新增過濾器或依以下維度進行分割:ModelDeploymentName、ModelName 和 ModelVersion。
ActiveTokens No 計數 最小值、最大值、平均值、總數(總和) Region, ModelDeploymentName, , ModelNameModelVersion, ServiceTierRequest, ,ServiceTierResponse PT1M Yes
音訊完成標記

OpenAI 模型上產生(輸出)的音頻提示詞數量。 適用於PTU管理及按用量付費模式的部署。
AudioCompletionTokens No 計數 總計 (總和) ModelDeploymentName, ModelName, , ModelVersionRegion PT1M Yes
音訊提示代幣

OpenAI 模型上處理(輸入)的音頻提示標記數量。 適用於PTU管理及按用量付費模式的部署。
AudioPromptTokens No 計數 總計 (總和) ModelDeploymentName, ModelName, , ModelVersionRegion PT1M Yes
提示令牌快取匹配率

觸發快取代幣的百分比。 適用於PTU及PTU管理的部署。
AzureOpenAIContextTokensCacheMatchRate No Percent 最低、最高、平均 Region, ModelDeploymentName, , ModelNameModelVersion PT1M No
配置管理利用(已棄用)

預定管理部署的利用率 % 計算為(消耗的 PTU / 部署的 PTU)x 100。 當利用率大於或等於100%時,通話會被限速並回傳錯誤代碼429。 要拆解這個指標,你可以新增過濾器或依以下維度進行分割:ModelDeploymentName、ModelName、ModelVersion 和 StreamType(串流與非串流請求)
AzureOpenAIProvisionedManagedUtilization No Percent 最低、最高、平均 Region, StreamType, , ModelDeploymentNameModelName,ModelVersion PT1M No
配置管理利用 V2

預定管理部署的利用率 % 計算為(消耗的 PTU / 部署的 PTU)x 100。 當利用率大於或等於100%時,通話會被限速並回傳錯誤代碼429。 要拆解這個指標,你可以新增過濾器或依以下維度進行分割:ModelDeploymentName、ModelName、ModelVersion 和 StreamType(串流與非串流請求)
AzureOpenAIProvisionedManagedUtilizationV2 No Percent 最低、最高、平均 Region, StreamType, , ModelDeploymentNameModelName,ModelVersion PT1M No
處理精細調整訓練時數

OpenAI 微調模型處理的訓練時數
FineTunedTrainingHours No 計數 總計 (總和) ApiName, ModelDeploymentName, , FeatureNameUsageChannel,Region PT1M Yes
產生的完成代幣

OpenAI 模型產生(輸出)的代幣數量。 適用於PTU、PTU管理及隨用隨付部署。 要拆解此指標,你可以新增篩選器或依以下維度進行分割:ModelDeploymentName 和 ModelName。
GeneratedTokens No 計數 總計 (總和) ApiName, ModelDeploymentName, FeatureName, , UsageChannelRegionModelVersionServiceTierRequestServiceTierResponse PT1M Yes
處理後的提示標記

OpenAI 模型中處理(輸入)的提示代幣數量。 適用於PTU、PTU管理及隨用隨付部署。 要拆解此指標,你可以新增篩選器或依以下維度進行分割:ModelDeploymentName 和 ModelName。
ProcessedPromptTokens No 計數 總計 (總和) ApiName, ModelDeploymentName, FeatureName, , UsageChannelRegionModelVersionServiceTierRequestServiceTierResponse PT1M Yes
使用的即時 API 秒數

RealtimeAPI 使用的秒數
RealtimeUsageTime No 計數 總計 (總和) Region、ModelDeploymentName PT1M Yes
處理後推論標記

OpenAI 模型上處理的推論代幣數量。 計算方式為提示代幣(輸入)加上產生代幣(輸出)。 適用於PTU、PTU管理及隨用隨付部署。 要拆解此指標,你可以新增篩選器或依以下維度進行分割:ModelDeploymentName 和 ModelName。
TokenTransaction No 計數 總計 (總和) ApiName, ModelDeploymentName, FeatureName, , UsageChannelRegionModelVersionServiceTierRequestServiceTierResponse PT1M Yes

分類:認知服務 - HTTP 請求

計量 REST API 中的名稱 進階平台指標 單位 Aggregation 尺寸 時間顆粒 DS 匯出
封鎖的呼叫

超過費率或配額限制的通話數量。 請勿用於 Azure OpenAI 服務。
BlockedCalls No 計數 總計 (總和) ApiName, OperationName, , RegionRatelimitKey PT1M Yes
用戶端錯誤

呼叫次數為用戶端錯誤(HTTP 回應代碼 4xx)。 請勿用於 Azure OpenAI 服務。
ClientErrors No 計數 總計 (總和) ApiName, OperationName, , RegionRatelimitKey PT1M Yes
數據輸入

輸入資料的大小(位元組)。 請勿用於 Azure OpenAI 服務。
DataIn No Bytes 總計 (總和) ApiName, OperationName, Region PT1M Yes
數據輸出

輸出資料的大小(以位元組為單位)。 請勿用於 Azure OpenAI 服務。
DataOut No Bytes 總計 (總和) ApiName, OperationName, Region PT1M Yes
Latency

延遲以毫秒計。 請勿用於 Azure OpenAI 服務。
Latency No 毫秒 平均 ApiName, OperationName, , RegionRatelimitKey PT1M Yes
Ratelimit

目前的速率限制鍵。 請勿用於 Azure OpenAI 服務。
Ratelimit No 計數 總計 (總和) Region、RatelimitKey PT1M Yes
伺服器錯誤

服務內部錯誤的通話次數(HTTP 回應代碼 5xx)。 請勿用於 Azure OpenAI 服務。
ServerErrors No 計數 總計 (總和) ApiName, OperationName, , RegionRatelimitKey PT1M Yes
成功呼叫

成功通話次數。 請勿用於 Azure OpenAI 服務。
SuccessfulCalls No 計數 總計 (總和) ApiName, OperationName, , RegionRatelimitKey PT1M Yes
總通話數

通話總數。 請勿用於 Azure OpenAI 服務。
TotalCalls No 計數 總計 (總和) ApiName, OperationName, , RegionRatelimitKey PT1M Yes
錯誤總數

有錯誤回應的通話總數(HTTP 回應代碼為 4xx 或 5xx)。 請勿用於 Azure OpenAI 服務。
TotalErrors No 計數 總計 (總和) ApiName, OperationName, , RegionRatelimitKey PT1M Yes
總令牌呼叫數

代幣通話總數。
TotalTokenCalls No 計數 總計 (總和) ApiName, OperationName, Region PT1M Yes

分類:認知服務 - SLI

計量 REST API 中的名稱 進階平台指標 單位 Aggregation 尺寸 時間顆粒 DS 匯出
AvailabilityRate

可用率百分比計算如下:(總通話 - 伺服器錯誤)/總通話數。 伺服器錯誤包括任何 HTTP 回應 >=500。 請勿用於 Azure OpenAI 服務。
SuccessRate No Percent 最低、最高、平均 ApiName, OperationName, , RegionRatelimitKey PT1M No

分類:內容理解 - 使用法

計量 REST API 中的名稱 進階平台指標 單位 Aggregation 尺寸 時間顆粒 DS 匯出
臉部交易

Face 服務所呼叫的 API 次數
FaceApiTransactions No 計數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
處理後音訊會議記錄

處理的音頻分鐘數
ProcessedAudioMinutes No 計數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
已處理的頁面

處理的文件頁數
ProcessedDocumentPages No 計數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
已處理的影像

處理影像數量
ProcessedImageCount No 計數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
處理過的影片分鐘數

處理的影片數分鐘
ProcessedVideoMinutes No 計數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
代幣

消耗的代幣數量
Tokens No 計數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes

分類:內容安全 - 風險與安全

計量 REST API 中的名稱 進階平台指標 單位 Aggregation 尺寸 時間顆粒 DS 匯出
偵測到有害體積

在一段時間內,透過內容過濾器偵測到對 Azure OpenAI API 的呼叫次數(包含區塊模型和註解模式)。 你可以新增篩選器或依以下維度進行分割:ModelDeploymentName、ModelName 和 TextType。
RAIHarmfulRequests No 計數 總計 (總和) Region, ModelDeploymentName, ModelName, , ModelVersionApiNameTextTypeCategorySeverity PT1M Yes
封鎖的磁碟區

在一段時間內,對 Azure OpenAI API 的呼叫次數並被內容過濾器拒絕。 你可以新增篩選器或依以下維度進行分割:ModelDeploymentName、ModelName 和 TextType。
RAIRejectedRequests No 計數 總計 (總和) Region, ModelDeploymentName, ModelName, ModelVersion, ApiNameTextType,Category PT1M Yes
安全系統活動

系統事件用於風險與安全監控。 你可以新增篩選器或依以下維度進行分割:EventType。
RAISystemEvent No 計數 平均 Region、EventType PT1M Yes
送出安全檢查的總體積

在一段時間內,對 Azure OpenAI API 的呼叫次數,並透過內容過濾器偵測到。 你可以新增篩選器或依以下維度進行分割:ModelDeploymentName、ModelName。
RAITotalRequests No 計數 總計 (總和) Region, ModelDeploymentName, , ModelNameModelVersion,ApiName PT1M Yes

分類:內容安全 - 使用情況

計量 REST API 中的名稱 進階平台指標 單位 Aggregation 尺寸 時間顆粒 DS 匯出
圖片審核的來電次數

圖片審核的電話數量。
ContentSafetyImageAnalyzeRequestCount No 計數 總計 (總和) ApiVersion PT1M Yes
簡訊審核來電次數

簡訊審核的電話數量。
ContentSafetyTextAnalyzeRequestCount No 計數 總計 (總和) ApiVersion PT1M Yes

分類:語言 - 工作

計量 REST API 中的名稱 進階平台指標 單位 Aggregation 尺寸 時間顆粒 DS 匯出
工作持續時間(預覽)

注意:此值高度依賴輸入大小、文件數量及任務複雜度。 這是所有工作任務的總值。
JobDuration No 毫秒 最低、最高、平均 JobStatus、JobType PT1M Yes

分類:模型銑刀

計量 REST API 中的名稱 進階平台指標 單位 Aggregation 尺寸 時間顆粒 DS 匯出
型號路由器備援計數

需要回退到替代模式的請求數量。
ModelRouterFallbackCount No 計數 總計 (總和) ModelDeploymentName, ModelName, , RegionRouterMode PT1M Yes
模型路由器延遲

模型路由器花時間做路由決策。
ModelRouterLatency No 毫秒 最低、最高、平均 ModelDeploymentName, ModelName, , RegionRouterMode PT1M Yes
模型路由器請求

型號路由器處理的請求總數。
ModelRouterRequests No 計數 總計 (總和) ModelDeploymentName, ModelName, , RegionRouterMode PT1M Yes
模型路由器來源模型備援

有多少次請求是第一次嘗試的模型失敗,導致退回到另一個模型。
ModelRouterSourceModelFallback No 計數 總計 (總和) ModelDeploymentName, ModelName, , RegionRouterMode,SourceModelName PT1M Yes
模型路由器成功請求

成功路由且無錯誤的請求數量。
ModelRouterSuccessfulRequests No 計數 總計 (總和) ModelDeploymentName, ModelName, , RegionRouterMode PT1M Yes

分類:模型 - HTTP 請求

計量 REST API 中的名稱 進階平台指標 單位 Aggregation 尺寸 時間顆粒 DS 匯出
模型可用性率

可用率百分比計算如下:(總通話 - 伺服器錯誤)/總通話數。 伺服器錯誤包括任何 HTTP 回應 >=500。
ModelAvailabilityRate No Percent 最低、最高、平均 Region, ModelDeploymentName, , ModelNameModelVersion PT1M No
模型要求

在一段時間內呼叫模型 API 的次數。 適用於PTU、PTU-Managed 及隨用隨付部署。
ModelRequests No 計數 總計 (總和) ApiName, OperationName, , RegionStreamTypeModelDeploymentNameModelNameModelVersionStatusCodeIsSpilloverServiceTierRequestServiceTierResponse PT1M Yes

類別:型號 - 延遲

計量 REST API 中的名稱 進階平台指標 單位 Aggregation 尺寸 時間顆粒 DS 匯出
代幣間隔時間

模型代幣生成率以毫秒為單位。 適用於PTU及PTU管理的部署。 對於非串流請求,這個數值只是估計值。
NormalizedTimeBetweenTokens No 毫秒 最大值、最小值、平均值 ApiName, OperationName, Region, StreamType, ModelDeploymentNameModelName,ModelVersion PT1M Yes
標準化至第一個位元組的時間

模型提出請求後,第一個回應資料位元組被接收所需的時間,並以標記標準化。 適用於PTU、PTU管理及隨用隨付部署。 對於非串流請求,這個數值只是估計值。
NormalizedTimeToFirstToken No 毫秒 最大值、最小值、平均值 ApiName, OperationName, Region, StreamType, ModelDeploymentNameModelName,ModelVersion PT1M Yes
最後一個位元組的時間

模型提出請求後,回應資料最後一個位元組被接收所需的時間。 適用於PTU、PTU管理及隨用隨付部署。 對於非串流請求,這個數值只是估計值。
TimeToLastByte No 毫秒 最大值、最小值、平均值 ApiName, OperationName, Region, StreamType, ModelDeploymentNameModelName,ModelVersion PT1M Yes
回應時間

建議的延遲(反應速度)指標。 適用於PTU及PTU管理的部署。 計算為使用者發送提示後,第一個回應出現所需的時間,依據 API 閘道所測量。 隨著提示大小增加及/或快取命中大小減少,這個數字會增加。 要將回應時間分解到回應指標,你可以新增篩選器或依以下維度進行分割:ModelDeploymentName、ModelName 和 ModelVersion。

注意:此指標僅為近似值,因為測量延遲高度依賴多項因素,包括同時通話次數及整體工作負載模式。 此外,它也未考慮客戶端與 API 端點之間可能存在的任何延遲。 對於非串流請求,這個數值只是估計值。 請參考您自己的日誌以取得最佳延遲追蹤。
TimeToResponse No 毫秒 最低、最高、平均 ApiName, OperationName, Region, , StreamTypeModelDeploymentNameModelNameModelVersionStatusCode PT1M Yes
每秒代幣數

列舉給定模型響應的生成速度。 產生的代幣總數除以產生代幣的時間,單位為秒。 適用於PTU及PTU管理的部署。 對於非串流請求,這個數值只是估計值。
TokensPerSecond No 計數 最大值、最小值、平均值 ApiName, OperationName, Region, StreamType, ModelDeploymentNameModelName,ModelVersion PT1M Yes

分類:型號 - 使用情況

計量 REST API 中的名稱 進階平台指標 單位 Aggregation 尺寸 時間顆粒 DS 匯出
註解頁面

處理的總頁數為註解。 適用於PTU、PTU-Managed 及隨用隨付部署。
AnnotatedPages No 計數 總計 (總和) ApiName, Region, , ModelDeploymentNameModelName,ModelVersion PT1M Yes
音訊輸入標記

OpenAI 模型上處理(輸入)的音頻提示標記數量。 適用於PTU管理模型部署。
AudioInputTokens No 計數 總計 (總和) ModelDeploymentName, ModelName, , ModelVersionRegion PT1M Yes
音訊輸出標記

OpenAI 模型上產生(輸出)的音頻提示詞數量。 適用於PTU管理模型部署。
AudioOutputTokens No 計數 總計 (總和) ModelDeploymentName, ModelName, , ModelVersionRegion PT1M Yes
從快取讀取的提示標記

從快取讀取的標記總數。 適用於 Anthropic 模型部署。 在回應使用區塊中出現為 cache_read_input_tokens
cacheReadInputTokens No 計數 總計 (總和) ApiName, Region, , ModelDeploymentNameModelName, ModelVersion, ,ContextLength PT1M Yes
寫入快取的提示標記(1 小時 TTL)

用來製作一小時參賽作品所需的提示代幣數量。 適用於 Anthropic 模型部署。 在回應使用區塊中出現為 cache_creation.ephemeral_1h_input_tokens
ephemeral1hInputTokens No 計數 總計 (總和) ApiName, Region, , ModelDeploymentNameModelName, ModelVersion, ,ContextLength PT1M Yes
寫入快取的提示令牌(5分鐘 TTL)

用來建立 5 分鐘快取條目所需的提示代幣數量。 適用於 Anthropic 模型部署。 在回應使用區塊中出現為 cache_creation.ephemeral_5m_input_tokens
ephemeral5mInputTokens No 計數 總計 (總和) ApiName, Region, , ModelDeploymentNameModelName, ModelVersion, ,ContextLength PT1M Yes
鑄造廠模型預估成本(預覽)

此帳戶模型使用時的預估美元成本。 僅適用於 Foundry 模型。 此數值為估算,並非發票或已開帳單的費用。
FoundryModelEstimatedCost No 未指定 總計 (總和) ProjectId, ModelDeploymentName, , ModelNameModelVersion,Region PT1M No
生成影像

產生的影像總數。 適用於PTU、PTU-Managed 及隨用隨付部署。
GeneratedImages No 計數 總計 (總和) ApiName, Region, , ModelDeploymentNameModelName,ModelVersion PT1M Yes
輸入標記

模型上處理(輸入)的提示標記數量。 適用於PTU、PTU-Managed 及隨用隨付部署。
InputTokens No 計數 總計 (總和) ApiName, Region, , ModelDeploymentNameModelName,ModelVersion PT1M Yes
輸出標記

OpenAI 模型產生(輸出)的代幣數量。 適用於PTU、PTU-Managed 及隨用隨付部署。
OutputTokens No 計數 總計 (總和) ApiName, Region, , ModelDeploymentNameModelName,ModelVersion PT1M Yes
預配置使用率

預定管理部署的利用率 % 計算為(消耗的 PTU / 部署的 PTU)x 100。 當利用率大於或等於100%時,通話會被限速並回傳錯誤代碼429。
ProvisionedUtilization No Percent 最低、最高、平均 Region, ModelDeploymentName, , ModelNameModelVersion PT1M No
總頁數

總處理頁數。 適用於PTU、PTU-Managed 及隨用隨付部署。
TotalPages No 計數 總計 (總和) ApiName, Region, , ModelDeploymentNameModelName,ModelVersion PT1M Yes
總代幣

模型上處理的推理標記數量。 計算方式為提示代幣(輸入)加上產生代幣(輸出)。 適用於PTU、PTU-Managed 及隨用隨付部署。
TotalTokens No 計數 總計 (總和) ApiName, Region, , ModelDeploymentNameModelName,ModelVersion PT1M Yes

分類:SpeechServices - 使用情況

計量 REST API 中的名稱 進階平台指標 單位 Aggregation 尺寸 時間顆粒 DS 匯出
音頻秒數批次轉錄

轉錄的批次數秒數
AudioSecondsBatchTranscribed No 計數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
音頻秒數批次耳語轉錄

批次耳語轉錄的秒數
AudioSecondsBatchWhisperTranscribed No 計數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
快速轉錄的音頻秒數

快速轉錄的秒數
AudioSecondsFastTranscribed No 計數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
音頻秒數快速 低語 文字記錄

快速低語的秒數轉錄
AudioSecondsFastWhisperTranscribed No 計數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
錄音秒數轉錄

轉錄的秒數
AudioSecondsTranscribed No 計數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
音訊秒數翻譯

換算秒數
AudioSecondsTranslated No 計數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
虛擬形象主機 Seconds

秒數。
AvatarModelHostingSeconds No 計數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
虛擬形象訓練秒數

秒數。
AvatarModelTrainingSeconds No 計數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
演講模特兒主持時數

語音模型主持時數
SpeechModelHostingHours No 計數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
合成字元

字元數。
SynthesizedCharacters No 計數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
合成的影片秒

合成的秒數
VideoSecondsSynthesized No 計數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
語音即時音訊輸入標記

音訊輸入標記數量,不含快取標記。
VoiceLiveAudioInputTokens No 計數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
語音即時音訊輸出令牌

音訊輸出標記的數量。
VoiceLiveAudioOutputTokens No 計數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
Voice Live 快取音訊輸入標記

快取的音訊輸入標記數量。
VoiceLiveCachedAudioInputTokens No 計數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
語音即時快取文字輸入標記

快取的文字輸入標記數量。
VoiceLiveCachedTextInputTokens No 計數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
語音即時文字輸入標記

文字輸入標記數量,不含快取標記。
VoiceLiveTextInputTokens No 計數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
語音即時文字輸出令牌

文字輸出標記數量。
VoiceLiveTextOutputTokens No 計數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
語音模特主持時段

工時數。
VoiceModelHostingHours No 計數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
語音模型訓練分鐘數

分鐘數。
VoiceModelTrainingMinutes No 計數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes

分類:翻譯服務 - 使用情況

計量 REST API 中的名稱 進階平台指標 單位 Aggregation 尺寸 時間顆粒 DS 匯出
文件字元翻譯

文件翻譯請求中的字元數。
DocumentCharactersTranslated No 計數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
文件自訂字元翻譯

自訂文件翻譯請求中的字元數。
DocumentCustomCharactersTranslated No 計數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
文件同步字元已翻譯

文件翻譯(同步)請求中的字元數。
OneDocumentCharactersTranslated No 計數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
文件同步自訂字元翻譯

自訂文件翻譯(同步)請求中的字元數。
OneDocumentCustomCharactersTranslated No 計數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
翻譯的文字字符

輸入文字翻譯請求的字元數。
TextCharactersTranslated No 計數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
文字自訂字元翻譯

輸入自訂文字翻譯請求的字元數。
TextCustomCharactersTranslated No 計數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
文字訓練字元

使用文字翻譯訓練的字元數。
TextTrainedCharacters No 計數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
翻譯器專業應用程式 Seconds

Translator Pro 應用程式使用秒數。
TranslatorProAppSeconds No 秒數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes

類別:使用方式

計量 REST API 中的名稱 進階平台指標 單位 Aggregation 尺寸 時間顆粒 DS 匯出
電腦視覺 交易

電腦視覺 交易數量
ComputerVisionTransactions No 計數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
客製化視覺訓練時間

客製化視覺訓練時間
CustomVisionTrainingTime No 秒數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
自訂願景交易

自訂視覺預測交易數量
CustomVisionTransactions No 計數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
臉部影像訓練

訓練的影像數量。 每筆交易訓練 1,000 張圖片。
FaceImagesTrained No 計數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
已儲存的臉孔

每日按比例計算儲存的面孔數量。 每日報告儲存的臉部數量。
FacesStored No 計數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
臉部交易

Face 服務所呼叫的 API 次數
FaceTransactions No 計數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
儲存的影像

儲存的自訂視覺影像數量。
ImagesStored No 計數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
已學習的事件

學習事件數量。
LearnedEvents No 計數 總計 (總和) IsMatchBaseline, Mode, RunId PT1M Yes
LUIS 語音請求

LUIS 語音轉意圖理解請求數量
LUISSpeechRequests No 計數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
LUIS 文字請求

LUIS 簡訊請求數量
LUISTextRequests No 計數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
相符的獎勵

配對獎勵數量。
MatchedRewards No 計數 總計 (總和) Mode、RunId PT1M Yes
未啟動事件

跳過的活動數量。
NonActivatedEvents No 計數 總計 (總和) Mode、RunId PT1M Yes
觀察到的獎勵

觀察到的獎勵數量。
ObservedRewards No 計數 總計 (總和) Mode、RunId PT1M Yes
已處理的字元

由 沉浸式閱讀程式 處理的字元數。
ProcessedCharacters No 計數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
已處理的健康文字記錄

處理的健康文字記錄數量
ProcessedHealthTextRecords No 計數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
已處理的影像

處理影像數量
ProcessedImages No 計數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
已處理的頁面

處理頁數
ProcessedPages No 計數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
已處理的文字記錄

文字記錄數量。
ProcessedTextRecords No 計數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
QA 文字記錄

處理的文字記錄數量
QuestionAnsweringTextRecords No 計數 總計 (總和) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
事件總數

事件數量。
TotalEvents No 計數 總計 (總和) Mode、RunId PT1M Yes
總交易數(已棄用)

交易總數。
TotalTransactions No 計數 總計 (總和) <沒有> PT1M Yes

公制尺寸

關於什麼是度量維度,請參見 多維度量。

此服務具有以下與其指標相關的維度。

  • ApiName
  • 功能名稱
  • ModelDeploymentName
  • 型號名稱
  • 模型版本
  • 作業名稱
  • 區域
  • StatusCode(狀態碼)
  • 資料流類型
  • 使用頻道

資源日誌

本節列出您可以為此服務收集的資源日誌類型。 本節從 Azure 監視器 支援的 所有資源日誌類別類型列表中擷取資料。

支援 Microsoft 資源日誌。認知服務/帳號

類別 出口成本 日志表 支援基本的對木平面圖 支援吞入時間轉換 範例查詢
稽核 No AzureDiagnostics

來自多個 Azure 資源的日誌。

No No
AzureOpenAIRequestUsage Yes AzureDiagnostics

來自多個 Azure 資源的日誌。

No No
ManagedNetworkEvent Yes AzureDiagnostics

來自多個 Azure 資源的日誌。

No No
請求回應 No AzureDiagnostics

來自多個 Azure 資源的日誌。

No No
追蹤 No AzureDiagnostics

來自多個 Azure 資源的日誌。

No No

Azure 監控日誌表格

本節列出與此服務相關的 Azure 監視器 日誌資料表,這些資料表可透過 Log Analytics 透過 Kusto 查詢查詢。 這些資料表包含資源日誌資料,可能還有更多資料,視收集和路由到的資料而定。

Azure OpenAI microsoft.cognitiveservices/accounts

活動記錄檔

連結表列出可記錄於此服務活動日誌中的操作。 這些操作是 活動日誌中所有可能的資源提供者操作的子集。

欲了解更多活動日誌條目的結構,請參見 活動日誌結構。