本文包含本服務的所有監測參考資訊。
關於你可以在 Microsoft Foundry 模型中收集 OpenAI Azure資料的詳細資訊,以及如何使用,請參見 OpenAI <
Metrics
本節列出所有自動收集的平台指標。 這些指標同時也是全球Azure 監視器支援的
有關指標保留的資訊,請參閱 Azure 監視器 指標概覽。
支援 Microsoft 的指標。認知服務/帳號
監控 Azure OpenAI 最重要的指標。 本文後面會列出該命名空間所有可用指標的詳細資料,並包含更詳細的指標。 請參閱以下列表以獲得最 up-to的日期資訊。 Azure 團隊正在著手更新以下章節的資料表。
Important
請勿將本節的指標與本文後面「Latency」下的舊有指標混淆。 舊有的 Latency 指標並非為 OpenAI 工作負載設計Azure,當用來診斷 OpenAI 延遲時會產生誤導Azure結果。 對於 OpenAI Azure延遲監控,可以使用 回應時間 (AzureOpenAITimeToResponse)、 最後位元組時間 (AzureOpenAITTLTInMS)、標記間時間 (AzureOpenAINormalizedTBTInMS),或 標準化到第一個位元組 (AzureOpenAINormalizedTTFTInMS)。 關於解讀這些指標的指引,請參見 效能與延遲。
- Azure OpenAI Requests
- 主動代幣
- 產生的完成代幣
- 處理精細調整訓練時數
- 處理後推論標記
- 處理後的提示標記
- 配置管理利用 V2
- 提示令牌快取匹配率
- 回應時間
- 代幣間隔時間
- 最後一個位元組的時間
- 標準化至第一個位元組的時間
- 每秒代幣數
你也可以監控其他相關服務使用的內容安全指標。
- 阻塞量
- 偵測到有害體積
- 潛在濫用用戶數量
- 安全系統活動
- 送來安全檢查的總量
備註
配置 管理的利用率 指標現已棄用,不再建議使用。 此指標被 配置管理的利用率 V2 指標取代。 標準部署目前無法提供每秒代幣數、回應時間和代幣間隔時間。
快速參考:依使用案例分類的關鍵指標
請使用此表尋找特定監測目標的正確指標。 關於解讀這些指標的端對端指引,請參見 效能與延遲。
| 我想監控...... | 使用這個指標 | REST API 名稱 |
|---|---|---|
| 整體反應時間 | 最後一個位元組的時間 | AzureOpenAITTLTInMS |
| 第一標記響應性(串流) | 回應時間 | AzureOpenAITimeToResponse |
| 代幣生成速度 | 代幣間隔時間 | AzureOpenAINormalizedTBTInMS |
| 第一標記效率以提示大小標準化 | 標準化至第一個位元組的時間 | AzureOpenAINormalizedTTFTInMS |
| 每個請求的輸出權杖量 | 產生的完成代幣 | GeneratedTokens |
| 每個請求的輸入標記量 | 處理後的提示標記 | ProcessedPromptTokens |
| PTU 容量利用率 | 配置管理利用 V2 | AzureOpenAIProvisionedManagedUtilizationV2 |
| 請求音量與錯誤 | Azure OpenAI Requests | AzureOpenAIRequests |
Tip
延遲指標和代幣計數指標一定要配對。 延遲增加卻沒有相應的代幣增加,可能代表真正的問題。 延遲增加與成比例的標記增加是預期行為。
Warning
本文後面提到的Cognitive Services - HTTP Requests 下的指標是舊有的認知服務指標,並非為 OpenAI 工作負載Azure設計。 特別是,該類別中的 Latency 指標與 OpenAI Azure 延遲指標(回應時間、最後位元組時間、標記間隔時間、標準化至第一個位元組時間)不同。 使用舊有的 Latency 指標來Azure OpenAI 故障排除會產生誤導性的結果。 建議使用本節列出的 Azure OpenAI 指標。
下表列出了 Microsoft 可用的指標。CognitiveServices/Account 資源類型。
- 並非所有欄位都存在於每張表格中。
- 有些欄位可能超出頁面的視野範圍。 選擇 展開表格 以查看所有可用欄位。
表格標題
- 類別 - 指標群組或分類。
- Metric - Azure入口中顯示的度量顯示名稱。
- REST API 中的名稱 - REST API 中所指的指標名稱。
- 單位 - 計量單位。
- 聚合 - 預設的 聚合 類型。 有效數值:平均(平均)、最小(最小)、最大(最大)、總(總和)、計數。
- 尺寸 - 度量的可用尺寸。
-
時間顆粒 - 度量取樣的區間。 例如,表示
PT1M指標每分鐘、PT30M每 30 分鐘、PT1H每小時抽樣一次,依此類推。 - DS 匯出- 指標是否能透過診斷設定匯出到 Azure 監視器 日誌。 有關匯出指標的資訊,請參閱 在 Azure 監視器 建立診斷設定。
分類:Azure OpenAI - HTTP 請求
| 計量 | REST API 中的名稱 | 進階平台指標 | 單位 | Aggregation | 尺寸 | 時間顆粒 | DS 匯出 |
|---|---|---|---|---|---|---|---|
|
Azure OpenAI 可用性率 可用率百分比計算如下:(總通話 - 伺服器錯誤)/總通話數。 伺服器錯誤包括任何 HTTP 回應 >=500。 |
AzureOpenAIAvailabilityRate |
No | Percent | 最低、最高、平均 |
ApiName, OperationName, Region, StreamType, ModelDeploymentNameModelName,ModelVersion |
PT1M | No |
|
Azure OpenAI 請求 在一段時間內呼叫 Azure OpenAI API 的次數。 適用於PTU、PTU-Managed 及隨用隨付部署。 要拆解 API 請求,你可以新增篩選器或依以下維度拆分:ModelDeploymentName、ModelName、ModelVersion、StatusCode(成功、clienterrors、server errors)、用於溢出資訊的 IsSpillover、ServiceTier、StreamType(串流與非串流請求)以及操作。 |
AzureOpenAIRequests |
No | 計數 | 總計 (總和) |
ApiName, OperationName, , RegionStreamTypeModelDeploymentNameModelNameModelVersionStatusCodeIsSpilloverServiceTierRequestServiceTierResponse |
PT1M | Yes |
分類:Azure OpenAI - 延遲
| 計量 | REST API 中的名稱 | 進階平台指標 | 單位 | Aggregation | 尺寸 | 時間顆粒 | DS 匯出 |
|---|---|---|---|---|---|---|---|
|
代幣間隔時間 對於串流請求;模型代幣生成率,以毫秒為單位。 適用於PTU、PTU管理及隨用隨付部署。 |
AzureOpenAINormalizedTBTInMS |
No | 毫秒 | 最大值、最小值、平均值 |
Region, ModelDeploymentName, , ModelNameModelVersion, ServiceTierRequest, ,ServiceTierResponse |
PT1M | Yes |
|
標準化至第一個位元組的時間 無論是串流還是非串流請求;模型提出請求後,第一個回應資料位元組所需的時間,並以標記正規化。 適用於PTU、PTU管理及隨用隨付部署。 |
AzureOpenAINormalizedTTFTInMS |
No | 毫秒 | 最大值、最小值、平均值 |
Region, ModelDeploymentName, , ModelNameModelVersion, ServiceTierRequest, ,ServiceTierResponse |
PT1M | Yes |
|
回應時間 串流請求的建議延遲(回應速度)指標。 適用於PTU、PTU管理及隨用隨付部署。 計算為使用者發送提示後,第一個回應出現所需的時間,依據 API 閘道所測量。 隨著提示大小增加及/或快取命中大小減少,這個數字會增加。 要將回應時間分解到回應指標,你可以新增篩選器或依以下維度進行分割:ModelDeploymentName、ModelName 和 ModelVersion。 注意:此指標僅為近似值,因為測量延遲高度依賴多項因素,包括同時通話次數及整體工作負載模式。 此外,它也未考慮客戶端與 API 端點之間可能存在的任何延遲。 請參考您自己的日誌以取得最佳延遲追蹤。 |
AzureOpenAITimeToResponse |
No | 毫秒 | 最低、最高、平均 |
ApiName、OperationName、Region、StreamType、ModelDeploymentName、ModelName、ModelVersion、StatusCode、ServiceTierRequest、ServiceTierResponse |
PT1M | Yes |
|
每秒代幣數 列舉給定 Azure OpenAI 模型回應的生成速度。 產生的代幣總數除以產生代幣的時間,單位為秒。 適用於PTU、PTU管理及隨用隨付部署。 |
AzureOpenAITokenPerSecond |
No | 計數 | 最大值、最小值、平均值 |
Region, ModelDeploymentName, , ModelNameModelVersion, ServiceTierRequest, ,ServiceTierResponse |
PT1M | Yes |
|
最後一個位元組的時間 無論是串流還是非串流請求;模型提出請求後,回應資料最後一個位元組被接收所需的時間。 適用於PTU、PTU管理及隨用隨付部署。 |
AzureOpenAITTLTInMS |
No | 毫秒 | 最大值、最小值、平均值 |
Region, ModelDeploymentName, , ModelNameModelVersion, ServiceTierRequest, ,ServiceTierResponse |
PT1M | Yes |
分類:Azure OpenAI - 使用
| 計量 | REST API 中的名稱 | 進階平台指標 | 單位 | Aggregation | 尺寸 | 時間顆粒 | DS 匯出 |
|---|---|---|---|---|---|---|---|
|
作用中語彙基元 總代幣減去一段時間內的快取代幣。 適用於PTU及PTU管理的部署。 利用這個指標了解你基於 TPS 或 TPM 的 PTU 利用率,並與你針對特定情境的目標 TPS 或 TPM 基準做比較。 要拆解 API 請求,你可以新增過濾器或依以下維度進行分割:ModelDeploymentName、ModelName 和 ModelVersion。 |
ActiveTokens |
No | 計數 | 最小值、最大值、平均值、總數(總和) |
Region, ModelDeploymentName, , ModelNameModelVersion, ServiceTierRequest, ,ServiceTierResponse |
PT1M | Yes |
|
音訊完成標記 OpenAI 模型上產生(輸出)的音頻提示詞數量。 適用於PTU管理及按用量付費模式的部署。 |
AudioCompletionTokens |
No | 計數 | 總計 (總和) |
ModelDeploymentName, ModelName, , ModelVersionRegion |
PT1M | Yes |
|
音訊提示代幣 OpenAI 模型上處理(輸入)的音頻提示標記數量。 適用於PTU管理及按用量付費模式的部署。 |
AudioPromptTokens |
No | 計數 | 總計 (總和) |
ModelDeploymentName, ModelName, , ModelVersionRegion |
PT1M | Yes |
|
提示令牌快取匹配率 觸發快取代幣的百分比。 適用於PTU及PTU管理的部署。 |
AzureOpenAIContextTokensCacheMatchRate |
No | Percent | 最低、最高、平均 |
Region, ModelDeploymentName, , ModelNameModelVersion |
PT1M | No |
|
配置管理利用(已棄用) 預定管理部署的利用率 % 計算為(消耗的 PTU / 部署的 PTU)x 100。 當利用率大於或等於100%時,通話會被限速並回傳錯誤代碼429。 要拆解這個指標,你可以新增過濾器或依以下維度進行分割:ModelDeploymentName、ModelName、ModelVersion 和 StreamType(串流與非串流請求) |
AzureOpenAIProvisionedManagedUtilization |
No | Percent | 最低、最高、平均 |
Region, StreamType, , ModelDeploymentNameModelName,ModelVersion |
PT1M | No |
|
配置管理利用 V2 預定管理部署的利用率 % 計算為(消耗的 PTU / 部署的 PTU)x 100。 當利用率大於或等於100%時,通話會被限速並回傳錯誤代碼429。 要拆解這個指標,你可以新增過濾器或依以下維度進行分割:ModelDeploymentName、ModelName、ModelVersion 和 StreamType(串流與非串流請求) |
AzureOpenAIProvisionedManagedUtilizationV2 |
No | Percent | 最低、最高、平均 |
Region, StreamType, , ModelDeploymentNameModelName,ModelVersion |
PT1M | No |
|
處理精細調整訓練時數 OpenAI 微調模型處理的訓練時數 |
FineTunedTrainingHours |
No | 計數 | 總計 (總和) |
ApiName, ModelDeploymentName, , FeatureNameUsageChannel,Region |
PT1M | Yes |
|
產生的完成代幣 OpenAI 模型產生(輸出)的代幣數量。 適用於PTU、PTU管理及隨用隨付部署。 要拆解此指標,你可以新增篩選器或依以下維度進行分割:ModelDeploymentName 和 ModelName。 |
GeneratedTokens |
No | 計數 | 總計 (總和) |
ApiName, ModelDeploymentName, FeatureName, , UsageChannelRegionModelVersionServiceTierRequestServiceTierResponse |
PT1M | Yes |
|
處理後的提示標記 OpenAI 模型中處理(輸入)的提示代幣數量。 適用於PTU、PTU管理及隨用隨付部署。 要拆解此指標,你可以新增篩選器或依以下維度進行分割:ModelDeploymentName 和 ModelName。 |
ProcessedPromptTokens |
No | 計數 | 總計 (總和) |
ApiName, ModelDeploymentName, FeatureName, , UsageChannelRegionModelVersionServiceTierRequestServiceTierResponse |
PT1M | Yes |
|
使用的即時 API 秒數 RealtimeAPI 使用的秒數 |
RealtimeUsageTime |
No | 計數 | 總計 (總和) |
Region、ModelDeploymentName |
PT1M | Yes |
|
處理後推論標記 OpenAI 模型上處理的推論代幣數量。 計算方式為提示代幣(輸入)加上產生代幣(輸出)。 適用於PTU、PTU管理及隨用隨付部署。 要拆解此指標,你可以新增篩選器或依以下維度進行分割:ModelDeploymentName 和 ModelName。 |
TokenTransaction |
No | 計數 | 總計 (總和) |
ApiName, ModelDeploymentName, FeatureName, , UsageChannelRegionModelVersionServiceTierRequestServiceTierResponse |
PT1M | Yes |
分類:認知服務 - HTTP 請求
| 計量 | REST API 中的名稱 | 進階平台指標 | 單位 | Aggregation | 尺寸 | 時間顆粒 | DS 匯出 |
|---|---|---|---|---|---|---|---|
|
封鎖的呼叫 超過費率或配額限制的通話數量。 請勿用於 Azure OpenAI 服務。 |
BlockedCalls |
No | 計數 | 總計 (總和) |
ApiName, OperationName, , RegionRatelimitKey |
PT1M | Yes |
|
用戶端錯誤 呼叫次數為用戶端錯誤(HTTP 回應代碼 4xx)。 請勿用於 Azure OpenAI 服務。 |
ClientErrors |
No | 計數 | 總計 (總和) |
ApiName, OperationName, , RegionRatelimitKey |
PT1M | Yes |
|
數據輸入 輸入資料的大小(位元組)。 請勿用於 Azure OpenAI 服務。 |
DataIn |
No | Bytes | 總計 (總和) |
ApiName, OperationName, Region |
PT1M | Yes |
|
數據輸出 輸出資料的大小(以位元組為單位)。 請勿用於 Azure OpenAI 服務。 |
DataOut |
No | Bytes | 總計 (總和) |
ApiName, OperationName, Region |
PT1M | Yes |
|
Latency 延遲以毫秒計。 請勿用於 Azure OpenAI 服務。 |
Latency |
No | 毫秒 | 平均 |
ApiName, OperationName, , RegionRatelimitKey |
PT1M | Yes |
|
Ratelimit 目前的速率限制鍵。 請勿用於 Azure OpenAI 服務。 |
Ratelimit |
No | 計數 | 總計 (總和) |
Region、RatelimitKey |
PT1M | Yes |
|
伺服器錯誤 服務內部錯誤的通話次數(HTTP 回應代碼 5xx)。 請勿用於 Azure OpenAI 服務。 |
ServerErrors |
No | 計數 | 總計 (總和) |
ApiName, OperationName, , RegionRatelimitKey |
PT1M | Yes |
|
成功呼叫 成功通話次數。 請勿用於 Azure OpenAI 服務。 |
SuccessfulCalls |
No | 計數 | 總計 (總和) |
ApiName, OperationName, , RegionRatelimitKey |
PT1M | Yes |
|
總通話數 通話總數。 請勿用於 Azure OpenAI 服務。 |
TotalCalls |
No | 計數 | 總計 (總和) |
ApiName, OperationName, , RegionRatelimitKey |
PT1M | Yes |
|
錯誤總數 有錯誤回應的通話總數(HTTP 回應代碼為 4xx 或 5xx)。 請勿用於 Azure OpenAI 服務。 |
TotalErrors |
No | 計數 | 總計 (總和) |
ApiName, OperationName, , RegionRatelimitKey |
PT1M | Yes |
|
總令牌呼叫數 代幣通話總數。 |
TotalTokenCalls |
No | 計數 | 總計 (總和) |
ApiName, OperationName, Region |
PT1M | Yes |
分類:認知服務 - SLI
| 計量 | REST API 中的名稱 | 進階平台指標 | 單位 | Aggregation | 尺寸 | 時間顆粒 | DS 匯出 |
|---|---|---|---|---|---|---|---|
|
AvailabilityRate 可用率百分比計算如下:(總通話 - 伺服器錯誤)/總通話數。 伺服器錯誤包括任何 HTTP 回應 >=500。 請勿用於 Azure OpenAI 服務。 |
SuccessRate |
No | Percent | 最低、最高、平均 |
ApiName, OperationName, , RegionRatelimitKey |
PT1M | No |
分類:內容理解 - 使用法
| 計量 | REST API 中的名稱 | 進階平台指標 | 單位 | Aggregation | 尺寸 | 時間顆粒 | DS 匯出 |
|---|---|---|---|---|---|---|---|
|
臉部交易 Face 服務所呼叫的 API 次數 |
FaceApiTransactions |
No | 計數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
|
處理後音訊會議記錄 處理的音頻分鐘數 |
ProcessedAudioMinutes |
No | 計數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
|
已處理的頁面 處理的文件頁數 |
ProcessedDocumentPages |
No | 計數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
|
已處理的影像 處理影像數量 |
ProcessedImageCount |
No | 計數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
|
處理過的影片分鐘數 處理的影片數分鐘 |
ProcessedVideoMinutes |
No | 計數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
|
代幣 消耗的代幣數量 |
Tokens |
No | 計數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
分類:內容安全 - 風險與安全
| 計量 | REST API 中的名稱 | 進階平台指標 | 單位 | Aggregation | 尺寸 | 時間顆粒 | DS 匯出 |
|---|---|---|---|---|---|---|---|
|
偵測到有害體積 在一段時間內,透過內容過濾器偵測到對 Azure OpenAI API 的呼叫次數(包含區塊模型和註解模式)。 你可以新增篩選器或依以下維度進行分割:ModelDeploymentName、ModelName 和 TextType。 |
RAIHarmfulRequests |
No | 計數 | 總計 (總和) |
Region, ModelDeploymentName, ModelName, , ModelVersionApiNameTextTypeCategorySeverity |
PT1M | Yes |
|
封鎖的磁碟區 在一段時間內,對 Azure OpenAI API 的呼叫次數並被內容過濾器拒絕。 你可以新增篩選器或依以下維度進行分割:ModelDeploymentName、ModelName 和 TextType。 |
RAIRejectedRequests |
No | 計數 | 總計 (總和) |
Region, ModelDeploymentName, ModelName, ModelVersion, ApiNameTextType,Category |
PT1M | Yes |
|
安全系統活動 系統事件用於風險與安全監控。 你可以新增篩選器或依以下維度進行分割:EventType。 |
RAISystemEvent |
No | 計數 | 平均 |
Region、EventType |
PT1M | Yes |
|
送出安全檢查的總體積 在一段時間內,對 Azure OpenAI API 的呼叫次數,並透過內容過濾器偵測到。 你可以新增篩選器或依以下維度進行分割:ModelDeploymentName、ModelName。 |
RAITotalRequests |
No | 計數 | 總計 (總和) |
Region, ModelDeploymentName, , ModelNameModelVersion,ApiName |
PT1M | Yes |
分類:內容安全 - 使用情況
| 計量 | REST API 中的名稱 | 進階平台指標 | 單位 | Aggregation | 尺寸 | 時間顆粒 | DS 匯出 |
|---|---|---|---|---|---|---|---|
|
圖片審核的來電次數 圖片審核的電話數量。 |
ContentSafetyImageAnalyzeRequestCount |
No | 計數 | 總計 (總和) | ApiVersion |
PT1M | Yes |
|
簡訊審核來電次數 簡訊審核的電話數量。 |
ContentSafetyTextAnalyzeRequestCount |
No | 計數 | 總計 (總和) | ApiVersion |
PT1M | Yes |
分類:語言 - 工作
| 計量 | REST API 中的名稱 | 進階平台指標 | 單位 | Aggregation | 尺寸 | 時間顆粒 | DS 匯出 |
|---|---|---|---|---|---|---|---|
|
工作持續時間(預覽) 注意:此值高度依賴輸入大小、文件數量及任務複雜度。 這是所有工作任務的總值。 |
JobDuration |
No | 毫秒 | 最低、最高、平均 |
JobStatus、JobType |
PT1M | Yes |
分類:模型銑刀
| 計量 | REST API 中的名稱 | 進階平台指標 | 單位 | Aggregation | 尺寸 | 時間顆粒 | DS 匯出 |
|---|---|---|---|---|---|---|---|
|
型號路由器備援計數 需要回退到替代模式的請求數量。 |
ModelRouterFallbackCount |
No | 計數 | 總計 (總和) |
ModelDeploymentName, ModelName, , RegionRouterMode |
PT1M | Yes |
|
模型路由器延遲 模型路由器花時間做路由決策。 |
ModelRouterLatency |
No | 毫秒 | 最低、最高、平均 |
ModelDeploymentName, ModelName, , RegionRouterMode |
PT1M | Yes |
|
模型路由器請求 型號路由器處理的請求總數。 |
ModelRouterRequests |
No | 計數 | 總計 (總和) |
ModelDeploymentName, ModelName, , RegionRouterMode |
PT1M | Yes |
|
模型路由器來源模型備援 有多少次請求是第一次嘗試的模型失敗,導致退回到另一個模型。 |
ModelRouterSourceModelFallback |
No | 計數 | 總計 (總和) |
ModelDeploymentName, ModelName, , RegionRouterMode,SourceModelName |
PT1M | Yes |
|
模型路由器成功請求 成功路由且無錯誤的請求數量。 |
ModelRouterSuccessfulRequests |
No | 計數 | 總計 (總和) |
ModelDeploymentName, ModelName, , RegionRouterMode |
PT1M | Yes |
分類:模型 - HTTP 請求
| 計量 | REST API 中的名稱 | 進階平台指標 | 單位 | Aggregation | 尺寸 | 時間顆粒 | DS 匯出 |
|---|---|---|---|---|---|---|---|
|
模型可用性率 可用率百分比計算如下:(總通話 - 伺服器錯誤)/總通話數。 伺服器錯誤包括任何 HTTP 回應 >=500。 |
ModelAvailabilityRate |
No | Percent | 最低、最高、平均 |
Region, ModelDeploymentName, , ModelNameModelVersion |
PT1M | No |
|
模型要求 在一段時間內呼叫模型 API 的次數。 適用於PTU、PTU-Managed 及隨用隨付部署。 |
ModelRequests |
No | 計數 | 總計 (總和) |
ApiName, OperationName, , RegionStreamTypeModelDeploymentNameModelNameModelVersionStatusCodeIsSpilloverServiceTierRequestServiceTierResponse |
PT1M | Yes |
類別:型號 - 延遲
| 計量 | REST API 中的名稱 | 進階平台指標 | 單位 | Aggregation | 尺寸 | 時間顆粒 | DS 匯出 |
|---|---|---|---|---|---|---|---|
|
代幣間隔時間 模型代幣生成率以毫秒為單位。 適用於PTU及PTU管理的部署。 對於非串流請求,這個數值只是估計值。 |
NormalizedTimeBetweenTokens |
No | 毫秒 | 最大值、最小值、平均值 |
ApiName, OperationName, Region, StreamType, ModelDeploymentNameModelName,ModelVersion |
PT1M | Yes |
|
標準化至第一個位元組的時間 模型提出請求後,第一個回應資料位元組被接收所需的時間,並以標記標準化。 適用於PTU、PTU管理及隨用隨付部署。 對於非串流請求,這個數值只是估計值。 |
NormalizedTimeToFirstToken |
No | 毫秒 | 最大值、最小值、平均值 |
ApiName, OperationName, Region, StreamType, ModelDeploymentNameModelName,ModelVersion |
PT1M | Yes |
|
最後一個位元組的時間 模型提出請求後,回應資料最後一個位元組被接收所需的時間。 適用於PTU、PTU管理及隨用隨付部署。 對於非串流請求,這個數值只是估計值。 |
TimeToLastByte |
No | 毫秒 | 最大值、最小值、平均值 |
ApiName, OperationName, Region, StreamType, ModelDeploymentNameModelName,ModelVersion |
PT1M | Yes |
|
回應時間 建議的延遲(反應速度)指標。 適用於PTU及PTU管理的部署。 計算為使用者發送提示後,第一個回應出現所需的時間,依據 API 閘道所測量。 隨著提示大小增加及/或快取命中大小減少,這個數字會增加。 要將回應時間分解到回應指標,你可以新增篩選器或依以下維度進行分割:ModelDeploymentName、ModelName 和 ModelVersion。 注意:此指標僅為近似值,因為測量延遲高度依賴多項因素,包括同時通話次數及整體工作負載模式。 此外,它也未考慮客戶端與 API 端點之間可能存在的任何延遲。 對於非串流請求,這個數值只是估計值。 請參考您自己的日誌以取得最佳延遲追蹤。 |
TimeToResponse |
No | 毫秒 | 最低、最高、平均 |
ApiName, OperationName, Region, , StreamTypeModelDeploymentNameModelNameModelVersionStatusCode |
PT1M | Yes |
|
每秒代幣數 列舉給定模型響應的生成速度。 產生的代幣總數除以產生代幣的時間,單位為秒。 適用於PTU及PTU管理的部署。 對於非串流請求,這個數值只是估計值。 |
TokensPerSecond |
No | 計數 | 最大值、最小值、平均值 |
ApiName, OperationName, Region, StreamType, ModelDeploymentNameModelName,ModelVersion |
PT1M | Yes |
分類:型號 - 使用情況
| 計量 | REST API 中的名稱 | 進階平台指標 | 單位 | Aggregation | 尺寸 | 時間顆粒 | DS 匯出 |
|---|---|---|---|---|---|---|---|
|
註解頁面 處理的總頁數為註解。 適用於PTU、PTU-Managed 及隨用隨付部署。 |
AnnotatedPages |
No | 計數 | 總計 (總和) |
ApiName, Region, , ModelDeploymentNameModelName,ModelVersion |
PT1M | Yes |
|
音訊輸入標記 OpenAI 模型上處理(輸入)的音頻提示標記數量。 適用於PTU管理模型部署。 |
AudioInputTokens |
No | 計數 | 總計 (總和) |
ModelDeploymentName, ModelName, , ModelVersionRegion |
PT1M | Yes |
|
音訊輸出標記 OpenAI 模型上產生(輸出)的音頻提示詞數量。 適用於PTU管理模型部署。 |
AudioOutputTokens |
No | 計數 | 總計 (總和) |
ModelDeploymentName, ModelName, , ModelVersionRegion |
PT1M | Yes |
|
從快取讀取的提示標記 從快取讀取的標記總數。 適用於 Anthropic 模型部署。 在回應使用區塊中出現為 cache_read_input_tokens |
cacheReadInputTokens |
No | 計數 | 總計 (總和) |
ApiName, Region, , ModelDeploymentNameModelName, ModelVersion, ,ContextLength |
PT1M | Yes |
|
寫入快取的提示標記(1 小時 TTL) 用來製作一小時參賽作品所需的提示代幣數量。 適用於 Anthropic 模型部署。 在回應使用區塊中出現為 cache_creation.ephemeral_1h_input_tokens |
ephemeral1hInputTokens |
No | 計數 | 總計 (總和) |
ApiName, Region, , ModelDeploymentNameModelName, ModelVersion, ,ContextLength |
PT1M | Yes |
|
寫入快取的提示令牌(5分鐘 TTL) 用來建立 5 分鐘快取條目所需的提示代幣數量。 適用於 Anthropic 模型部署。 在回應使用區塊中出現為 cache_creation.ephemeral_5m_input_tokens |
ephemeral5mInputTokens |
No | 計數 | 總計 (總和) |
ApiName, Region, , ModelDeploymentNameModelName, ModelVersion, ,ContextLength |
PT1M | Yes |
|
鑄造廠模型預估成本(預覽) 此帳戶模型使用時的預估美元成本。 僅適用於 Foundry 模型。 此數值為估算,並非發票或已開帳單的費用。 |
FoundryModelEstimatedCost |
No | 未指定 | 總計 (總和) |
ProjectId, ModelDeploymentName, , ModelNameModelVersion,Region |
PT1M | No |
|
生成影像 產生的影像總數。 適用於PTU、PTU-Managed 及隨用隨付部署。 |
GeneratedImages |
No | 計數 | 總計 (總和) |
ApiName, Region, , ModelDeploymentNameModelName,ModelVersion |
PT1M | Yes |
|
輸入標記 模型上處理(輸入)的提示標記數量。 適用於PTU、PTU-Managed 及隨用隨付部署。 |
InputTokens |
No | 計數 | 總計 (總和) |
ApiName, Region, , ModelDeploymentNameModelName,ModelVersion |
PT1M | Yes |
|
輸出標記 OpenAI 模型產生(輸出)的代幣數量。 適用於PTU、PTU-Managed 及隨用隨付部署。 |
OutputTokens |
No | 計數 | 總計 (總和) |
ApiName, Region, , ModelDeploymentNameModelName,ModelVersion |
PT1M | Yes |
|
預配置使用率 預定管理部署的利用率 % 計算為(消耗的 PTU / 部署的 PTU)x 100。 當利用率大於或等於100%時,通話會被限速並回傳錯誤代碼429。 |
ProvisionedUtilization |
No | Percent | 最低、最高、平均 |
Region, ModelDeploymentName, , ModelNameModelVersion |
PT1M | No |
|
總頁數 總處理頁數。 適用於PTU、PTU-Managed 及隨用隨付部署。 |
TotalPages |
No | 計數 | 總計 (總和) |
ApiName, Region, , ModelDeploymentNameModelName,ModelVersion |
PT1M | Yes |
|
總代幣 模型上處理的推理標記數量。 計算方式為提示代幣(輸入)加上產生代幣(輸出)。 適用於PTU、PTU-Managed 及隨用隨付部署。 |
TotalTokens |
No | 計數 | 總計 (總和) |
ApiName, Region, , ModelDeploymentNameModelName,ModelVersion |
PT1M | Yes |
分類:SpeechServices - 使用情況
| 計量 | REST API 中的名稱 | 進階平台指標 | 單位 | Aggregation | 尺寸 | 時間顆粒 | DS 匯出 |
|---|---|---|---|---|---|---|---|
|
音頻秒數批次轉錄 轉錄的批次數秒數 |
AudioSecondsBatchTranscribed |
No | 計數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
|
音頻秒數批次耳語轉錄 批次耳語轉錄的秒數 |
AudioSecondsBatchWhisperTranscribed |
No | 計數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
|
快速轉錄的音頻秒數 快速轉錄的秒數 |
AudioSecondsFastTranscribed |
No | 計數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
|
音頻秒數快速 低語 文字記錄 快速低語的秒數轉錄 |
AudioSecondsFastWhisperTranscribed |
No | 計數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
|
錄音秒數轉錄 轉錄的秒數 |
AudioSecondsTranscribed |
No | 計數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
|
音訊秒數翻譯 換算秒數 |
AudioSecondsTranslated |
No | 計數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
|
虛擬形象主機 Seconds 秒數。 |
AvatarModelHostingSeconds |
No | 計數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
|
虛擬形象訓練秒數 秒數。 |
AvatarModelTrainingSeconds |
No | 計數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
|
演講模特兒主持時數 語音模型主持時數 |
SpeechModelHostingHours |
No | 計數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
|
合成字元 字元數。 |
SynthesizedCharacters |
No | 計數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
|
合成的影片秒 合成的秒數 |
VideoSecondsSynthesized |
No | 計數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
|
語音即時音訊輸入標記 音訊輸入標記數量,不含快取標記。 |
VoiceLiveAudioInputTokens |
No | 計數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
|
語音即時音訊輸出令牌 音訊輸出標記的數量。 |
VoiceLiveAudioOutputTokens |
No | 計數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
|
Voice Live 快取音訊輸入標記 快取的音訊輸入標記數量。 |
VoiceLiveCachedAudioInputTokens |
No | 計數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
|
語音即時快取文字輸入標記 快取的文字輸入標記數量。 |
VoiceLiveCachedTextInputTokens |
No | 計數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
|
語音即時文字輸入標記 文字輸入標記數量,不含快取標記。 |
VoiceLiveTextInputTokens |
No | 計數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
|
語音即時文字輸出令牌 文字輸出標記數量。 |
VoiceLiveTextOutputTokens |
No | 計數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
|
語音模特主持時段 工時數。 |
VoiceModelHostingHours |
No | 計數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
|
語音模型訓練分鐘數 分鐘數。 |
VoiceModelTrainingMinutes |
No | 計數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
分類:翻譯服務 - 使用情況
| 計量 | REST API 中的名稱 | 進階平台指標 | 單位 | Aggregation | 尺寸 | 時間顆粒 | DS 匯出 |
|---|---|---|---|---|---|---|---|
|
文件字元翻譯 文件翻譯請求中的字元數。 |
DocumentCharactersTranslated |
No | 計數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
|
文件自訂字元翻譯 自訂文件翻譯請求中的字元數。 |
DocumentCustomCharactersTranslated |
No | 計數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
|
文件同步字元已翻譯 文件翻譯(同步)請求中的字元數。 |
OneDocumentCharactersTranslated |
No | 計數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
|
文件同步自訂字元翻譯 自訂文件翻譯(同步)請求中的字元數。 |
OneDocumentCustomCharactersTranslated |
No | 計數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
|
翻譯的文字字符 輸入文字翻譯請求的字元數。 |
TextCharactersTranslated |
No | 計數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
|
文字自訂字元翻譯 輸入自訂文字翻譯請求的字元數。 |
TextCustomCharactersTranslated |
No | 計數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
|
文字訓練字元 使用文字翻譯訓練的字元數。 |
TextTrainedCharacters |
No | 計數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
|
翻譯器專業應用程式 Seconds Translator Pro 應用程式使用秒數。 |
TranslatorProAppSeconds |
No | 秒數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
類別:使用方式
| 計量 | REST API 中的名稱 | 進階平台指標 | 單位 | Aggregation | 尺寸 | 時間顆粒 | DS 匯出 |
|---|---|---|---|---|---|---|---|
|
電腦視覺 交易 電腦視覺 交易數量 |
ComputerVisionTransactions |
No | 計數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
|
客製化視覺訓練時間 客製化視覺訓練時間 |
CustomVisionTrainingTime |
No | 秒數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
|
自訂願景交易 自訂視覺預測交易數量 |
CustomVisionTransactions |
No | 計數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
|
臉部影像訓練 訓練的影像數量。 每筆交易訓練 1,000 張圖片。 |
FaceImagesTrained |
No | 計數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
|
已儲存的臉孔 每日按比例計算儲存的面孔數量。 每日報告儲存的臉部數量。 |
FacesStored |
No | 計數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
|
臉部交易 Face 服務所呼叫的 API 次數 |
FaceTransactions |
No | 計數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
|
儲存的影像 儲存的自訂視覺影像數量。 |
ImagesStored |
No | 計數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
|
已學習的事件 學習事件數量。 |
LearnedEvents |
No | 計數 | 總計 (總和) |
IsMatchBaseline, Mode, RunId |
PT1M | Yes |
|
LUIS 語音請求 LUIS 語音轉意圖理解請求數量 |
LUISSpeechRequests |
No | 計數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
|
LUIS 文字請求 LUIS 簡訊請求數量 |
LUISTextRequests |
No | 計數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
|
相符的獎勵 配對獎勵數量。 |
MatchedRewards |
No | 計數 | 總計 (總和) |
Mode、RunId |
PT1M | Yes |
|
未啟動事件 跳過的活動數量。 |
NonActivatedEvents |
No | 計數 | 總計 (總和) |
Mode、RunId |
PT1M | Yes |
|
觀察到的獎勵 觀察到的獎勵數量。 |
ObservedRewards |
No | 計數 | 總計 (總和) |
Mode、RunId |
PT1M | Yes |
|
已處理的字元 由 沉浸式閱讀程式 處理的字元數。 |
ProcessedCharacters |
No | 計數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
|
已處理的健康文字記錄 處理的健康文字記錄數量 |
ProcessedHealthTextRecords |
No | 計數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
|
已處理的影像 處理影像數量 |
ProcessedImages |
No | 計數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
|
已處理的頁面 處理頁數 |
ProcessedPages |
No | 計數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
|
已處理的文字記錄 文字記錄數量。 |
ProcessedTextRecords |
No | 計數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
|
QA 文字記錄 處理的文字記錄數量 |
QuestionAnsweringTextRecords |
No | 計數 | 總計 (總和) |
ApiName, FeatureName, , UsageChannelRegion |
PT1M | Yes |
|
事件總數 事件數量。 |
TotalEvents |
No | 計數 | 總計 (總和) |
Mode、RunId |
PT1M | Yes |
|
總交易數(已棄用) 交易總數。 |
TotalTransactions |
No | 計數 | 總計 (總和) | <沒有> | PT1M | Yes |
公制尺寸
關於什麼是度量維度,請參見 多維度量。
此服務具有以下與其指標相關的維度。
- ApiName
- 功能名稱
- ModelDeploymentName
- 型號名稱
- 模型版本
- 作業名稱
- 區域
- StatusCode(狀態碼)
- 資料流類型
- 使用頻道
資源日誌
本節列出您可以為此服務收集的資源日誌類型。 本節從 Azure 監視器 支援的
支援 Microsoft 資源日誌。認知服務/帳號
| 類別 | 出口成本 | 日志表 | 支援基本的對木平面圖 | 支援吞入時間轉換 | 範例查詢 |
|---|---|---|---|---|---|
| 稽核 | No |
AzureDiagnostics 來自多個 Azure 資源的日誌。 |
No | No | |
| AzureOpenAIRequestUsage | Yes |
AzureDiagnostics 來自多個 Azure 資源的日誌。 |
No | No | |
| ManagedNetworkEvent | Yes |
AzureDiagnostics 來自多個 Azure 資源的日誌。 |
No | No | |
| 請求回應 | No |
AzureDiagnostics 來自多個 Azure 資源的日誌。 |
No | No | |
| 追蹤 | No |
AzureDiagnostics 來自多個 Azure 資源的日誌。 |
No | No |
Azure 監控日誌表格
本節列出與此服務相關的 Azure 監視器 日誌資料表,這些資料表可透過 Log Analytics 透過 Kusto 查詢查詢。 這些資料表包含資源日誌資料,可能還有更多資料,視收集和路由到的資料而定。
Azure OpenAI microsoft.cognitiveservices/accounts
活動記錄檔
連結表列出可記錄於此服務活動日誌中的操作。 這些操作是 活動日誌中所有可能的資源提供者操作的子集。
欲了解更多活動日誌條目的結構,請參見 活動日誌結構。
相關內容
- 關於 OpenAI 監控Azure描述,請參見 Monitor Azure OpenAI。
- 關於監控 Azure 資源的詳細資訊,請參見 「用 Azure 監視器 監控 Azure 資源」。