Azure OpenAI Metric 상관관계에 대해서 문의드립니다.

Question

안녕하세요.

Azure CognitiveServices/Account에서 지원되는 OpenAI 관련 메트릭에 관해서 문의드립니다.

1분 합계 ActiveTokens에 공식 설명을 보면 "총 토큰에서 일정 기간 동안 캐시된 토큰을 뺸 값입니다"라는 설명이 있는 것을 유추하였을 때 Active Tokens는 동일 시간대에 1분 합계 "InputTokens" + "OutputTokens"에서 캐시된 토큰을 뺀 값으로 해석해도 되는지 문의드립니다.

Answer 1

안녕하세요. KyeYeol Sim,

Microsoft Q&A에 오신 것을 환영하며 문의해 주셔서 감사합니다.

Azure OpenAI의 활성 토큰(Active Tokens)을 다음과 같이 계산할 수 있는지 확인하려는 것으로 이해합니다.

입력 토큰 + 출력 토큰 - 캐시된 토큰

(1분 집계 기간 기준)

개념적으로는 맞지만, 몇 가지 중요한 사항을 명확히 해야 합니다.

활성 토큰 이해하기

Azure OpenAI(CognitiveServices/계정 메트릭)에서 활성 토큰은 다음을 나타냅니다.

지정된 시간 동안 모델 컴퓨팅을 실제로 사용한 총 토큰 수(캐시에서 제공된 토큰 제외).

즉, 활성 토큰은 서비스에서 관찰된 모든 토큰이 아니라 실제로 컴퓨팅 리소스를 사용한 토큰을 의미합니다.

입력 및 출력 토큰과의 관계

간단히 말해서, 활성 토큰은 다음과 같이 해석할 수 있습니다.

활성 토큰 ≈ 입력 토큰 + 출력 토큰 − 캐시된 토큰

따라서 활성 토큰은 입력 토큰과 출력 토큰의 합에서 캐싱을 통해 충족된 토큰을 뺀 값으로 생각하는 것이 타당합니다.

하지만 Azure는 이러한 메트릭 간의 엄격한 산술적 일치를 보장하지 않습니다.

숫자가 정확히 일치하지 않을 수 있는 이유

약간의 차이가 발생하는 데에는 몇 가지 이유가 있습니다.

메트릭 집계 시간

입력 토큰, 출력 토큰 및 활성 토큰은 독립적으로 생성되어 분 단위로 집계되므로 약간의 시간 차이가 발생할 수 있습니다.

캐시 동작 추상화

캐시된 토큰은 주요 메트릭으로 노출되지 않습니다. 부분적인 캐시 적중(예: 프롬프트 접두사는 캐시되었지만 완료는 캐시되지 않은 경우)은 활성 토큰 계산 방식에 영향을 줄 수 있습니다.

내부 시스템 토큰

라우팅, 안전 검사 또는 오케스트레이션에 사용되는 일부 내부 토큰은 ActiveTokens에 영향을 줄 수 있지만, 사용자에게 표시되는 입력 또는 출력 토큰 수에는 반영되지 않습니다.

다단계 추론 경로

특정 요청은 추가적인 내부 추론 단계를 트리거할 수 있으며, 이로 인해 ActiveTokens가 증가하지만 입력/출력 토큰과 일대일로 대응되지는 않습니다.

실무 지침

InputTokens → 애플리케이션에서 전송한 토큰

OutputTokens → 애플리케이션에서 생성된 토큰

ActiveTokens → 실제로 모델 컴퓨팅을 사용한 토큰(비용 발생 요인)

비용 추적 및 용량 계획에는 ActiveTokens를 활용하세요.

애플리케이션 동작 분석에는 InputTokens와 OutputTokens를 사용하세요.

이러한 지표는 정확한 회계 계산이 아닌 관찰 가능성을 위해 설계되었으므로 엄격한 조정 목적으로 사용하지 마세요.

모니터링 및 최적화

Azure Portal → 메트릭에서 모든 토큰 메트릭을 직접 시각화하거나 Azure Monitor/Log Analytics를 통해 분석하여 사용 패턴, 성능 및 비용 추세를 더 잘 파악할 수 있습니다.

자세한 내용은 다음 링크를 참조하세요.

• Understand Azure OpenAI Metrics and Performance Indicators

도움이 되셨기를 바랍니다. 추가 질문이 있으시면 언제든지 문의해 주세요.

감사합니다!