토큰 관리
- 5분
API에 대한 트래픽이 갑자기 급증했다고 상상해보세요. 세일이나 다른 이유가 있을 수도 있죠. 과도한 사용량과 서비스 중단을 피하려면 이를 관리하는 방법을 알아야 합니다.
Azure OpenAI 토큰 한도 정책
이 장의 시작 부분에서 언급했듯이, 갑작스런 급증은 처리해야 할 문제입니다. 좋은 소식은 Azure API Management에 토큰 제한 정책이라는 기능이 있다는 것입니다.
이 정책을 통해 고객은 토큰 사용량에 한도를 설정할 수 있으며, 이는 TPM(분당 토큰)으로 표시되며 OpenAI 리소스의 공정하고 효율적인 활용을 보장합니다.
주요 특징
이 정책의 주요 기능은 다음과 같습니다.
- 정확한 제어: 고객은 구독 키 또는 IP 주소와 같은 다양한 카운터 키에 토큰 기반 제한을 할당하여 적용을 특정 사용 사례에 맞게 조정할 수 있습니다.
- Real-Time 모니터링: 정책은 OpenAI 엔드포인트에서 반환된 토큰 사용 메트릭을 사용하여 실시간으로 제한을 정확하게 모니터링하고 적용할 수 있습니다.
- 토큰 사전 계산: Azure API Management 쪽에서 프롬프트 토큰을 미리 계산하여 제한이 이미 초과된 경우 OpenAI 백 엔드에 대한 불필요한 요청을 최소화할 수 있습니다.
- 향상된 사용자 지정: 고객은 더 나은 제어 및 사용자 지정을 위해 정책 내에서 토큰 사용 및 남은 토큰과 같은 헤더 및 변수를 적용할 수 있습니다.
보시다시피 비용을 관리하는 데 도움이 되는 기능이 꽤 많고 실시간 모니터링 덕분에 한도를 초과하지 않는지 확인할 수 있습니다.
사용 방법
이 정책을 사용하려면 API 작업의 인바운드 처리 파이프라인에 정책을 추가해야 합니다. 방법은 다음과 같습니다.
<azure-openai-token-limit counter-key="key value"
tokens-per-minute="number"
estimate-prompt-tokens="true | false"
retry-after-header-name="custom header name, replaces default 'Retry-After'"
retry-after-variable-name="policy expression variable name"
remaining-tokens-header-name="header name"
remaining-tokens-variable-name="policy expression variable name"
tokens-consumed-header-name="header name"
tokens-consumed-variable-name="policy expression variable name" />
설정할 수 있는 특성은 꽤 많지만 가장 중요한 특성은 다음과 같습니다.
- 카운터 키: 토큰 계산에 사용할 키입니다. 이 값은 구독 키나 IP 주소가 될 수 있습니다.
- 분당 토큰: 분당 허용되는 토큰 수입니다.
- estimate-prompt-tokens: 프롬프트 토큰을 예측할지 여부입니다.
Azure OpenAI Emit 토큰 메트릭 정책
이 정책은 Azure OpenAI 모델을 사용하는 애플리케이션에서 토큰 사용에 대한 자세한 모니터링 및 분석의 필요성을 해결합니다.
포괄적인 메트릭을 제공함으로써 조직이 다음과 같은 작업을 수행할 수 있도록 돕습니다.
- 리소스 할당 최적화: 토큰 사용량을 효과적으로 이해하고 관리합니다.
- 의사 결정 개선: 사용 패턴에 대한 인사이트를 확보하여 크기 조정 및 리소스 관리에 대한 정보에 입각한 결정을 내립니다.
- 성능 모니터링 향상: 토큰 사용량을 추적하고 분석하여 잠재적인 문제를 사전에 식별하고 해결
내보내기 토큰 메트릭 정책을 사용하는 방법
이 정책을 사용하려면 API 작업의 인바운드 처리 파이프라인에 정책을 추가해야 합니다. XML로 인코딩하는 방법은 다음과 같습니다.
<azure-openai-emit-token-metric
namespace="metric namespace" >
<dimension name="dimension name" value="dimension value" />
...additional dimensions...
</azure-openai-emit-token-metric>
다음은 여러 차원을 사용한 예입니다.
<policies>
<inbound>
<azure-openai-emit-token-metric
namespace="AzureOpenAI">
<dimension name="User ID" />
<dimension name="Client IP" value="@(context.Request.IpAddress)" />
<dimension name="API ID" />
</azure-openai-emit-token-metric>
</inbound>
<outbound>
</outbound>
</policies>
앞의 예에서:
- 정책은 사용자 ID, 클라이언트 IP, API ID에 대한 차원이 포함된 토큰 메트릭을 AzureOpenAI 네임스페이스로 내보내도록 구성되어 있습니다.
- 클라이언트 IP 차원의 값은 요청을 하는 클라이언트의 IP 주소로 설정됩니다.
이제 이러한 메트릭을 대시보드에 표시하고 API 사용량을 실시간으로 모니터링할 수 있다고 상상해 보세요. 예를 들어, 특정 사용자가 얼마나 많은 토큰을 사용하고 있는지, 또는 특정 API가 얼마나 많은 토큰을 사용하고 있는지 확인할 수 있습니다. 이 강력한 기능은 리소스를 최적화하고 크기 조정 및 리소스 관리에 대한 합리적 결정을 내리는 데 도움이 됩니다.