AzureOpenAI에서 스트리밍 형식으로 Vision모델 활용 시, Token Usage 받는 법이 궁금합니다.

신영찬/솔루션사업부_4팀/RDS 0

AzureOpenAI를 Streaming으로 Vision 분석이 가능한 모델을 사용 중에 있습니다.

stream_options를 통해 usage를 리턴받을때, 이미지 분석을 요청한 경우 token usage가 리턴되지 않습니다.

token usage를 받을 수 있는 다른 방법이 존재할까요?

답변