Azure OpenAI 답변 속도 이슈

김 이사야 0

Azure OpenAI gpt-5.1 모델을 이용중입니다.

koreacentral 이구요..

일주일에 하루 이틀은 LLM 답변속도가 평소의 절반 이하로 떨어지는 문제가 발생하고 있습니다.

챗봇 서비스를 구축하다보니 프롬프트가 지나치게 많아져 평소의 답변속도도 그리 빠르지는 않지만

그래도 1분 안쪽으로 전부 답변을 하고있었는데

항상 일주일에 하루이틀씩은 하루종일 답변이 느린날이 있더군요...

이 부분이 이슈가 되어 테스트를 해보는데 저희 시스템을 거치지 않고 포스트맨으로

"너는 무엇을 할 수 있는지 설명해줘" 와 같은 짧은 질문에 평소에는 5~7초 수준으로 답변을 받았다면

느린날에는 14~20초 수준으로 나옵니다...

이렇게 느린날이 최근에 6/8(월), 6/15(월) 이렇게 확인이 되었구요...

혹시 왜 그런건지.. 개선될 여지가 있는것인지(할당되는 리소스양 증가 요청 등) 여쭤봅니다.

사용자의 이미지

이미지를 보시면 속도가 15일 기점으로 월등하게 오래 걸리고 있는게 보입니다..

댓글 0개

답변