onprem site에서 private endpoint를 이용한 Azure openai 서비스 이용시 간헐적 TImeout 발생합니다

최동희 0

onprem site에서 private endpoint를 이용한 Azure openai 서비스 이용시 간헐적 Timeout 발생합니다.

같은 출발지에서 public endpoint를 이용하면 끊김 없이 Azure openai 서비스 이용이 가능합니다.

빈도는 약 10시간 측정시 API 전체 call 수는 3,110번이고, Timeout이 223번 발생했습니다. (error rate 7.3%)

Client: on-prem

Server: Azure OpenAI

Client~Server연결: Express Route

[현재 테스트 해본것]

Private DNS 쿼리 결과: 정상

Public endpoint 경로로 서비스: 정상

Private endpoint 경로로 서비스: 간헐적 TimeOut

특이사항으로 private endpoint 경로로 서비스 접근시 방화벽 확인해보면 tcp-rst form client 라는 로그가 발생합니다.

어디부터 짚어나가야할지, openai의 문제인지 파악이 안됩니다. 도움을 구하고자 질문을 게시합니다.

답변