Azure OpenAI 서비스 비용 관리 계획

아티클
09/03/2024

이 문서에서는 Azure OpenAI Service의 비용을 플랜 및 관리하는 방법을 설명합니다. 서비스를 배포하기 전에 Azure 가격 계산기를 사용하여 Azure OpenAI의 비용을 예측합니다. 이후 Azure 리소스를 배포할 때 예상 비용을 검토합니다. Azure OpenAI 리소스 사용을 시작한 후 Cost Management 기능을 사용하여 예산을 설정하고 비용을 모니터링합니다.

예측 비용을 검토하고 지출 추세를 파악하여 작업할 수 있는 영역을 식별할 수도 있습니다. Azure OpenAI Service 비용은 Azure 청구서의 월별 비용의 일부일 뿐입니다. 이 문서에서는 Azure OpenAI에 대한 비용 계획 및 관리에 대해 설명하지만, 사용자에게는 타사 서비스를 비롯한 Azure 구독에 사용되는 모든 Azure 서비스 및 리소스에 대해 요금이 청구됩니다.

필수 조건

Cost Management에서의 비용 분석은 대부분의 Azure 계정 유형을 지원하지만 일부는 지원하지 않습니다. 지원되는 계정 유형의 전체 목록을 보려면 Cost Management 데이터 이해를 참조하세요. 비용 데이터를 보려면 최소한 Azure 계정에 대한 읽기 권한이 있어야 합니다. Azure Cost Management 데이터에 액세스하는 방법에 대한 정보는 데이터에 대한 액세스 할당을 참조하세요.

Azure OpenAI를 사용하기 전에 비용 예측

Azure 가격 책정 계산기를 사용하여 Azure OpenAI 사용 비용을 예측합니다.

Azure OpenAI 전체 청구 모델 이해

Azure OpenAI Service는 새 리소스를 배포할 때 비용이 발생하는 Azure 인프라에서 실행됩니다. 다른 인프라 비용이 발생할 수도 있습니다. 다음 섹션에서는 Azure OpenAI Service에 대한 요금이 청구된 방법을 설명합니다.

기본 시리즈 및 Codex 시리즈 모델

Azure OpenAI 기본 시리즈 및 Codex 시리즈 모델은 토큰 1,000개당 요금이 청구됩니다. 비용은 Ada, Babbage, Curie, Davinci 또는 Code-Cushman 중 선택한 모델 시리즈에 따라 달라집니다.

Azure OpenAI 모델은 텍스트를 토큰으로 세분화하여 이해하고 처리합니다. 참고로 각 토큰은 일반적인 영어 텍스트의 경우 대략 4자입니다.

토큰 비용은 입출력 모두에 대한 비용입니다. 예를 들어 Azure OpenAI 모델에 Python으로 변환하도록 요청하는 1,000개의 토큰 JavaScript 코드 샘플이 있는 경우입니다. 전송된 초기 입력 요청에 대해서는 약 1,000개의 토큰이 청구되고 총 2,000개의 토큰에 대한 응답으로 받은 출력에 대해서는 1,000개의 토큰이 추가로 청구됩니다.

실제로 이러한 유형의 완료 호출의 경우 토큰 입력/출력은 완벽하게 1:1이 아닐 수 있습니다. 한 프로그래밍 언어에서 다른 프로그래밍 언어로 변환하면 다양한 요인에 따라 출력이 길거나 짧아질 수 있습니다. 이러한 요소 중 하나는 max_tokens 매개 변수에 할당된 값입니다.

기본 시리즈 및 Codex 시리즈 미세 조정된 모델

Azure OpenAI 미세 조정된 모델은 다음 세 가지 요소에 따라 요금이 청구됩니다.

학습 시간
호스팅 시간
1,000개 토큰당 추론

호스팅 시간 비용은 미세 조정된 모델이 배포되면 적극적으로 사용되는지 여부에 관계없이 시간당 비용이 계속 발생하기 때문에 주의해야 합니다. 미세 조정된 모델 비용을 면밀히 모니터링합니다.

Important

사용자 지정된 모델을 배포한 후 언제든지 배포가 15일 이상 비활성 상태로 유지되면 배포가 삭제됩니다. 모델이 배포된 지 15일이 넘었고 연속 15일 동안 모델에 대한 완료 또는 채팅 완료 호출이 이루어지지 않은 경우 맞춤형 모델 배포는 비활성 상태입니다.

비활성 배포를 삭제해도 기본 사용자 지정 모델은 삭제되거나 영향을 받지 않으며 사용자 지정 모델은 언제든지 다시 배포될 수 있습니다.

배포된 각 사용자 지정(미세 조정된) 모델은 완료 또는 채팅 완료 호출이 모델에 대해 이루어지는지 여부에 관계없이 시간당 호스팅 비용이 발생합니다. .

Azure OpenAI Service로 인해 발생할 수 있는 기타 비용

Azure Monitor 로그로의 데이터 전송 및 경고와 같은 기능을 사용하도록 설정하면 해당 서비스에 대한 추가 비용이 발생합니다. 이러한 비용은 다른 서비스 및 구독 수준에서 볼 수 있지만 Azure OpenAI 리소스로만 범위가 지정되는 경우에는 볼 수 없습니다.

Azure OpenAI Service와 함께 Azure 선불 사용

Azure 선불 크레딧을 사용하여 Azure OpenAI Service 요금을 지불할 수 있습니다. 그러나 Azure 선불 크레딧을 사용하여 Azure Marketplace에 있는 항목을 포함한 타사 제품 및 서비스에 대한 요금을 지불할 수는 없습니다.

Azure OpenAI Service의 HTTP 오류 응답 코드 및 청구 상태

서비스가 처리를 수행하는 경우 상태 코드가 성공하지 않은 경우(200이 아님)에도 요금이 청구됩니다. 예를 들어, 콘텐츠 필터나 입력 제한으로 인한 400 오류 또는 시간 제한으로 인한 408 오류가 있습니다.

서비스가 처리를 수행하지 않으면 요금이 청구되지 않습니다. 예를 들어, 인증으로 인한 401 오류 또는 속도 제한 초과로 인한 429 오류가 있습니다.

비용 모니터링

Azure OpenAI를 사용하여 Azure 리소스를 사용하는 경우 비용이 발생합니다. Azure 리소스 사용량 단위 비용은 시간 간격(초, 분, 시간 및 일) 또는 단위 사용량(바이트, 메가바이트 등)에 따라 달라집니다. Azure OpenAI 사용이 시작되는 즉시 비용이 발생하며 비용 분석에서 비용을 볼 수 있습니다.

비용 분석을 사용하면 서로 다른 시간 간격에 대한 그래프 및 테이블의 Azure OpenAI 비용을 볼 수 있습니다. 몇 가지 예로 일, 현재 달과 이전 달 및 연도에 따라 확인할 수 있습니다. 예산 및 예상 비용에 대한 비용도 조회할 수 있습니다. 시간이 지남에 따라 더 긴 보기로 전환하면 지출 추세를 파악하는 데 도움이 됩니다. 과도한 지출이 발생한 위치를 확인할 수 있습니다. 예산을 만든 경우 초과된 부분도 쉽게 확인할 수 있습니다.

비용 분석에서 Azure OpenAI 비용을 보려면 다음을 수행합니다.

Azure Portal에 로그인합니다.
Azure OpenAI 리소스 중 하나를 선택합니다.
리소스 관리에서 비용 분석을 선택합니다.
기본적으로 비용 분석은 개별 Azure OpenAI 리소스로 범위가 지정됩니다.

해당 비용을 구성하는 요소의 분석을 이해하려면 그룹화 기준을 미터로 수정하고 이 경우 차트 종류를 꺾은선형으로 전환하는 것이 도움이 될 수 있습니다. 이제 이 특정 리소스의 경우 비용의 출처가 비용의 대부분을 나타내는 토큰이 포함된 세 개의 서로 다른 모델 시리즈임을 알 수 있습니다.

Azure OpenAI와 관련된 비용을 평가할 때 범위를 이해하는 것이 중요합니다. 리소스가 동일한 리소스 그룹에 속하는 경우 해당 수준에서 비용 분석의 범위를 지정하여 비용에 미치는 영향을 이해할 수 있습니다. 리소스가 여러 리소스 그룹에 분산되어 있으면 구독 수준까지 범위를 지정할 수 있습니다.

더 높은 수준에서 범위를 지정하는 경우 Azure OpenAI 사용량을 중점적으로 고려하는 더 많은 필터를 추가해야 하는 경우가 많습니다. 구독 수준에서 범위가 지정되면 Azure OpenAI 비용 관리의 컨텍스트에서 신경 쓰지 않을 수 있는 다른 많은 리소스가 표시됩니다. 구독 수준에서 범위를 지정할 때 Cost Management 서비스에서 전체 비용 분석 도구로 이동하는 것이 좋습니다.

다음은 비용 분석 도구를 사용하여 구독 또는 리소스 그룹에 대한 누적 비용을 확인하는 방법의 예입니다.

위쪽 Azure 검색 창에서 Cost Management를 검색하여 예산 만들기와 같은 더 많은 옵션을 포함하는 전체 서비스 환경으로 이동합니다.
필요한 경우 범위:가 분석하려는 리소스 그룹 또는 구독을 가리키지 않는 경우 변경을 선택합니다.
왼쪽에서 보고 + 분석>비용 분석을 선택합니다.
모든 보기 탭에서 누적 비용을 선택합니다.

비용 분석 대시보드에는 범위에 대해 지정한 항목에 따라 분석되는 누적 비용을 보여 줍니다.

서비스별로 필터를 추가하려고 하면 목록에서 Azure OpenAI를 찾을 수 없습니다. 이 상황은 Azure OpenAI가 서비스 수준 필터가 Cognitive Services이 있기 때문에 발생합니다. 다른 유형의 Azure AI 서비스 리소스 없이 구독 전체에서 모든 Azure OpenAI 리소스를 보려면 대신 서비스 계층: Azure OpenAI로 범위를 지정해야 합니다.

예산 만들기

예산을 만들면 비용을 관리하고 관련자에게 비정상 지출 및 과다 지출 위험을 알리는 경고를 만들 수 있습니다. 경고는 예산 및 비용 임계값에 따른 지출을 기준으로 합니다. Azure 구독 및 리소스 그룹에 대한 예산 및 경고를 만듭니다. 이러한 항목은 전체 비용 모니터링 전략의 일부로 유용합니다.

모니터링을 더 세분화하려는 경우 Azure의 특정 리소스 또는 서비스에 대한 필터를 사용하는 예산을 만들 수도 있습니다. 필터는 추가 비용이 드는 새 리소스를 실수로 만들지 않도록 도움을 줍니다. 예산을 만들 때 사용할 수 있는 필터 옵션에 대한 자세한 내용은 그룹 및 필터 옵션을 참조하세요.