프로덕션 환경에 배포할 수 있는 Copilot Studio 에이전트에는 라이선스와 총 메시지 양 계획만으로는 충분하지 않습니다. 이들은 처리량 계획도 필요합니다. 처리량 계획은 트래픽 유입 속도, 솔루션이 호출하는 플랫폼 서비스, 그리고 전체 솔루션에 적용되는 제한 사항 등을 포괄합니다.
이 문서는 솔루션 아키텍트, 제작자, 그리고 Power Platform 관리자가 대규모 Copilot Studio 배포를 프로덕션 트래픽, 사용자 승인 테스트(UAT), 부하 테스트, 기업과 소비자(B2C) 시나리오, 그리고 자율적 워크로드에 대비할 수 있도록 지원합니다.
속도 프로비저닝은 라이선스 프로비저닝과는 별개입니다
프로덕션 Copilot Studio 계획에는 서로 관련 있지만 별개의 두 가지 업무 흐름이 있습니다.
- 라이선스 프로비저닝은 라이선스, 크레딧, 선불 용량, 메시지 팩, 사용량 기반 결제 등과 같은 상업적 사용 권한 및 소비를 포함합니다.
- 속도 프로비저닝 은 속도 제한이나 서비스 보호 제어가 적용되기 전에 트래픽이 얼마나 빨리 처리될 수 있는지를 포함합니다.
참고
Microsoft는 Copilot Studio의 속도 제한을 할당량이라는 용어로 지칭합니다. 산업 전반의 용어에서는 이러한 계획 활동을 종종 속도 프로비저닝이라고 부릅니다. 공개된 제한을 검토하고, 피크 요청률을 추정하며, 프로덕션 트래픽이 도착하기 전에 계획을 세우세요.
종량제는 저용량 구성에 비해 사용 가능한 한도를 늘릴 수 있지만, 처리량에는 제한이 있습니다. 현재 Copilot Studio 한도, Power Platform 요청 할당, Power Automate 한도, Dataverse 서비스 보호 한도, 커넥터 제한 규칙, 다운스트림 API 제한을 확인하세요.
제한이 발생하면 어떻게 되나요?
제한은 서비스 보호 기능입니다. 제한은 공표된 한도, 버스트 제어, 서비스 용량을 초과하는 트래픽 패턴으로부터 공유 서비스를 보호하는 역할을 합니다. 정확한 증상은 어떤 서비스가 제한되었는지에 따라 다릅니다.
한도에 도달했을 때, 그 결과는 단순한 계획상의 문제를 넘어섭니다. 요청이 제한되거나, 지연되거나, 차단되거나, 거부될 수 있습니다. 사용자 대상 채팅에서는 이러한 현상이 일시적인 서비스 중단으로 나타날 수 있습니다. 예를 들어, 사용자는 다음 메시지를 보내지 못하거나, 에이전트 사용 불가 또는 사용량 제한 메시지를 받거나, 흐름, 커넥터, Dataverse 호출, AI 서비스, 또는 다운스트림 API가 제한에 도달하여 단계가 실패하는 경험을 할 수 있습니다.
Copilot Studio에 특화된 증상과 오류 메시지에 대해 알아보려면 에이전트의 사용량 한도 오류 해결을 참조하세요.
속도 제한의 측정 방식
트래픽 제한은 서비스가 특정 시간 창 동안 수용할 수 있는 트래픽의 양을 측정합니다. 이러한 시간 단위를 분, 5분, 10분, 시간, 일, 주, 월 단위로 세분화하여 생각해 보십시오. 월간 또는 주간 트래픽 규모는 전체 수요를 추정하는 데 도움이 되지만, 트래픽이 집중될 때 종종 발생하는 제한 때문에 용량 할당에서는 더 짧은 기간이 중요합니다.
예를 들어, B2C 기업은 집중된 캠페인 한 시간 동안 대부분의 에이전트 트래픽을 받을 수 있습니다. 주간 평균은 낮아 보일 수 있지만, 단 한 시간 동안에도 충분한 처리 압력이 높아져 제한이나 서비스 중단을 초래할 수 있습니다. 주간 또는 월간 수준에서 안전해 보이는 설계도 1시간 피크 기간에는 한계를 초과할 수 있습니다.
제한이 적용되는 범위 이해
제한은 개별 에이전트 수준에만 적용되는 것이 아닙니다. 서비스에 따라 제한은 환경 수준, 도구 수준, API 수준, 커넥터 수준, 채널 수준, 또는 다운스트림 서비스 수준에 적용될 수 있습니다.
예를 들어, Copilot Studio의 에이전트에 대한 메시지 제한은 Dataverse 환경 단위로 적용됩니다. 트래픽을 추정할 때는 해당 환경에서 에이전트에게 메시지를 보내는 모든 소스, 사용자 대면 채널, 연동, 자율 워크로드, Azure Bot Framework 기술 등을 포함하세요. 현재 값과 범위를 Copilot Studio 할당량 및 한도에서 확인하세요.
속도 프로비저닝이 귀하의 에이전트에 적용되는지 결정하세요
모든 에이전트에 상세한 속도 설정 작업이 필요한 것은 아닙니다. 소규모 사용자, 예측 가능한 사용 패턴 및 다운스트림 호출이 거의 없거나 없는 단순한 내부 FAQ 에이전트는 속도 제한에 걸릴 가능성이 낮습니다. 월별 요청량이 적더라도, 에이전트가 분당 또는 시간당 요청 한도를 초과할 가능성이 있을 때 속도 프로비저닝이 중요해집니다.
프로젝트 초기에 솔루션 설계와 함께 예상되는 트래픽을 고려해야 합니다. 사용자 승인 테스트(UAT)와 부하 테스트를 시작하기 전에, 팀은 에이전트 설계, 환경, 연결된 서비스, 그리고 다운스트림 시스템이 예상되는 처리량 프로필을 지원할 수 있는지 확인해야 합니다.
이 지침은 트래픽이 급격히 몰리거나, 다수의 사용자나 이벤트가 동시에 에이전트를 호출하거나, 각 상호작용이 여러 플랫폼 서비스에 의존하는 등 규모가 크고 복잡한 엔터프라이즈급 에이전트의 경우에 특히 중요합니다. 이러한 지침은 출시 기간이 짧거나, 부서 전체 행사, 일정에 따라 진행되는 프로세스, 또는 짧은 시간 내에 많은 요청을 생성하는 워크플로와 같이 집중된 사용 패턴을 가진 소규모 에이전트에도 적용될 수 있습니다.
B2C 및 자율 에이전트는 조기 속도 프로비저닝이 필요합니다
고객 대면 B2C 에이전트는 캠페인, 공개 웹사이트, 고객 포털, 사고 커뮤니케이션, 제품 출시 및 계절적 수요 등으로부터 트래픽이 유입될 수 있습니다. 자율 에이전트는 일정, 이벤트, 백그라운드 프로세스, 또는 여러 도구와 워크플로를 호출할 때 고빈도 트래픽을 생성할 수 있습니다.
팁
B2C 및 자율 사용 사례를 우선 요금 프로비저닝 시나리오로 취급하세요. 이들은 직원 대상 채팅 환경보다 더 빠르게 버스트 트래픽, 동시 다중 요청, 고빈도 백그라운드 활동을 생성할 수 있습니다.
월별 총액뿐만 아니라 피크 윈도우를 사용하세요
에이전트가 1분 또는 1시간 내에 집중된 요청을 생성할 수 있는지 확인하세요. 작은 시나리오라도 부하 테스트, 캠페인, 장애 대응, 또는 자동 트리거로 인해 짧은 시간 내에 너무 많은 메시지, 생성형 AI 호출, 워크플로 작업, 커넥터 호출, 또는 Dataverse 요청이 환경을 통해 처리된다면 속도 할당이 필요할 수 있습니다.
월간 볼륨은 전체 수요를 추정하는 데 유용하지만, 속도 프로비저닝에는 충분하지 않습니다. 예상 사용량을 더 작은 시간 단위로 변환하여 설계를 현재 분당 요청(RPM), 시간당 요청(RPH), 버스트, 그리고 링크된 페이지의 일일 제한과 비교할 수 있도록 하세요.
평균 트래픽 프로필과 피크 트래픽 프로필을 모두 구축하세요. 예를 들어, 대부분의 트래픽이 매일 오후 5시에서 6시 사이에 집중된다면, 시간당 최대 트래픽은 그 집중도를 반영해야 합니다. 트래픽이 특정 시간 구간에 집중되어 있다면, 하루 예상치는 피크 시간대의 24배일 필요가 없습니다.
또 언제 제한이 발생할 수 있나요?
제한은 다음과 같은 상황에서도 발생할 수 있습니다.
- 많은 직원들이 부서 전체 행사나 교육과 같은 예측 가능한 피크 시간대에 에이전트를 사용합니다.
- 마케팅 캠페인, 장애, 출시 및 예정된 비즈니스 이벤트로 인해 일시적인 트래픽 급증이 발생할 수 있습니다.
- Power Automate 흐름에는 루프, 리트리, 페이지네이션, 또는 요청 볼륨을 증폭시키는 하위 흐름이 포함됩니다.
- 보고서 생성, 감사, 텔레메트리 내보내기 또는 대화록 캡처가 사용자 턴 경로에서 동기적으로 실행됩니다.
- 여러 에이전트나 워크로드가 동일한 환경, 아이덴티티, 커넥터 또는 다운스트림 API의 용량을 공유합니다.
- 부하 테스트는 생산 아키텍처나 지원 프로세스가 감당할 수 있는 속도보다 빠르게 진행됩니다.
관련 속도 제한을 확인하는 곳
Copilot Studio에는 자체 제한이 있으며, 에이전트의 런타임 경로에는 고유한 제한이 있는 다른 서비스들도 포함될 수 있습니다. 에이전트가 사용하는 모든 서비스의 관련 제한을 검토하세요.
Copilot Studio 한도
| 속도 프로비저닝 영역 | 알아봐야 할 항목 | 현재 값을 확인할 수 있는 곳 | 사용 방법 |
|---|---|---|---|
| 에이전트에게 보내는 메시지 | 에이전트에게 전송되는 메시지에 대한 현재 RPM/RPH 제한 및 적용 범위. | Copilot Studio 할당량 및 한도 | 대상 Dataverse 환경에 대해 분당 및 시간당 예상 메시지 수를 비교합니다. |
| 생성형 AI 메시지 | 생성형 오케스트레이션, 에이전트 작업, AI 도구, 에이전트 워크플로 작업 및 생성형 답변에 대한 현재 제한입니다. | 에이전트에게 보내는 생성형 AI 메시지 | 현재 공개된 제한에 맞춰 AI 중심 및 자율 시나리오를 모델링합니다. |
| 자율 트리거 노드 | 이벤트, 일정 또는 백그라운드 프로세스에 의해 자율 에이전트가 트리거될 때 적용되는 현재 제한 사항입니다. | Copilot Studio 할당량 및 한도 | 이벤트 기반 및 예약된 워크로드를 인터랙티브 채팅 트래픽과 별도로 모델링합니다. |
| Copilot Studio 구독 요청 한도 | Copilot Studio 사용에 적용되는 현재 Power Platform 요청 한도입니다. | Copilot Studio 구독 한도 | 이 값들을 흐름, Dataverse, 연결 서비스의 속도 제한 계획과 함께 활용하세요. |
고려해야 할 다른 플랫폼 한도
실행 경로에서 가장 낮은 한도가 사용자 경험을 좌우합니다. Copilot Studio 에이전트는 자체 한도 내에 있을 수 있지만, 흐름, 커넥터, Dataverse 호출, 언어 서비스 또는 외부 API는 속도 제한이 걸릴 수 있습니다.
참고
에이전트가 요청 경로에서 다른 구성 요소를 사용할 경우, 다른 플랫폼 제한이 에이전트에 영향을 미칠 수 있습니다. Power Platform, Power Automate, Dataverse, 커넥터, 언어 서비스 및 후속 시스템의 한도도 반드시 고려해야 합니다.
| 런타임 영역 | 검토할 사항 | 속도 프로비저닝 관련 질문 | 현재 한도를 확인할 수 있는 곳 |
|---|---|---|---|
| Power Platform 요청 플레인 | Power Automate, Copilot Studio 워크플로 호출, Dataverse 요청, Power Apps, Dynamics 365에서 발생하는 요청. | 어떤 사용자, 연결, 애플리케이션 사용자 또는 서비스 주체가 요청을 생성하나요? 요청 할당이 예상되는 일일 및 최대 워크로드에 충분합니까? | 요청 한도 및 할당 |
| Power Automate 흐름 | 트리거, 작업, 루프, 하위 흐름, HTTP 작업, 커넥터 작업, 재시도, 페이지네이션, 동시성. | 에이전트 턴당 몇 개의 작업이 생성되나요? 버스트, 동시성, 트리거, 커넥터 한도가 범위에 포함되나요? |
플랫폼 한도 이해 및 제한 방지 자동화, 예약 및 인스턴트 흐름의 한도 |
| Dataverse | 트랜잭션을 완료하는 데 필요한 CRUD 작업, 플러그인, 워크플로, 할당/공유 작업, 커넥터 호출, 그리고 시스템 작업. | Dataverse 호출을 생성하는 사용자, 애플리케이션 사용자 또는 서비스 주체는 무엇인가요? 서비스 보호 한도나 재시도 동작이 적용될 가능성이 있나요? |
서비스 보호 API 한도 Dataverse API 제한 개요 |
| 연결선 | 표준 커넥터, 프리미엄 커넥터, 맞춤형 커넥터, 커넥터별 제한 및 다운스트림 API. | 어떤 커넥터가 병목 현상인가요? 다운스트림 서비스가 자체 속도 제한을 적용하나요? |
커넥터에 대한 API 처리량 제한 Power Automate 커넥터 참고 자료 |
| 대화 언어 이해(CLU) 및 AI 서비스 | CLU 호출, AI 프롬프트, 검색 및 요약 작업, 모델 기반 도구, 페이로드 크기, 서비스별 제한. | 각 사용자 턴에서 언어 또는 AI 서비스를 호출하나요? 그 호출이 재시도나 오케스트레이션 중에 반복되나요? |
대화 언어 이해 한도 Copilot Studio 할당량 및 한도 |
| 외부 API 및 LOB(기간 업무) 시스템 | 벤더 API, 내부 API, 데이터베이스, 미들웨어, 게이트웨이 및 사용자 정의 서비스 | 다운스트림 소유자는 어떤 한도를 시행합니까? 재시도 계약, 큐 또는 백프레서 전략이 있나요? | 다운스트림 서비스 소유자의 현재 한도, 서비스 수준 약정(SLA), 지원 프로세스를 활용하세요. |
처리량 압력을 줄이기 위한 설계
한도 증가를 첫 번째 해결책으로 삼지 마세요. 먼저 에이전트 설계를 검토하고 효율성을 최적화하세요. 에이전트가 조회해야 할 경우, 외부 호출은 의도적으로 유지하고, API 호출을 최적화하며, Copilot Studio, Power Automate, Dataverse, 커넥터 및 다운스트림 시스템 전반에 걸쳐 불필요한 요청량을 피하세요.
설계가 효율적이면, 트래픽이 예측 가능한 방식으로 플랫폼에 도달하도록 처리량을 제어합니다.
- 환경별 제한이 적용되는 경우, 해당 방식이 운영 설계와 맞는다면 에이전트를 여러 환경에 분산하는 방안을 고려해 보세요. 이 접근법은 트래픽이 많은 에이전트, 사업부, 지역 또는 자율 워크로드가 동일한 환경 단위 제한을 두고 관련 없는 워크로드와 경쟁하지 않도록 하는 데 도움이 됩니다.
- 자율 에이전트의 경우, 큐, 배치, 트리거 필터, 예약 처리, 재시도 제어, 모니터링을 활용하여 백그라운드 작업이 예기치 않은 급증으로 유입되지 않도록 관리해야 합니다.
- 예약 작업, 보고 작업, 감사 내보내기 작업, 원격 분석 작업을 가능하면 인터랙티브 채팅 경로 밖으로 분리하세요.
- 부하 테스트 결과와 운영 원격 분석을 분석하여 요청이 집중되는 지점을 파악한 후, 한도 상향을 요청하기 전에 에이전트, 흐름, 커넥터, 하위 API를 최적화하세요.
자율 에이전트는 요청을 큐에 넣고 트리거 속도를 제어함으로써 우수한 예측 가능성과 관측성을 확보하며 할당된 용량을 최대한 활용할 수 있습니다.
기본 속도 한도가 충분하지 않을 때의 조치
피크 트래픽 추정 결과, 에이전트나 연결된 서비스가 현재 공개된 한도를 초과할 가능성이 있다면, UAT, 부하 테스트 또는 운영 시작 전에 속도 프로비저닝 지원 프로세스를 시작하세요. 첫 번째 프로덕션 장애를 기다리지 마세요.
참고
Copilot Studio는 모든 고객을 위한 서비스 보호를 위해 속도 제한이 적용된 SaaS 서비스입니다. 적절한 근거가 있다면, 엔지니어링 팀은 승인된 시나리오에 대해 맞춤형 한도를 설정할 수 있습니다.
지원 요청하기
관리자는 Power Platform 관리 센터에서 지원을 요청할 수 있습니다.
티켓을 미리 열고 가장 좋은 예상치를 포함하세요. 더 많은 세부 정보를 제공할수록 검토 과정이 더 쉬워집니다. 설계가 구체화되거나 부하 테스트 결과가 확인되면 요청을 업데이트하세요.
포함할 핵심 정보
| 정보 | 설명 |
|---|---|
| 환경 ID | 에이전트가 실행되는 Dataverse 환경. |
| 에이전트 이름 또는 식별자 | 요청의 대상이 되는 에이전트. |
| 비즈니스 영향 | 기본 한도가 충분하지 않으면 중대한 영향이 발생합니다. |
| 알려진 정보 | 시나리오, 채널, 출시 맥락, 비즈니스 중요도, 그리고 해당 서비스가 B2C, 자율형, 직원 대상 또는 내부 전용인지 여부에 대해 알려진 사항. |
| 에이전트 스냅샷 | 에이전트의 구성, 설계, 연결된 서비스 및 관련 설정을 리뷰어가 이해할 수 있도록 돕는 스냅샷 또는 내보내기. |
| 에이전트 디자인 | 에이전트가 사용하는 토픽, 생성형 AI, 참조 자료 원본, 동작, 흐름, 커넥터, Dataverse 호출 및 외부 API에 대한 전반적인 설명. |
| 평균 트래픽 추정치 | 시간별, 일별, 주별 및 월별 예상 평균 트래픽. |
| 최대 트래픽 추정치 | 최대 메시지, 세션, 생성형 AI 호출, 흐름 작업, 커넥터 호출, Dataverse 요청, 외부 API 호출(알려진 경우에 한해). |
도움이 될 수 있는 추가 세부 정보
| 정보 | 설명 |
|---|---|
| 날짜 범위 | 요청한 인상의 시작일과 종료일. 로드 테스트, 사용자 수용 테스트, 그리고 생산 날짜 범위가 다를 경우 별도로 설정하세요. |
| 피크 패턴 | 최대 기간, 표준 시간대, 예상 버스트 드라이버 및 트래픽이 짧은 일일 창에 집중되는지 여부. |
| 세션 프로필 | 동시 세션, 평균 및 최대 세션 지속 시간, 세션당 메시지 수, 세션당 질문 수. |
| 일반적인 세션 예시 | 대표 사용자 경로, 일반적인 작업 단계, 사용 도구 및 (가능한 경우) 샘플 세션 ID. |
| 런타임 경로 | 흐름, 작업, AI 프롬프트, 지식 호출, Dataverse 요청, 커넥터, 그리고 상호작용별 API. |
| 기능 수준 피크 | 에이전트, 기능, 사용자, 환경, 커넥터, 분, 시간, 일별로 알려진 경우의 최대 볼륨. |
| 검토가 필요한 제품 | 요청이 Copilot Studio, Power Platform 요청 할당, Power Automate, 커넥터, Dataverse, CLU/AI 서비스 또는 외부 API 중 하나와 관련되어 있는지 확인합니다. |
| 증명 정보 | 샘플 세션 ID, 오류, 상관관계 ID, 로그, 부하 테스트 결과, 또는 프로덕션 관찰값. |
| 해결 방법 | 처리량 압력을 완화하기 위해 이미 시도한 내용을 요약하세요. 처리량 압박을 줄이는 설계 가이드를 참고하세요. 이 가이드에는 설계 검토, 외부 호출 최적화, 환경 분리, 배치 처리, 큐잉, 트리거 필터링, 스케줄링, 작업 부하 분산 및 이미 적용된 기타 최적화 방법이 포함되어 있습니다. |
중요
처리량 증가가 보장되는 것은 아닙니다. Microsoft 지원팀은 시나리오, 환경, 요청된 날짜 범위, 예상 트래픽, 자격 요건, 현재 한도, 서비스 용량을 기준으로 요청을 검토합니다.