모델 서비스 제한 및 지역

이 문서에서는 Mosaic AI 모델 서비스 및 지원되는 엔드포인트 유형에 대한 제한 사항 및 지역 가용성을 요약합니다.

제한 사항

Mosaic AI 모델 서비스 제공은 안정적인 성능을 보장하기 위해 기본 제한을 적용합니다. 이러한 제한에 대한 피드백이 있는 경우 Databricks 계정 팀에 문의하세요.

다음 표에는 엔드포인트를 제공하는 모델에 대한 리소스 및 페이로드 제한 사항이 요약되어 있습니다.

기능	세분성	제한
페이로드 크기	요청당	16MB
QPS(초당 쿼리 수)	작업 영역당	200이지만 Databricks 계정에 연결하여 3000 이상으로 늘릴 수 있습니다.
모델 실행 기간	요청당	120초
CPU 엔드포인트 모델 메모리 사용량	엔드포인트당	4GB
GPU 엔드포인트 모델 메모리 사용량	엔드포인트당	할당된 GPU 메모리보다 크거나 같은 경우 GPU 워크로드 크기에 따라 달라집니다.
프로비전된 동시성	작업 영역당	200 동시성. Databricks 계정에 연결하여 늘릴 수 있습니다.
오버헤드 대기 시간	요청당	50밀리초 미만
파운데이션 모델 API(토큰당 지불) 속도 제한	작업 영역당	Databricks 계정 팀에 문의하여 다음 제한을 높입니다. * DBRX 지시 모델에는 초당 1개 쿼리 제한이 있습니다. * 다른 채팅 및 완료 모델에는 초당 2개의 쿼리의 기본 속도 제한이 있습니다. * 포함 모델에는 초당 기본 포함 입력이 300개 있습니다.
기본 모델 API(프로비전된 처리량) 속도 제한	작업 영역당	위에 나열된 모델 서비스 QPS 제한과 동일합니다.

모델 서비스 엔드포인트는 액세스 제어를 통해 보호되며 IP 허용 목록 및 Private Link와 같은 작업 영역에 구성된 네트워킹 관련 수신 규칙을 준수합니다.

추가 제한 사항도 있습니다.

• 작업 영역을 지원되는 지역에 배포할 수 있지만 다른 지역의 컨트롤 플레인에서 사용할 수 있습니다. 이러한 작업 영역은 모델 제공을 지원하지 않으며 작업 영역이 지원되지 않는다는 오류 메시지가 표시됩니다. 자세한 내용은 Azure Databricks 계정 팀에 문의하세요.
• 모델 제공은 init 스크립트를 지원하지 않습니다.
• 기본적으로 모델 제공은 외부 엔드포인트(예: Azure OpenAI)에 대한 Private Link를 지원하지 않습니다. 이 기능에 대한 지원은 지역별로 평가 및 구현됩니다. 자세한 내용은 Azure Databricks 계정 팀에 문의하세요.

파운데이션 모델 API 제한

참고 항목

기초 모델 API 제공의 일환으로 Databricks는 데이터가 시작된 지역 외부의 데이터를 처리할 수 있지만 관련 지리적 위치 외부에는 처리할 수 없습니다.

다음은 Foundation Model API 워크로드와 관련된 제한 사항입니다.

• 프로비전된 처리량 은 HIPAA 규정 준수 프로필을 지원하며 규정 준수 인증이 필요한 워크로드에 사용해야 합니다. 토큰 당 종량제 워크로드는 HIPAA 또는 규정 준수 보안 프로필을 준수하지 않습니다 .
• 파운데이션 모델 API 엔드포인트의 경우 작업 영역 관리자만 속도 제한과 같은 거버넌스 설정을 변경할 수 있습니다. 속도 제한을 변경하려면 다음 단계를 사용합니다.
  1. 작업 영역에서 서비스 UI를 열어 서비스 엔드포인트를 확인합니다.
  2. 편집하려는 파운데이션 모델 API 엔드포인트의 케밥 메뉴에서 세부 정보 보기를 선택합니다.
  3. 엔드포인트 세부 정보 페이지의 오른쪽 위에 있는 케밥 메뉴에서 속도 제한 변경을 선택합니다.
• 프로비전된 처리량 워크로드에 DBRX 모델 아키텍처를 사용하려면 서비스 엔드포인트가 다음 지역 중 하나에 있어야 합니다.
  • eastus
  • eastus2
  • westus
  • centralus
  • westeurope
  • northeurope
  • australiaeast
  • canadacentral
  • brazilsouth

지역 가용성

참고 항목

지원되지 않는 지역에 엔드포인트가 필요한 경우 Azure Databricks 계정 팀에 문의하세요.

DBRX 모델을 사용하는 프로비전된 처리량 워크로드의 경우 지역 가용성에 대한 Foundation Model API 제한을 참조하세요.

지역	위치	핵심 모델 서비스 기능 *	파운데이션 모델 API(전체 프로비전됨) **	파운데이션 모델 API(토큰당 지불)	외부 모델
australiacentral	오스트레일리아 중부
australiacentral2	오스트레일리아 중부 2
australiaeast	오스트레일리아 동부	X	X		X
australiasoutheast	오스트레일리아 남동부
brazilsouth	브라질 남부	X	X		X
canadacentral	캐나다 중부	X	X		X
canadaeast	캐나다 동부
centralindia	인도 중부	X	X		X
centralus	미국 중부	X	X	X	X
chinaeast2	중국 동부 2
chinaeast3	중국 동부 3
chinanorth2	중국 북부 2
chinanorth3	중국 북부 3
eastasia	동아시아
eastus	미국 동부	X	X	X	X
eastus2	미국 동부 2	X	X	X	X
eastus2euap	미국 동부 2 EUAP
francecentral	프랑스 중부
germanywestcentral	독일 중서부
japaneast	일본 동부
japanwest	일본 서부
koreacentral	한국 중부
northcentralus	미국 중북부	X		X	X
northeurope	북유럽	X	X		X
norwayeast	노르웨이 동부
qatarcentral	카타르 중부
southafricanorth	남아프리카 북부
southcentralus	미국 중남부
southeastasia	동남 아시아	X			X
southindia	인도 남부
swedencentral	스웨덴 중부
switzerlandnorth	스위스 북부
switzerlandwest	스위스 서부
uaenorth	아랍에미리트 북부
uksouth	영국 남부
ukwest	영국 서부
westcentralus	미국 중서부
westeurope	서유럽	X	X		X
westindia	인도 서부
westus	미국 서부	X	X	X	X
westus2	미국 서부 2			X	X
westus3	미국 서부 3			X	X

• CPU 컴퓨팅만

** gpu 지원 포함