Azure Machine Learning을 사용하여 리소스 할당량 및 제한 관리 및 늘리기

  • 아티클

Azure는 사기로 인한 예산 초과를 방지하고, Azure 용량 제약 조건을 준수하기 위해 할당량 및 제한을 사용합니다. 프로덕션 워크로드의 크기를 조정할 때 이러한 한도를 고려하세요. 이 문서에서는 다음에 대해 알아봅니다.

  • Azure Machine Learning과 관련된 Azure 리소스에 대한 기본 한도
  • 작업 영역 수준 할당량 만들기
  • 할당량 및 한도 보기
  • 할당량 증가 다시 요청

할당량 및 제한 관리와 함께 Azure Machine Learning에 대한 비용을 계획 및 관리하는 방법 또는 Azure Machine Learning의 서비스 제한에 대해 자세히 알아볼 수 있습니다.

특별 고려 사항

  • 할당량은 계정의 각 구독에 적용됩니다. 구독이 여러 개인 경우 각 구독에 대해 할당량 증가를 요청해야 합니다.

  • 할당량은 Azure 리소스에 대한 신용 한도액일 뿐이며 용량을 보장하는 것은 아닙니다. 대규모 용량이 필요한 경우 Azure 지원에 할당량 증가를 문의하세요.

  • 할당량은 Azure Machine Learning을 포함하여 구독의 모든 서비스에 공유됩니다. 용량을 평가할 때 모든 서비스의 사용량을 계산합니다.

    참고 항목

    Azure Machine Learning 컴퓨팅은 예외입니다. 이것은 핵심 컴퓨팅 할당량과 별도의 할당량을 갖습니다.

  • 기본 한도는 평가판, 종량제, VM(가상 머신) 시리즈(예: Dv2, F 및 G)와 같은 범주 형식에 따라 다릅니다.

기본 리소스 할당량 및 제한

이 섹션에서는 다음 리소스의 기본/최대 할당량 및 제한에 대해 알아봅니다.

  • Azure Machine Learning 자산
  • Azure Machine Learning 컴퓨팅(서버리스 Spark 포함)
  • Azure Machine Learning 공유 할당량
  • Azure Machine Learning 온라인 엔드포인트(관리 및 Kubernetes 모두) 및 일괄 처리 엔드포인트
  • Azure Machine Learning 파이프라인
  • Synapse와 Azure Machine Learning 통합
  • 가상 머신
  • Azure Container Instances
  • Azure Storage

Important

한도는 변경될 수 있습니다. 최신 정보는 Azure Machine Learning의 서비스 한도를 참조하세요.

Azure Machine Learning 자산

자산에 대한 다음 한도는 작업 영역별 기준으로 적용됩니다.

리소스 최대 한도
데이터 집합 1천만
실행 1천만
모델 1천만
구성 요소 1천만
Artifacts 1천만

또한 최대 런타임은 30일이고 실행별로 기록되는 메트릭의 최대 개수는 100만입니다.

Azure Machine Learning 컴퓨팅

Azure Machine Learning 컴퓨팅에는 구독에서 지역별로 허용되는 코어 수와 고유 컴퓨팅 리소스 수 모두에 대한 기본 할당량 한도가 있습니다.

참고 항목

  • 코어 수 할당량은 각 VM 제품군 및 누적 총 코어 수로 분할됩니다.
  • 지역별 고유 컴퓨팅 리소스 수에 대한 할당량은 Azure Machine Learning의 관리 컴퓨팅 리소스에만 적용되므로 VM 코어 할당량과 별개입니다.

다음 항목에 대한 한도를 높이려면 할당량 증가를 요청합니다.

  • VM 제품군 코어 할당량. 할당량 증가를 요청할 VM 제품군에 대해 자세히 알아보려면 Azure의 가상 머신 크기를 참조하세요. 예를 들어, GPU VM 제품군은 제품군 이름이 "N"으로 시작합니다(예: NCv3 시리즈).
  • 총 구독 코어 할당량
  • 클러스터 할당량
  • 이 섹션의 기타 리소스

사용 가능한 리소스:

  • 지역별 전용 코어는 구독 제안 유형에 따라 24~300의 기본 한도를 갖습니다. 각 VM 제품군에 대해 구독별 전용 코어 수를 늘릴 수 있습니다. NCv2, NCv3 또는 ND 시리즈와 같은 특별한 VM 제품군은 기본 코어 수 0으로 시작합니다. GPU는 또한 기본적으로 0코어로 설정됩니다.

  • 지역별 낮은 우선 순위 코어는 구독 제안 유형에 따라 100~3,000의 기본 한도를 갖습니다. 구독당 우선 순위가 낮은 코어 수는 확장 가능하며 VM 제품군별로 값이 다릅니다.

  • 지역당 총 컴퓨팅 제한은 지정된 구독 내의 지역당 기본 한도인 500이며 지역당 최대값인 2500까지 늘릴 수 있습니다. 이 제한은 학습 클러스터, 컴퓨팅 인스턴스 및 관리되는 온라인 엔드포인트 배포 간에 공유됩니다. 컴퓨팅 인스턴스는 할당량 목적의 단일 노드 클러스터로 간주됩니다.

다음 표에서는 플랫폼의 추가 한도를 보여 줍니다. 예외를 요청하려면 기술 지원 티켓을 통해 Azure Machine Learning 제품 팀에 연락하세요.

리소스 또는 작업 최대 한도
리소스 그룹당 작업 영역 800
통신을 사용하지 않는 풀(즉, MPI 작업을 실행할 수 없음)로 설정된 단일 Azure Machine Learning 컴퓨팅(AmlCompute) 클러스터의 노드 100개 노드, 하지만 최대 65,000개 노드까지 구성 가능
Azure Machine Learning 컴퓨팅(AmlCompute) 클러스터에서 실행되는 단일 병렬 실행 단계의 노드 노드는 100개이지만 앞서 언급한 대로 클러스터가 크기 조정되도록 설정된 경우 최대 65,000개의 노드로 구성 가능
통신을 사용하는 풀로 설정된 단일 Azure Machine Learning 컴퓨팅(AmlCompute) 클러스터의 노드 300개 노드, 하지만 최대 4000개 노드까지 구성 가능
RDMA 지원 VM 제품군에서 통신을 사용하는 풀로 설정된 단일 Azure Machine Learning 컴퓨팅(AmlCompute) 클러스터의 노드 100개 노드
Azure Machine Learning 컴퓨팅(AmlCompute) 클러스터에서 실행되는 단일 MPI의 노드 100개 노드
작업 수명 21일1
우선 순위가 낮은 노드의 작업 수명 7일2
노드당 매개 변수 서버 1

1 최대 수명은 작업 시작 시간과 종료 시간 사이의 기간입니다. 완료된 작업은 무기한 유지됩니다. 최대 수명 내에 완료되지 않은 작업에 대한 데이터는 액세스할 수 없습니다.

2 용량 제약 조건이 있을 때마다 우선 순위가 낮은 노드의 작업이 선점될 수 있습니다. 작업에서 검사점을 구현하는 것이 좋습니다.

Azure Machine Learning 공유 할당량

Azure Machine Learning은 여러 지역의 여러 사용자가 동시에 사용할 수 있는 공유 할당량 풀을 제공합니다. 가용성에 따라 사용자는 공유 풀에서 할당량에 일시적으로 액세스하고 할당량을 사용하여 제한된 시간 동안 테스트를 수행할 수 있습니다. 특정 기간은 사용 사례에 따라 달라집니다. 할당량 풀의 할당량을 일시적으로 사용하면 더 이상 단기 할당량 증가에 대한 지원 티켓을 제출하거나 워크로드를 계속하기 전에 할당량 요청이 승인될 때까지 기다릴 필요가 없습니다.

공유 할당량 풀은 Spark 작업을 실행하고 모델 카탈로그에서 Llama-2, Phi, Nemotron, Mistral, Dolly 및 Deci-DeciLM 모델에 대한 추론을 테스트하는 데 사용할 수 있습니다. 프로덕션 엔드포인트가 아닌 임시 테스트 엔드포인트를 만드는 데만 공유 할당량을 사용해야 합니다. 프로덕션의 엔드포인트의 경우 지원 티켓을 제출하여 전용 할당량을 요청해야 합니다. 공유 할당량에 대한 청구는 전용 가상 머신 제품군에 대한 청구와 마찬가지로 사용량 기반입니다. Spark 작업에 대한 공유 할당량을 옵트아웃하려면 이 양식을 작성하세요.

Azure Machine Learning 온라인 엔드포인트 및 일괄 처리 엔드포인트

Azure Machine Learning 온라인 엔드포인트 및 일괄 처리 엔드포인트에는 다음 표에 설명된 리소스 제한이 적용됩니다.

Important

이러한 한도는 지역별입니다. 즉, 사용 중인 각 지역별로 최대 한도를 사용할 수 있습니다. 예를 들어 구독당 엔드포인트 수에 대한 현재 제한이 100인 경우 미국 동부 지역에 100개의 엔드포인트, 미국 서부 지역에 100개 엔드포인트, 단일 구독에서 지원되는 다른 각 지역에 100개의 엔드포인트를 만들 수 있습니다. 다른 모든 제한에 동일한 원칙이 적용됩니다.

엔드포인트에 대한 현재 사용량을 확인하려면 메트릭을 봅니다.

Azure Machine Learning 제품 팀에 예외를 요청하려면 엔드포인트 제한 늘리기의 단계를 따릅니다.

리소스   제한1                                                 예외 허용 적용 대상:
엔드포인트 이름 엔드포인트 이름은 다음과 같아야 합니다.
  • 문자로 시작
  • 3~32자 길이
  • 문자 및 숫자로만 구성 2
  • Kubernetes 엔드포인트의 경우 엔드포인트 이름과 배포 이름을 합한 총 길이는 3~62자여야 합니다.
    		•  - 모든 유형의 엔드포인트 3
    배포 이름 배포 이름은 다음과 같아야 합니다.
  • 문자로 시작
  • 3~32자 길이
  • 문자 및 숫자로만 구성 2
  • Kubernetes 엔드포인트의 경우 엔드포인트 이름과 배포 이름을 합한 총 길이는 3~62자여야 합니다.
    		•  - 모든 유형의 엔드포인트 3
    구독당 엔드포인트 수 100 예 모든 유형의 엔드포인트 3
    클러스터당 엔드포인트 수 60 - Kubernetes 온라인 엔드포인트
    구독당 배포 수 500 예 모든 유형의 엔드포인트 3
    엔드포인트당 배포 수 20 예 모든 유형의 엔드포인트 3
    클러스터당 배포 수 100 - Kubernetes 온라인 엔드포인트
    배포당 인스턴스 수 50 4 예 관리되는 온라인 엔드포인트
    엔드포인트 수준에서 최대 요청 시간 초과 180초 - 관리되는 온라인 엔드포인트
    엔드포인트 수준에서 최대 요청 시간 초과 300초 - Kubernetes 온라인 엔드포인트
    모든 배포에 대한 엔드포인트 수준에서 초당 총 요청 수 500 5 예 관리되는 온라인 엔드포인트
    모든 배포에 대한 엔드포인트 수준에서 초당 총 연결 수 500 5 예 관리되는 온라인 엔드포인트
    모든 배포에 대한 엔드포인트 수준에서 활성화되는 총 연결 수 500 5 예 관리되는 온라인 엔드포인트
    모든 배포에 대한 엔드포인트 수준의 총 대역폭 5MBPS 5 예 관리되는 온라인 엔드포인트

    1 이것은 지역별 제한입니다. 예를 들어 엔드포인트 수에 대한 현재 제한이 100인 경우 미국 동부 지역에 100개의 엔드포인트, 미국 서부 지역에 100개 엔드포인트, 단일 구독에서 지원되는 다른 각 지역에 100개의 엔드포인트를 만들 수 있습니다. 다른 모든 제한에 동일한 원칙이 적용됩니다.

    2my-endpoint-name와 같은 단일 대시는 엔드포인트 및 배포 이름에 허용됩니다.

    3 엔드포인트 및 배포는 형식이 다를 수 있지만 모든 형식의 합계에 제한이 적용됩니다. 예를 들어 각 구독에서 관리형 온라인 엔드포인트, Kubernetes 온라인 엔드포인트 및 일괄 처리 엔드포인트의 합계는 기본적으로 지역당 100을 초과할 수 없습니다. 마찬가지로, 각 구독에서 관리형 온라인 배포, Kubernetes 온라인 배포 및 일괄 처리 배포의 합계는 기본적으로 지역당 500을 초과할 수 없습니다.

    4 업그레이드를 수행하기 위해 20% 추가 컴퓨팅 리소스를 예약합니다. 예를 들어 배포에서 10개의 인스턴스를 요청하는 경우 12에 대한 할당량이 있어야 합니다. 그렇지 않으면 오류가 발생합니다. 추가 할당량에서 제외되는 일부 VM SKU가 있습니다. 자세한 내용은 배포를 위한 가상 머신 할당량 할당을 참조하세요.

    5 초당 요청 수, 연결, 대역폭 등이 관련되어 있습니다. 이러한 제한에 대한 증가를 요청하는 경우 다른 관련 제한을 함께 예측/계산해야 합니다.

    Azure Machine Learning 파이프라인

    Azure Machine Learning 파이프라인은 다음 한도를 갖습니다.

    리소스 한도
    파이프라인의 단계 30,000
    리소스 그룹당 작업 영역 800

    Azure Machine Learning 작업 일정

    Azure Machine Learning 작업 일정에는 다음 제한이 적용됩니다.

    리소스 한도
    지역별 일정 100

    Synapse와 Azure Machine Learning 통합

    Azure Machine Learning 서버리스 Spark는 Apache Spark 작업 크기 조정을 위한 분산 컴퓨팅 기능에 쉽게 액세스할 수 있도록 합니다. 서버리스 Spark는 Azure Machine Learning 컴퓨팅과 동일한 전용 할당량을 활용합니다. "Machine Learning Services: 가상 머신 할당량" 범주에서 ESv3 시리즈에 대한 지원 티켓을 제출하고 할당량 및 제한 증가를 요청하여 할당량 제한을 늘릴 수 있습니다.

    할당량 사용량을 보려면 Machine Learning 스튜디오로 이동하여 사용량을 확인하려는 구독 이름을 선택합니다. 왼쪽 패널에서 "할당량"을 선택합니다.

    Azure Machine Learning 할당량 스크린샷.

    가상 머신

    각 Azure 구독은 모든 서비스에서 가상 머신 수에 대한 한도를 갖습니다. 가상 머신 코어는 지역별 총 한도 및 크기 시리즈당 지역별 한도를 갖습니다. 두 한도는 개별적으로 적용됩니다.

    미국 동부 총 VM 코어 한도가 30이고, A 시리즈 코어 한도 30이며, D 시리즈 코어 한도는 30인 구독을 예로 들 수 있습니다. 이러한 구독은 30개의 A1 VM 또는 30개의 D1 VM을 배포하도록 허용됩니다. 또는 총 30개 코어를 초과하지 않는 두 구독의 조합도 허용됩니다.

    다음 표에 표시된 값을 넘도록 가상 머신의 한도를 늘릴 수 없습니다.

    리소스 제한
    Microsoft Entra 테넌트와 연결된 Azure 구독 제한 없음
    구독당 공동 관리자 제한 없음
    구독당 리소스 그룹 980
    Azure Resource Manager API 요청 크기 4,194,304바이트
    구독당 태그 수1 50
    구독당 고유한 태그 계산2 80,000
    위치당 구독 수준 배포 8003
    구독 수준 배포 위치 10

    1최대 50개의 태그를 구독에 직접 적용할 수 있습니다. 구독 내에서 각 리소스 또는 리소스 그룹도 50개의 태그로 제한됩니다. 그러나 구독에는 리소스 및 리소스 그룹에 분산된 태그가 무제한으로 포함될 수 있습니다.

    2Resource Manager는 고유한 태그 수가 80,000개 이하일 경우에만 구독에 태그 이름 및 값의 목록을 반환합니다. 고유 태그는 리소스 ID, 태그 이름 및 태그 값의 조합으로 정의됩니다. 예를 들어, 동일한 태그 이름과 값을 가진 두 개의 리소스는 두 개의 고유한 태그로 계산됩니다. 개수가 80,000개를 초과하더라도 태그로 리소스를 찾을 수 있습니다.

    3한도에 가까워지면 배포가 기록에서 자동으로 삭제됩니다. 자세한 내용은 배포 기록에서 자동 삭제를 참조하세요.

    Container Instances

    자세한 내용은 Container Instances 한도를 참조하세요.

    스토리지

    Azure Storage는 구독당 지역별로 250개의 스토리지 계정으로 제한됩니다. 이러한 한도에는 표준 및 Premium 스토리지 계정이 모두 포함됩니다.

    작업 영역 수준 할당량

    작업 영역 수준 할당량을 사용하여 동일한 구독의 여러 작업 영역 간에 Azure Machine Learning 컴퓨팅 대상 할당을 관리할 수 있습니다.

    기본적으로 모든 작업 영역은 VM 제품군의 구독 수준 할당량과 동일한 할당량을 공유합니다. 하지만 구독의 작업 영역에 개별 VM 제품군에 대해 최대 할당량을 설정할 수 있습니다. 개별 VM 제품군에 대한 할당량을 사용하면 용량을 공유하고 리소스 경합 문제를 방지할 수 있습니다.

    1. 구독의 작업 영역으로 이동합니다.
    2. 왼쪽 창에서 사용량 + 할당량을 선택합니다.
    3. 할당량 구성 탭을 선택하여 할당량을 확인합니다.
    4. VM 제품군을 확장합니다.
    5. VM 제품군 아래에 나열된 작업 영역에 할당량 한도를 설정합니다.

    구독 수준 할당량보다 높은 값 또는 음수 값은 설정할 수 없습니다.

    Azure Machine Learning 작업 영역 수준 할당량을 보여주는 스크린샷.

    참고 항목

    작업 영역 수준에서 할당량을 설정하려면 구독 수준 권한이 필요합니다.

    스튜디오에서 할당량 보기

    1. 새 컴퓨팅 리소스를 만들면 기본적으로 이미 사용할 할당량이 있는 VM 크기만 표시됩니다. 보기를 모든 옵션에서 선택으로 전환합니다.

      더 많은 할당량이 필요한 컴퓨팅 리소스를 표시하는 모든 옵션을 선택하는 스크린샷

    2. 할당량이 없는 VM 크기 목록이 표시될 때까지 아래로 스크롤합니다.

      할당량 0의 목록을 보여주는 스크린샷

    3. 링크를 사용하여 추가 할당량에 대한 온라인 고객 지원 요청으로 직접 이동합니다.

    Azure Portal에서 사용량 및 할당량 보기

    가상 머신, 스토리지 또는 네트워크와 같은 여러 Azure 리소스에 대해 할당량을 보려면 Azure Portal을 사용합니다.

    1. 왼쪽 창에서 모든 서비스를 선택한 후 일반 범주 아래에서 구독을 선택합니다.

    2. 구독 목록에서 할당량을 찾으려는 구독을 선택합니다.

    3. 사용량 + 할당량을 선택하여 현재 할당량 한도 및 사용량을 확인합니다. 필터를 사용하여 공급자 및 위치를 선택합니다.

    다른 Azure 할당량과 별도로 구독에서 Azure Machine Learning 컴퓨팅 할당량을 관리합니다.

    1. Azure Portal에서 Azure Machine Learning 작업 영역으로 이동합니다.

    2. 왼쪽 창의 지원 + 문제 해결 섹션에서 사용량 + 할당량을 선택하여 현재 할당량 한도 및 사용량을 확인합니다.

    현재 할당량 한도 및 사용량을 보여 주는 Azure Portal 보기의 스크린샷.

    1. 구독을 선택하여 할당량 한도를 확인합니다. 원하는 지역으로 필터링합니다.

    2. 이제 구독 수준 보기 또는 작업 영역 수준 보기로 전환할 수 있습니다.

    할당량 및 한도 증가 요청

    VM 할당량 증가는 지역별 VM 제품군당 코어 수를 늘리는 것입니다. 엔드포인트 제한 증가는 지역마다 구독당 엔드포인트별 제한을 늘리는 것입니다. 다음 섹션에 설명된 대로 할당량 증가 요청을 제출할 때에는 올바른 범주를 선택해야 합니다.

    VM 할당량 늘리기

    Azure Machine Learning VM 할당량 한도를 기본 한도보다 높이려면 위의 사용량 + 할당량 보기에서 할당량 증가를 요청하거나 Azure Machine Learning 스튜디오에서 할당량 증가 요청을 제출할 수 있습니다.

    1. 위의 지침에 따라 사용량 + 할당량 페이지로 이동합니다. 현재 할당량 한도를 확인합니다. 증가를 요청하려는 SKU를 선택합니다.

    VM 할당량 세부 정보의 스크린샷.

    1. 늘리려는 할당량과 새 한도 값을 제공합니다. 마지막으로 계속하려면 제출을 선택합니다.

    새 VM 할당량 요청 양식의 스크린샷.

    엔드포인트 제한 늘리기

    엔드포인트 제한을 늘리려면 온라인 고객 지원 요청을 접수합니다. 엔드포인트 한도 늘리기를 요청할 때 다음 정보를 제공합니다.

    1. 지원 요청을 열 때 문제 유형으로 서비스 및 구독 한도(할당량)를 선택합니다.
    2. 원하는 구독을 선택합니다.
    3. 할당량 유형으로 Machine Learning Services: 엔드포인트 한도를 선택합니다.
    4. 요청을 처리하려면 추가 세부 정보 탭에서 한도를 늘리려는 자세한 이유를 제공해야 합니다. 세부 정보 입력을 선택한 다음, 늘리려는 제한과 새로운 제한값, 제한 증가를 요청하는 이유 및 제한 늘리기가 필요한 위치를 제공합니다. 제한을 늘리려는 이유에 다음 정보를 추가해야 합니다.
      1. 시나리오 및 워크로드에 대한 설명(예: 텍스트, 이미지 등).
      2. 요청된 증가에 대한 근거.
        1. 대상 처리량 및 해당 패턴(평균/피크 QPS, 동시 사용자)을 제공합니다.
        2. 대규모 대상 대기 시간과 단일 인스턴스에서 확인되는 현재 대기 시간을 제공합니다.
        3. 대상 처리량 및 대기 시간을 지원하기 위해 총 VM SKU 및 인스턴스 수를 제공합니다. 각 지역에서 사용하려는 엔드포인트/배포/인스턴스 수를 제공합니다.
        4. 선택한 VM SKU와 처리량 및 대기 시간 요구 사항을 충족하는 인스턴스 수를 나타내는 벤치마크 테스트가 있는지 확인합니다.
        5. 페이로드의 유형과 단일 페이로드의 크기를 제공합니다. 네트워크 대역폭이 페이로드 크기 및 초당 요청에 맞아야 합니다.
        6. 계획된 시간 계획(한도를 늘려야 하는 경우 - 가능한 경우 준비된 계획 제공)을 제공하고 (1) 해당 규모로 실행할 때의 비용이 예산에 반영되고 (2) 대상 VM SKU가 승인되었는지 확인합니다.
    5. 마지막으로 저장 및 계속을 선택하여 계속합니다.

    엔드포인트 한도 세부 정보 양식의 스크린샷.

    참고 항목

    이 엔드포인트 한도 늘리기 요청은 VM 할당량 늘리기 요청과 다릅니다 요청이 VM 할당량 늘리기와 관련된 경우 VM 할당량 늘리기 섹션의 지침을 따릅니다.

    컴퓨팅 한도 증가

    총 컴퓨팅 한도를 늘리려면 온라인 고객 지원 요청을 엽니다. 다음 정보를 제공합니다.

    1. 지원 요청을 열면 문제 유형으로 기술을 선택합니다.

    2. 원하는 구독을 선택합니다.

    3. Machine Learning을 서비스로 선택합니다.

    4. 선택한 리소스 선택

    5. 요약에서 "총 컴퓨팅 제한 늘리기"를 멘션”

    6. 문제 유형으로 컴퓨팅 클러스터를 선택하고 문제 하위 형식으로 클러스터가 확장되지 않거나 크기 조정이 중단되었습니다.

      문제 설명 탭의 스크린샷.

    7. 이 하위 지역의 총 컴퓨팅 한도를 늘리려면 추가 세부 정보 탭에서 구독 ID, 지역, 새 한도(500~2,500) 및 비즈니스 근거를 제공합니다.

      추가 세부 정보 탭의 스크린샷.

    8. 마지막으로 만들기를 선택하여 지원 요청 티켓을 만듭니다.

    다음 단계