이 문서에서는 서버리스 GPU 컴퓨팅의 정의, 작동 방식 및 사용에 대한 주요 시나리오를 설명합니다. Microsoft Dev Box(미리 보기)의 서버리스 GPU 컴퓨팅을 사용하면 GPU 가속으로 개발 상자를 스핀업할 수 있습니다. 추가 설정이 필요하지 않습니다. Dev Box 서버리스 GPU 컴퓨팅을 통해 개발자는 영구 인프라 또는 복잡한 설정 없이 요청 시 GPU 리소스를 사용할 수 있습니다.
서버리스 GPU 컴퓨팅의 일반적인 시나리오에는 AI 모델 학습, 유추 및 데이터 처리와 같은 계산 집약적 워크로드가 포함됩니다. 서버리스 GPU 컴퓨팅을 사용하면 다음을 수행할 수 있습니다.
- 필요한 경우에만 GPU 리소스 사용
- 워크로드 요구에 따라 GPU 리소스 크기 조정
- 사용하는 GPU 시간에 대해서만 지불
- 조직의 보안 네트워크 환경에서 작업
이 기능은 Microsoft Dev Box와 Azure Container Apps를 통합하여 개발자가 인프라를 관리할 필요 없이 GPU 기능을 제공합니다.
Dev Box의 서버리스 GPU 컴퓨팅은 ACA(Azure Container Apps)를 사용합니다. 개발자가 GPU 사용 셸 또는 도구를 시작하면 Dev Box가 자동으로 다음을 수행합니다.
- 서버리스 GPU 세션에 대한 연결을 만듭니다.
- 필요한 GPU 리소스를 프로비전합니다.
- 개발자의 터미널 또는 통합 개발 환경을 통해 이러한 리소스를 사용할 수 있도록 합니다.
- 더 이상 필요하지 않은 경우 세션을 자동으로 종료합니다.
Prerequisites
- Azure 구독
- Microsoft.App이(가) 귀하의 구독에 이미 등록되었습니다.
- Microsoft.CognitiveServices가 구독에 등록되었습니다
- 개발 센터 및 프로젝트
- 개발자 센터 및 프로젝트를 만드는 방법에 대한 자세한 내용은 빠른 시작: Microsoft Dev Box 구성을 참조하세요.
- 개발자 센터에 대해 구성된 MSI(관리 서비스 ID)
- MSI 구성에 대한 자세한 내용은 관리 서비스 ID를 참조하세요.
서버리스 GPU 구성
관리자는 개발자 센터를 통해 프로젝트 수준에서 서버리스 GPU 액세스를 제어합니다. 주요 관리 기능은 다음과 같습니다.
- GPU 액세스 사용/사용 안 함: 프로젝트에서 서버리스 GPU 리소스를 사용할 수 있는지 여부를 제어합니다.
- 동시 GPU 제한 설정: 프로젝트에서 동시에 사용할 수 있는 최대 GPU 수를 설정합니다.
서버리스 GPU 리소스에 대한 액세스는 프로젝트 수준 속성을 통해 관리됩니다. 프로젝트에 서버리스 GPU 기능을 사용하도록 설정하면 해당 프로젝트의 모든 Dev Box에서 GPU 컴퓨팅을 사용할 수 있습니다. 이 간단한 액세스 모델은 사용자 지정 역할 또는 풀 기반 구성의 필요성을 제거합니다.
Important
서버리스 GPU는 특정 지역에서만 사용할 수 있습니다. 프로젝트는 브라질South, CanadaCentral, CentralUS, EastUS, EastUS2, SouthCentralUS 또는 WestUS3 지역 중 하나에 있어야 합니다.
구독에 대한 서버리스 GPU 등록
- Azure Portal에 로그인합니다.
- 구독으로 이동합니다.
- 설정>미리 보기 기능을 선택합니다.
-
Dev Box 서버리스 GPU 미리 보기를 선택한 다음, 등록을 선택합니다.
프로젝트에 서버리스 GPU 사용
- 프로젝트로 이동합니다.
- 설정>개발 상자 설정을 선택합니다.
-
AI 워크로드에서 사용을 선택한 후, 적용을 선택합니다.
GPU에 연결
서버리스 GPU를 사용하도록 설정하면 해당 프로젝트의 Dev Box 사용자는 터미널 및 VS(Visual Studio) 코드 환경에서 GPU 옵션을 볼 수 있습니다.
다음 방법 중 하나를 사용하여 연결할 수 있습니다.
방법 1: Dev Box GPU 셸 시작
- 개발 상자에서 Windows 터미널을 엽니다.
- 다음 명령을 실행합니다.
devbox gpu shell - 미리 구성된 GPU 컨테이너에 연결합니다.
방법 2: 원격 터널에서 VS Code 사용
- 개발 상자에서 Windows 터미널을 엽니다.
- 다음 명령을 실행합니다.
devbox gpu shell - Visual Studio Code를 시작합니다.
- 원격 터널 확장을 설치합니다.
- gpu 세션 터널에 연결합니다.