Share via

클라우드 규모 분석을 위한 데이터 제품으로서의 Azure Machine Learning

  • 아티클

Azure Machine Learning은 Machine Learning 모델 및 워크플로의 만들기, 운영 및 사용량에 대한 도움말을 포함하여 처음부터 끝까지 Machine Learning 수명 주기를 관리하기 위한 통합 플랫폼입니다. 서비스의 몇 가지 이점은 다음과 같습니다.

  • 기능은 제작자가 실험을 관리하고, 데이터에 액세스하고, 작업을 추적하고, 하이퍼 매개 변수를 조정하고, 워크플로를 자동화하여 생산성을 높일 수 있도록 지원합니다.

  • 설명, 재생산, 감사 및 DevOps와 통합할 수 있는 모델의 기능과 풍부한 보안 제어 모델은 운영자가 거버넌스 및 규정 준수 요구 사항을 충족하도록 지원할 수 있습니다.

  • 관리 유추 기능과 Azure 컴퓨팅 및 데이터 서비스와의 강력한 통합은 서비스 사용 방식을 단순화하는 데 도움이 될 수 있습니다.

Azure Machine Learning은 데이터 과학 수명 주기의 모든 측면을 다룹니다. 모델 배포에 대한 데이터 저장소 및 데이터 세트 등록을 다룹니다. 기존 기계 학습에서 딥 러닝에 이르기까지 모든 종류의 기계 학습에 사용할 수 있습니다. 여기에는 감독 및 자율 학습이 포함됩니다. Python, R 코드를 빌드하거나 디자이너와 같은 제로 코드 또는 낮은 코드 옵션을 기본 설정하는지 여부에 관계없이 Azure Machine Learning 작업 영역에서 정확한 Machine Learning 및 딥 러닝 모델을 빌드, 학습 및 추적할 수 있습니다.

Azure Machine Learning, Azure 플랫폼 및 Azure AI 서비스는 함께 작동하여 Machine Learning 수명 주기를 관리할 수 있습니다. Machine Learning 실무자는 Azure Synapse Analytics, Azure SQL Database 또는 Microsoft Power BI를 사용하여 데이터 분석을 시작하고 프로토타이핑, 실험 관리 및 운영화를 위해 Azure Machine Learning으로 전환할 수 있습니다. Azure 랜딩 존에서 Azure Machine Learning은 데이터 제품으로 간주될 수 있습니다.

클라우드 규모 분석의 Azure Machine Learning

CAF(클라우드 채택 프레임워크) 랜딩 존 기반, 클라우드 규모 분석 데이터 랜딩 존, Azure Machine Learning의 구성은 Machine Learning 전문가가 새로운 Machine Learning 워크로드를 반복적으로 배포하거나 기존 워크로드를 마이그레이션할 수 있는 사전 구성된 환경으로 설정합니다. 이러한 기능은 기계 학습 전문가가 더 많은 민첩성과 시간 가치를 얻는 데 도움이 될 수 있습니다.

다음 설계 원칙은 Azure Machine Learning Azure 랜딩 존의 구현을 안내할 수 있습니다.

  • 가속된 데이터 액세스: Azure Machine Learning 작업 영역에서 랜딩 존 스토리지 구성 요소를 데이터 저장소로 사전 구성합니다.

  • 협업 가능: 데이터 엔지니어링, 데이터 과학 및 기계 학습 전문가가 함께 작업할 수 있도록 프로젝트별로 작업 영역을 구성하고 랜딩 존 리소스에 대한 액세스 관리를 중앙 집중화합니다.

  • 보안 구현: 각 배포의 기본값으로 모범 사례를 따르고 네트워크 격리, ID 및 액세스 관리를 사용하여 데이터 자산을 보호합니다.

  • 셀프 서비스: 기계 학습 전문가는 새로운 프로젝트 리소스를 배포하기 위한 옵션을 탐색하여 민첩성과 조직성을 높일 수 있습니다.

  • 데이터 관리와 데이터 사용량 간의 문제 분리: ID 통과는 Azure Machine Learning 및 스토리지의 기본 인증 유형입니다.

  • 더 빠른 데이터 애플리케이션(원본 정렬): Azure Data Factory, Azure Synapse Analytics 및 Databricks 랜딩 존은 Azure Machine Learning에 연결하도록 미리 구성할 수 있습니다.

  • 관측 가능성: 중앙 로깅 및 참조 구성은 환경을 모니터링하는 데 도움이 될 수 있습니다.

구현 개요

참고 항목

이 섹션에서는 클라우드 규모 분석과 관련된 구성을 권장합니다. Azure Machine Learning 설명서 및 클라우드 채택 프레임워크 모범 사례를 보완합니다.

작업 영역 구성 및 설정

워크로드에 필요한 수의 기계 학습 워크로드와 배포하는 모든 랜딩 존을 배포할 수 있습니다. 다음 권장 사항은 설정에 도움이 될 수 있습니다.

  • 프로젝트당 하나 이상의 기계 학습 작업 영역을 배포합니다.

  • 기계 학습 프로젝트의 수명 주기에 따라 하나의 개발(dev) 작업 영역을 배포하여 사용 사례를 프로토타이핑하고 초기에 데이터를 탐색합니다. 지속적인 실험, 테스트 및 배포가 필요한 작업의 경우 스테이징 및 프로덕션 작업 영역을 배포합니다.

  • 데이터 랜딩 존의 개발, 스테이징 및 프로덕션 작업 영역에 여러 환경이 필요한 경우 각 환경을 동일한 프로덕션 데이터 랜딩 존에 배치하여 데이터 중복을 방지하는 것이 좋습니다.

  • Azure Machine Learning 리소스를 구성 및 설정하는 방법에 대한 자세한 내용은 Azure Machine Learning 환경 구성 및 설정을 참조하세요.

데이터 랜딩 존의 각 기본 리소스 구성에 대해 Azure Machine Learning Services는 다음 구성 및 종속 리소스가 있는 전용 리소스 그룹에 배포됩니다.

  • Azure Key Vault
  • Application Insights
  • Azure Container Registry
  • Azure Machine Learning을 사용하여 Azure Storage 계정 및 Microsoft Entra ID 기반 인증에 연결하여 사용자가 계정에 연결하는 데 도움을 줍니다.
  • 진단 로깅은 각 작업 영역에 대해 설정되고 엔터프라이즈 규모의 중앙 Log Analytics 리소스에 구성됩니다. 이렇게 하면 Azure Machine Learning 작업 상태 및 리소스 상태를 랜딩 존 내 및 전체에서 중앙에서 분석하는 데 도움이 될 수 있습니다.
  • Azure Machine Learning 리소스 및 종속성에 대한 자세한 내용은 Azure Machine Learning 작업 영역이란?을 참조하세요.

데이터 랜딩 존 핵심 서비스와 통합

데이터 랜딩 존은 핵심 서비스 계층에 배포되는 기본 서비스 집합과 함께 제공됩니다. 이러한 핵심 서비스는 Azure Machine Learning이 데이터 랜딩 존에 배포될 때 구성할 수 있습니다.

  • Azure Synapse Analytics 또는 Databricks 작업 영역을 연결된 서비스로 연결하여 데이터를 통합하고 빅 데이터를 처리합니다.

  • 기본적으로 데이터 레이크 서비스는 데이터 랜딩 존에서 프로비저닝되고 Azure Machine Learning 제품 배포는 이러한 스토리지 계정에 미리 구성된 연결(데이터 저장소)과 함께 제공됩니다.

Overview of data product analytics for Azure Machine Learning.

네트워크 연결

Azure 랜딩 존에서 Azure Machine Learning을 구현하기 위한 네트워킹은 Azure Machine Learning에 대한 보안 모범 사례 및 CAF 네트워킹 모범 사례로 설정됩니다. 이러한 모범 사례에는 다음 구성이 포함됩니다.

  • Azure Machine Learning 및 종속 리소스는 Private Link 엔드포인트를 사용하도록 구성됩니다.
  • 관리 컴퓨팅 리소스는 개인 IP 주소로만 배포됩니다.
  • Azure Machine Learning 공용 기본 이미지 리포지토리 및 Azure Artifacts와 같은 파트너 서비스에 대한 네트워크 연결은 네트워크 수준에서 구성할 수 있습니다.

ID 및 액세스 관리

Azure Azure Machine Learning으로 사용자 ID 및 액세스를 관리하기 위한 다음 권장 사항을 고려합니다.

  • Azure Machine Learning의 데이터 저장소는 자격 증명 또는 ID 기반 인증을 사용하도록 구성할 수 있습니다. Azure Data Lake Storage Gen2에서 액세스 제어 및 데이터 레이크 구성을 사용하는 경우 ID 기반 인증을 사용하도록 데이터 저장소를 구성합니다. 이를 통해 Azure Machine Learning은 스토리지에 대한 사용자 액세스 권한을 최적화할 수 있습니다.

  • Microsoft Entra 그룹을 사용하여 스토리지 및 기계 학습 리소스에 대한 사용자 권한을 관리합니다.

  • Azure Machine Learning은 액세스 제어를 위해 사용자 할당 관리 ID를 사용하고 Azure Container Registry, Key Vault, Azure Storage 및 Application Insights에 대한 액세스 범위를 제한할 수 있습니다.

  • Azure Machine Learning에서 만든 관리 컴퓨팅 클러스터에 사용자 할당 관리 ID를 만듭니다.

셀프 서비스를 통한 인프라 프로비저닝

셀프 서비스는 Azure Machine Learning 정책으로 사용하도록 설정하고 관리할 수 있습니다. 다음 표에는 Azure Machine Learning을 배포할 때의 기본 정책 집합이 나와 있습니다. 자세한 내용은 Azure Machine Learning을 위한 Azure Policy 기본 제공 정책 정의를 참조하세요.

정책 Type 참조
Azure Machine Learning 작업 영역은 Azure Private Link를 사용해야 합니다. 기본 제공 Azure Portal에서 보기
Azure Machine Learning 작업 영역은 사용자 할당 관리 ID를 사용해야 합니다. 기본 제공 Azure Portal에서 보기
[미리 보기]: 지정된 Azure Machine Learning 컴퓨팅에서 허용되는 레지스트리를 구성합니다. 기본 제공 Azure Portal에서 보기
프라이빗 엔드포인트를 사용하여 Azure Machine Learning 작업 영역을 구성합니다. 기본 제공 Azure Portal에서 보기
로컬 인증 방법을 사용하지 않도록 Machine Learning 컴퓨팅을 구성합니다. 기본 제공 Azure Portal에서 보기
Append-machinelearningcompute-setupscriptscreationscripts 사용자 지정(CAF 랜딩 존) GitHub에서 보기
Deny-machinelearning-hbiworkspace 사용자 지정(CAF 랜딩 존) GitHub에서 보기
Deny-machinelearning-publicaccesswhenbehindvnet 사용자 지정(CAF 랜딩 존) GitHub에서 보기
Deny-machinelearning-AKS 사용자 지정(CAF 랜딩 존) GitHub에서 보기
Deny-machinelearningcompute-subnetid 사용자 지정(CAF 랜딩 존) GitHub에서 보기
Deny-machinelearningcompute-vmsize 사용자 지정(CAF 랜딩 존) GitHub에서 보기
Deny-machinelearningcomputecluster-remoteloginportpublicaccess 사용자 지정(CAF 랜딩 존) GitHub에서 보기
Deny-machinelearningcomputecluster-scale 사용자 지정(CAF 랜딩 존) GitHub에서 보기

환경 관리를 위한 권장 사항

클라우드 규모 분석 데이터 랜딩 존은 반복 가능한 배포를 위한 참조 구현을 설명하며, 이는 관리 및 통제 가능한 환경을 설정하는 데 도움이 될 수 있습니다. Azure Machine Learning을 사용하여 환경을 관리하기 위한 다음 권장 사항을 고려합니다.

  • Microsoft Entra 그룹을 사용하여 기계 학습 리소스에 대한 액세스를 관리합니다.

  • 파이프라인 상태, 컴퓨팅 사용률 및 기계 학습을 위한 할당량 관리를 모니터링하는 중앙 모니터링 대시보드를 게시합니다.

  • 기본적으로 기본 제공 Azure 정책을 사용하고 추가 규정 준수 요구 사항을 충족해야 하는 경우 사용자 지정 Azure 정책을 빌드하여 거버넌스 및 셀프 서비스를 향상합니다.

  • 연구 및 개발 비용을 추적하려면 사용 사례 탐색의 초기 단계에서 랜딩 존에 하나의 기계 학습 작업 영역을 공유 리소스로 배포합니다.

Important

프로덕션 등급 모델 학습에는 Azure Machine Learning 클러스터를 사용하고 프로덕션 등급 배포에는 AKS(Azure Kubernetes Service)를 사용합니다.

팁

데이터 과학 프로젝트에 Azure Machine Learning을 사용합니다. 하위 서비스 및 기능이 포함된 엔드투엔드 워크플로를 다루며 프로세스를 완전히 자동화할 수 있습니다.

다음 단계

데이터 제품 분석 템플릿 및 지침을 사용하여 Azure Machine Learning을 배포하고 Azure Machine Learning 설명서 및 자습서를 참조하여 솔루션 빌드를 시작합니다.

기업을 위한 Azure Machine Learning 배포 및 관리 모범 사례에 대해 자세히 알아보려면 다음 4가지 클라우드 채택 프레임워크 문서를 계속 진행합니다.