Azure Machine Learning용 고객 관리형 키

Azure Machine Learning은 여러 Azure 서비스를 토대로 빌드되었습니다. 저장된 데이터는 Microsoft에서 제공하는 암호화 키를 통해 암호화되지만, 고유한(고객 관리형) 키도 제공하여 보안을 강화할 수 있습니다. 사용자가 제공하는 키는 Azure Key Vault에 저장됩니다. 데이터는 Azure 구독에서 관리하는 다른 리소스 집합에 저장됩니다.

Azure Machine Learning은 CMK(고객 관리형 키) 외에도 hbi_workspace 플래그를 제공합니다. 이 플래그를 사용하면 Microsoft가 진단 목적으로 수집하는 데이터 양이 감소하고 Microsoft 관리형 환경에서 추가 암호화가 가능합니다. 이 플래그를 통해 다음 동작도 사용할 수 있습니다.

• 해당 구독에서 이전 클러스터를 만들지 않은 경우 Azure Machine Learning 컴퓨팅 클러스터에서 로컬 스크래치 디스크 암호화를 시작합니다. 그렇지 않으면 컴퓨팅 클러스터의 스크래치 디스크를 암호화가 가능하도록 지원 티켓을 생성해야 합니다.
• 작업 사이에 로컬 스크래치 디스크를 정리합니다.
• 키 자격 증명 모음을 사용하여 스토리지 계정, 컨테이너 레지스트리 및 SSH(Secure Shell) 계정의 자격 증명을 실행 레이어에서 컴퓨팅 클러스터로 안전하게 전달합니다.

hbi_workspace 플래그는 전송 중 암호화에 영향을 주지 않습니다. 미사용 암호화에만 영향을 줍니다.

필수 구성 요소

• Azure 구독
• Azure Key Vault 인스턴스. 키 자격 증명 모음에는 서비스를 암호화하기 위한 키가 포함되어 있습니다.

키 자격 증명 모음은 일시 삭제 및 제거 보호를 사용하도록 설정해야 합니다. 고객 관리형 키를 사용하여 보호하는 서비스의 관리 ID에는 키 자격 증명 모음에 대한 다음 권한이 있어야 합니다.

• 키 래핑
• 키 래핑 해제
• Get

예를 들어 Azure Cosmos DB의 관리 ID에는 키 자격 증명 모음에 대한 해당 권한이 있어야 합니다.

제한 사항

• 작업 영역을 만든 후에는 작업 영역이 종속된 리소스에 대한 고객 관리형 암호화 키를 원래 Azure Key Vault 리소스의 다른 키로만 업데이트할 수 있습니다.
• 암호화된 데이터는 구독에 있는 Microsoft에서 관리되는 리소스 그룹의 리소스에 저장됩니다. 이러한 리소스를 미리 만들거나 소유권을 사용자에게 이전할 수 없습니다. 데이터 수명 주기는 Azure Machine Learning Service에서 개체를 만들 때 Azure Machine Learning API를 통해 간접적으로 관리됩니다.
• 작업 영역도 삭제해야 고객 관리형 키에 사용하는 Microsoft의 관리되는 리소스를 삭제할 수 있습니다.
• 고객 관리형 키를 사용하여 컴퓨팅 클러스터의 OS 디스크를 암호화할 수 없습니다. Microsoft 관리형 키를 사용해야 합니다.

Warning

Azure Cosmos DB 인스턴스가 포함된 리소스 그룹 또는 이 그룹에 자동으로 생성된 리소스는 삭제하지 마세요. 리소스 그룹 또는 이 그룹에 있는 Microsoft 관리형 서비스를 삭제해야 하는 경우 리소스 그룹을 사용하는 Azure Machine Learning 작업 영역을 삭제해야 합니다. 연결된 작업 영역을 삭제하면 리소스 그룹의 리소스가 삭제됩니다.

고객 관리형 키

고객 관리형 키를 사용하지 않는 경우 Microsoft는 Microsoft 소유 Azure 구독에서 리소스를 만들고 관리하며, Microsoft 관리형 키를 사용하여 데이터를 암호화합니다.

고객 관리형 키를 사용하는 경우에는 리소스가 고객 Azure 구독에 있으며 고객 키로 암호화됩니다. 이러한 리소스는 고객 구독에 있지만 Microsoft에서 관리합니다. Azure Machine Learning 작업 영역을 만들 때 자동으로 리소스가 생성되고 구성됩니다.

이러한 Microsoft에서 관리되는 리소스는 고객 구독에 생성된 새 Azure 리소스 그룹에 있습니다. 이 리소스 그룹은 작업 영역의 리소스 그룹과 별개입니다. 여기에는 고객 키가 사용된 Microsoft에서 관리되는 리소스가 포함됩니다. 리소스 그룹의 이름을 지정하는 수식은 <Azure Machine Learning workspace resource group name><GUID>입니다.

팁

Azure Cosmos DB에 대한 요청 단위는 필요에 따라 자동으로 스케일링됩니다.

Azure Machine Learning 작업 영역에서 프라이빗 엔드포인트를 사용하는 경우 이 리소스 그룹에는 Microsoft 관리형 Azure 가상 네트워크도 포함됩니다. 이 가상 네트워크는 관리형 서비스와 작업 영역 간 통신을 보호하는 데 도움이 됩니다. Microsoft에서 관리되는 리소스에 사용하도록 고유한 가상 네트워크를 제공할 수 없습니다. 가상 네트워크를 수정할 수도 없습니다. 예를 들어 사용하는 IP 주소 범위를 변경할 수 없습니다.

Important

구독에 서비스 할당량이 충분하지 않으면 오류가 발생합니다.

고객 관리형 키를 사용하는 경우 리소스가 고객 구독에 있기 때문에 구독 비용이 증가합니다. 비용을 예측하려면 Azure 가격 계산기를 사용합니다.

컴퓨팅 리소스의 데이터 암호화

Azure Machine Learning은 컴퓨팅 리소스를 사용하여 기계 학습 모델을 학습하고 배포합니다. 다음 표에서는 컴퓨팅 옵션과 각 컴퓨팅 옵션에서 데이터를 암호화하는 방법을 설명합니다.

컴퓨팅	암호화
Azure Kubernetes Service	데이터는 Microsoft 관리형 키 또는 고객 관리형 키로 암호화됩니다. 자세한 내용은 Azure Kubernetes Service Azure 디스크를 사용하여 사용자 고유의 키 가져오기를 참조하세요.
Azure Machine Learning 컴퓨팅 인스턴스	작업 영역에 hbi_workspace 플래그를 사용하도록 설정하면 로컬 스크래치 디스크가 암호화됩니다.
Azure Machine Learning 컴퓨팅 클러스터	Azure Storage의 OS 디스크가 Microsoft 관리형 키를 사용하여 암호화됩니다. 작업 영역에 hbi_workspace 플래그를 사용하도록 설정하면 임시 디스크가 암호화됩니다.

컴퓨팅 클러스터

컴퓨팅 클러스터에는 로컬 OS 디스크 스토리지가 있으며 작업 중에 구독의 스토리지 계정에서 데이터를 탑재할 수 있습니다. 작업에서 고유한 스토리지 계정의 데이터를 탑재하는 경우 암호화를 위해 해당 스토리지 계정에서 고객 관리형 키를 사용하도록 설정할 수 있습니다.

Azure Storage에 저장된 각 컴퓨팅 노드의 OS 디스크는 항상 고객 관리형 키가 아닌 Azure Machine Learning 스토리지 계정의 Microsoft 관리형 키로 암호화됩니다. 이 컴퓨팅 대상은 임시이므로 클러스터가 스케일 다운된 후 OS 디스크에 저장된 데이터가 삭제됩니다. 일반적으로 클러스터는 큐에 대기 중인 작업이 없으며 자동 크기 조정이 설정되어 있고 최소 노드 수가 0으로 설정된 경우 스케일 다운됩니다. 기본 가상 머신의 프로비저닝이 해제되고 OS 디스크가 삭제됩니다.

OS 디스크에는 Azure Disk Encryption이 지원되지 않습니다. 각 가상 머신에는 OS 작업을 위한 로컬 임시 디스크도 있습니다. 필요하면 디스크를 사용하여 학습 데이터를 준비할 수 있습니다. hbi_workspace 매개 변수를 TRUE로 설정하여 작업 영역을 만드는 경우 임시 디스크가 암호화됩니다. 이 환경은 작업 중에만 수명이 지속되며 암호화 지원이 시스템 관리형 키로만 제한됩니다.

컴퓨팅 인스턴스

컴퓨팅 인스턴스용 OS 디스크는 Azure Machine Learning 스토리지 계정의 Microsoft 관리형 키로 암호화됩니다. hbi_workspace 매개 변수를 TRUE로 설정하여 작업 영역을 만드는 경우 컴퓨팅 인스턴스의 로컬 임시 디스크는 Microsoft 관리형 키로 암호화됩니다. OS 및 임시 디스크에는 고객 관리형 키 암호화가 지원되지 않습니다.

암호화된 작업 영역 메타데이터의 스토리지

사용자 고유의 암호화 키를 가져오면 서비스 메타데이터가 Azure 구독의 전용 리소스에 저장됩니다. Microsoft는 이를 위해 구독에 별도의 리소스 그룹(azureml-rg-workspacename_GUID)을 만듭니다. Microsoft에서만 이 관리되는 리소스 그룹의 리소스를 수정할 수 있습니다.

Microsoft는 작업 영역에 대한 메타데이터를 저장하기 위해 다음과 같은 리소스를 만듭니다.

서비스	사용	예제 데이터
Azure Cosmos DB	작업 기록 데이터, 컴퓨팅 메타데이터 및 자산 메타데이터를 저장합니다.	데이터에는 작업 이름, 상태, 시퀀스 번호 및 상태, 컴퓨팅 클러스터 이름, 코어 수 및 노드 수, 데이터 저장소 이름 및 태그, 모델과 같은 자산에 대한 설명 그리고 데이터 레이블 이름이 포함될 수 있습니다.
Azure AI 검색	기계 학습 콘텐츠를 쿼리하는 데 도움이 되는 인덱스를 저장합니다.	이러한 인덱스는 Azure Cosmos DB에 저장된 데이터에 기반하여 합니다.
Azure Storage	Azure Machine Learning 파이프라인 데이터와 관련된 메타데이터를 저장합니다.	데이터에는 디자이너 파이프라인 이름, 파이프라인 레이아웃 및 실행 속성이 포함될 수 있습니다.

데이터 수명 주기 관리의 관점에서는 Azure Machine Learning에서 해당 개체를 만들고 삭제할 때 이전 리소스의 데이터가 만들어지고 삭제됩니다.

Azure Machine Learning 작업 영역은 관리 ID를 사용하여 데이터를 읽고 씁니다. 데이터 리소스에 대한 역할 할당(Azure 역할 기반 액세스 제어)을 통해 이 ID에 리소스 액세스 권한이 부여됩니다. 제공한 암호화 키는 Microsoft에서 관리되는 리소스에 저장된 데이터를 암호화하는 데 사용됩니다. 런타임에 Azure AI 검색에 대한 인덱스를 만드는 데도 사용됩니다.

인바운드 연결을 허용하도록 작업 영역에 프라이빗 링크 엔드포인트를 만들 때 추가 네트워킹 컨트롤이 구성됩니다. 이 구성에는 Azure Cosmos DB 인스턴스에 대한 프라이빗 링크 엔드포인트 연결 만들기가 포함됩니다. 네트워크 액세스는 신뢰할 수 있는 Microsoft 서비스로만 제한됩니다.

(미리 보기) 메타데이터의 서비스 쪽 암호화

고객 관리형 키 암호화 작업 영역에 대한 새 아키텍처를 미리 보기로 사용할 수 있으므로 현재 아키텍처에 비해 비용을 절감하고 Azure 정책 충돌 가능성을 완화할 수 있습니다. 이 새 모델에서 암호화된 데이터는 구독 대신 Microsoft 관리되는 리소스에 서비스 쪽에 저장됩니다.

이전에 구독의 CosmosDB에 저장된 데이터는 암호화 키를 사용하여 문서 수준 암호화를 사용하여 다중 테넌트 Microsoft 관리되는 리소스에 저장됩니다. 이전에 구독의 Azure AI Search에 저장된 검색 인덱스는 작업 영역별로 사용자를 위해 프로비전된 전용 Microsoft 관리되는 리소스에 저장됩니다. Azure AI 검색 인스턴스의 비용은 Azure Cost Management의 Azure ML 작업 영역에서 청구됩니다.

이전에 관리되는 리소스 그룹의 스토리지 계정에 저장된 파이프라인 메타데이터는 이제 Azure Machine Learning 작업 영역에 연결된 구독의 스토리지 계정에 저장됩니다. 이 Azure Storage 리소스는 구독에서 별도로 관리되므로 해당 리소스에 대한 암호화 설정을 구성할 책임이 있습니다.

이 미리 보기에 옵트인할 작업 영역을 만들 때 enableServiceSideCMKEncryption(을)를 설정합니다. 미리 보기 가용성은 작업 영역 종류에 따라 다릅니다.

종류	지원됨
기본값	예
허브	아니요
프로젝트	아니요

참고 항목

이 미리 보기 키 회전 및 데이터 레이블 지정 기능은 지원되지 않습니다.

메타데이터의 서비스 쪽 암호화를 사용하여 작업 영역을 만드는 템플릿은 https://github.com/deeikele/azure-quickstart-templates/tree/cmk-service-side/quickstarts/microsoft.machinelearningservices/machine-learning-workspace-cmk-service-side-encryption을 참조하세요.

hbi_workspace 플래그

작업 영역을 만들 때만 hbi_workspace 플래그를 설정할 수 있습니다. 기존 작업 영역의 경우 변경할 수 없습니다.

이 플래그를 TRUE로 설정하면 Microsoft로 전송되는 원격 분석 데이터가 더 적기 때문에 문제 해결이 어려워질 수 있습니다. 성공률 또는 문제 유형을 파악할 가능성이 줄어듭니다. 이 플래그가 TRUE이면 Microsoft에서 사전에 대응하지 못할 수 있습니다.

Azure Machine Learning 작업 영역을 만들 때 hbi_workspace 플래그를 사용하도록 설정하려면 다음 문서 중 하나의 단계를 수행합니다.

• Azure Portal 또는 Python SDK를 사용하여 작업 영역 만들기 및 관리
• Azure CLI를 사용하여 작업 영역 만들기 및 관리
• HashiCorp Terraform을 사용하여 작업 영역 만들기
• Azure Resource Manager 템플릿을 사용하여 작업 영역 만들기

다음 단계

• Azure Machine Learning을 사용하여 고객 관리형 키 구성