ACC(Azure 기밀 컴퓨팅)는 여러 당사자가 데이터에 대해 협업할 수 있도록 하는 솔루션을 위한 토대를 제공합니다. 다양한 접근 방식이 존재하며, 파트너 생태계가 늘어나면서 Azure 고객, 연구원, 데이터 과학자, 데이터 제공자가 프라이버시를 보호하면서 데이터에 대해 협업할 수 있습니다. 이 개요에서는 ACC에서 실행되는 일부 접근 방식과 사용할 수 있는 기존 솔루션에 대해 설명합니다.
데이터 및 모델 보호란?
데이터 클린룸 솔루션은 일반적으로 하나 이상의 데이터 제공자가 함께 데이터를 결합해 처리할 수 있는 방법을 제공합니다. 일반적으로 제공자들은 연구자나 솔루션 제공자 등 참가자 중 한 명이 만든 코드, 쿼리 또는 모델에 대해 합의합니다. 많은 경우 데이터가 민감하므로 다른 데이터 제공자, 연구자, 솔루션 벤더 등 다른 참가자와 직접 공유해서는 안 됩니다. 데이터 클린룸에서 사용되는 데이터와 모델 모두의 보안 및 개인정보 보호를 보장하기 위해 기밀 컴퓨팅은 참여자가 처리 과정 중을 포함하여 데이터 또는 모델에 액세스할 수 없음을 암호학적으로 검증할 수 있습니다. ACC를 사용하면 솔루션은 클라우드 운영자, 솔루션 제공자, 데이터 협업 참여자로부터 데이터와 모델 IP를 보호할 수 있습니다.
업계 사용 사례의 예는 무엇인가요?
ACC를 사용하여 고객과 파트너는 때때로 '기밀 클린룸'이라 불리는 프라이버시 보호 다자 데이터 분석 솔루션을 구축합니다. 이러한 솔루션은 기밀 유지를 위해 새롭게 개발된 솔루션일 수도 있고, ACC를 사용하여 기존 클린룸 솔루션을 기밀화한 것일 수도 있습니다.
- Scotiabank는 Azure 기밀 컴퓨팅 및 솔루션 파트너인 Opaque를 활용하여 은행 간 자금 흐름에 대한 AI 활용을 입증하고 자금 세탁 및 인신매매 사례를 식별했습니다.
- Novartis Biome – 희귀 질환에 대한 임상 시험 후보를 찾기 위해 ACC에서 실행되는 BeeKeeperAI의 파트너 솔루션을 사용했습니다.
- 주요 결제 서비스 공급자들은 사기 및 이상 징후 감지를 위해 은행 간 데이터를 연결합니다.
- 데이터 분석 서비스와 클린룸 솔루션은 ACC를 사용하여 데이터 보호를 강화하고 EU 고객의 규정 준수 요구 사항과 개인정보 보호 규정을 충족합니다.
기밀 컴퓨팅을 사용하는 이유
데이터 클린룸은 완전히 새로운 개념이 아닙니다. 하지만 기밀 컴퓨팅의 발전은 더 넓은 데이터셋을 활용해 클라우드 규모를 활용하고, AI 모델의 IP를 보호하며, 데이터 프라이버시 규제를 더 잘 준수할 수 있는 기회를 제공합니다. 이전의 경우와 같은 이유로 특정 데이터에 액세스하지 못할 수 있습니다.
- 경쟁적 불이익이나 규제로 인해 산업 기업 간 데이터 공유가 어려워질 수 있습니다.
- 익명화로 인해 데이터에 대한 인사이트의 품질이 저하되거나 비용과 시간이 너무 많이 듭니다.
- 데이터가 특정 위치에 바인딩되고 보안 문제로 인해 클라우드에서 처리할 수 없습니다.
- 데이터 유출이나 오용 발생 시 책임 소재를 규명하기 위해서는 비용이 많이 들거나 장기간 소요되는 법적 절차가 필요합니다.
이러한 현실로 인해 불완전하거나 비효율적인 데이터 세트가 발생하여 인사이트가 약해지거나 AI 모델을 학습하고 사용하는 데 더 많은 시간이 필요할 수 있습니다.
클린룸 솔루션을 빌드할 때 고려해야 할 사항은 무엇인가요?
배치 분석 vs. 실시간 데이터 파이프라인: 클린룸 솔루션을 설계하거나 사용할 때 데이터셋의 크기와 인사이트 속도를 고려하세요. 데이터를 '오프라인'에서 사용할 수 있는 경우, 검증되고 보안이 강화된 컴퓨팅 환경으로 데이터를 로드하여 전체 데이터 세트가 아니더라도 상당 부분의 데이터를 분석 처리할 수 있습니다. 이 배치 분석 방식은 즉각적인 결과를 제공하도록 예상되지 않는 모델과 알고리즘으로 대규모 데이터셋을 평가할 수 있게 합니다. 예를 들어, 배치 분석은 수백만 건의 건강 기록을 대상으로 ML 추론을 통해 임상시험에 적합한 후보자를 찾을 때 매우 효과적입니다. 다른 솔루션들은 예를 들어 알고리즘과 모델이 여러 주체 간 거의 실시간 거래에서 사기를 식별하려는 경우와 같이 데이터에 대한 실시간 인사이트를 필요로 합니다.
제로트러스트 참여: 기밀 클린룸의 주요 차별점은 데이터 공급자부터 코드 및 모델 개발자, 솔루션 공급자, 인프라 운영 관리자에 이르기까지 관련된 어떤 당사자도 신뢰할 수 없다는 점입니다. 데이터와 모델 IP가 모든 당사자로부터 보호되는 솔루션이 제공될 수 있습니다. 온보딩이나 솔루션을 구축할 때, 참가자들은 자신이 무엇을 보호하고자 하는지, 그리고 각 코드, 모델, 데이터를 누구로부터 보호할지 모두 고려해야 합니다.
연합 학습: 연합 학습은 모델 처리가 데이터 소유자의 테넌트에서 처리되고 인사이트가 중앙 테넌트에 집계되는 솔루션을 생성하거나 사용하는 것을 포함합니다. 경우에 따라 모델은 Azure 외부의 데이터에서도 실행될 수 있으며, 모델 집계는 여전히 Azure에서 이루어집니다. 연합 학습은 데이터가 수집되고 분석된 후 모델 매개변수가 개선됨에 따라 데이터를 반복적으로 학습하는 경우가 많습니다. 모델의 반복 비용 및 품질은 솔루션 및 예상 결과에 반영되어야 합니다.
데이터 상주 및 원본: 고객에게는 여러 클라우드 및 온-프레미스에 저장된 데이터가 있습니다. 협업에는 다양한 원본의 데이터와 모델이 포함될 수 있습니다. 클린룸 솔루션은 이러한 다른 위치에서 Azure로 들어오는 데이터 및 모델을 용이하게 할 수 있습니다. 온-프레미스 데이터 저장소에서 Azure로 데이터를 이동할 수 없는 경우 일부 클린룸 솔루션은 데이터가 있는 사이트에서 실행할 수 있습니다. 관리 및 정책은 가능한 경우 공통 솔루션 공급자에 의해 구동될 수 있습니다.
코드 무결성과 기밀 원장: Azure 기밀 컴퓨팅에서 실행되는 분산 원장 기술(DLT)을 사용하면 조직 간 네트워크에서 실행되는 솔루션을 구축할 수 있습니다. 코드 논리와 분석 규칙은 다양한 참가자 간에 합의가 이루어질 때만 추가됩니다. 코드의 모든 업데이트는 Azure 기밀 컴퓨팅에서 활성화된 변조 방지 기록을 통해 감사를 위해 기록됩니다.
시작할 수 있는 옵션은 무엇인가요?
Azure 기밀 정리실(미리 보기)
Azure Confidential Clean Rooms(ACCR)는 개인 식별 정보(PII) 또는 보호 건강 정보(PHI)와 같은 개인정보 보호 민감 데이터를 다른 조직과 안전하게 공유하여 비즈니스 핵심 인사이트를 도출하거나, 다른 조직의 민감한 데이터를 활용해 ML 모델을 정밀 조정하여 정확도를 높이거나, 파트너 조직과 공동 데이터를 안전하게 분석해야 하는 조직을 위해 설계되었습니다. ACCR은 Azure Container Instances의 기밀 컨테이너를 사용하여 데이터가 다른 협력자 및 Azure 운영자로부터 보호되도록 합니다. 이 기술은 의료, 광고, 은행 및 금융 서비스, 소매업 등 여러 산업에 걸쳐 적용됩니다.
이 양식을 제출하여 ACCR 미리보기에 등록할 수 있습니다.
기밀 클린룸을 사용하도록 지원하는 ACC 플랫폼 제품
팔을 걷어붙이고 이러한 기밀 컴퓨팅 서비스 제공을 활용하여 직접 데이터 클린룸 솔루션을 구축하세요.
Azure Container Instances(ACI)의 기밀 컨테이너와 기밀 VM 노드 풀은 기밀 클린룸 솔루션을 구축하는 컨테이너 솔루션을 제공합니다. 인텔 SGX 엔클레이브 옵션은 특화된 시나리오를 위해 여전히 제공됩니다.
비밀 가상 머신(Virtual Machines)은 비밀 클린룸 솔루션에 대한 가상 머신 플랫폼을 제공합니다.
보안 영역에서의 Azure SQL AE는 다자간 데이터 분석 및 기밀 클린룸에서 사용할 수 있는 SQL의 데이터 및 쿼리를 암호화하는 플랫폼 서비스를 제공합니다.
기밀 컨소시엄 프레임워크는 사용 편의성과 성능을 위해 중앙 집중식 컴퓨팅을 사용하는 동시에 분산형 신뢰를 제공하는 고가용성 상태 저장 서비스를 빌드하기 위한 오픈 소스 프레임워크입니다. 이를 통해 여러 당사자가 서로 또는 권한 있는 운영자를 신뢰하지 않고도 기밀 데이터에 대해 감사 가능한 컴퓨팅을 실행할 수 있습니다.
기밀 클린룸을 사용하도록 설정하는 ACC 파트너 솔루션
Azure 기밀 컴퓨팅 플랫폼 위에 다자 데이터 분석 솔루션을 구축하는 파트너와 협력하세요.
- Anjuna는 기밀 컴퓨팅 플랫폼을 제공하여 조직이 중요한 정보를 노출하지 않고 신용 위험 점수 계산 또는 기계 학습 모델 개발과 같은 공동 분석을 위해 데이터를 공유할 수 있도록 보안 클린룸을 비롯한 다양한 사용 사례를 사용할 수 있도록 지원합니다.
- BeeKeeperAI를 사용하면 알고리즘 소유자와 데이터 관리자를 위한 안전한 협업 플랫폼을 통해 의료 AI를 사용할 수 있습니다. BeeKeeperAI는 기밀 컴퓨팅 환경에서 여러 기관의 보호된 데이터에 대해 개인정보 보호 분석을 수행합니다.
- Decentriq은 데이터를 공유하지 않고도 안전한 데이터 협업을 가능하게 하는 기밀 컴퓨팅을 기반으로 빌드된 SaaS 데이터 클린룸을 제공합니다. 데이터 과학 클린룸을 사용하면 유연한 다자간 분석이 가능하며, 미디어 및 광고를 위한 코드가 없는 클린룸을 사용하면 자사 사용자 데이터를 기반으로 규격 대상 그룹 활성화 및 분석을 수행할 수 있습니다. 기밀 클린룸은 Microsoft 블로그의 이 문서에 자세히 설명되어 있습니다.
- Duality Technologies는 참여자들이 중앙 집중화할 수 없는 데이터에 대한 다자간 분석 및 AI 기능을 제공합니다. 이 시스템은 각 워크로드 요구 사항에 따라 기밀 컴퓨팅 및 신뢰할 수 있는 실행 환경, 완전 동형 암호화, 연합 학습 및 차분 프라이버시를 결합하는 동시에 각 데이터 세트는 부서 또는 조직에 관계없이 소유자의 통제하에 유지됩니다. 활용 사례로는 기관 간 임상 및 실세계 근거 연구, 사기 탐지, 자금세탁 방지 분석 등이 포함됩니다.
- Fortanix 는 다자 분석을 위해 여러 조직이 협력하는 기밀 AI를 가능하게 하는 기밀 컴퓨팅 플랫폼을 제공합니다.
- Opaque는 협업 분석 및 AI를 위한 기밀 컴퓨팅 플랫폼을 제공하여 데이터 엔드투엔드를 보호하고, 확장 가능한 협업 분석을 수행할 수 있으며 조직은 법률 및 규제 의무를 준수할 수 있도록 지원합니다.