Azure의 클라우드 규모 분석을 위한 팀 및 기능 이해
클라우드 규모 분석의 경우 수집, 처리, 분석, 소비, 시각화 등의 팀을 수평적으로 사일로화된 팀에서 각 계층의 애자일 수직 교차 도메인 팀으로 전환하는 것이 좋습니다. 데이터 플랫폼 운영 및 플랫폼 작업과 같은 플랫폼 팀은 공통 플랫폼 그룹에서 함께 그룹화됩니다.
플랫폼 그룹
플랫폼 그룹은 다음 두 팀으로 구성됩니다.
- 플랫폼 작업: 플랫폼 작업은 플랫폼 그룹의 일부입니다. 클라우드 플랫폼을 운영하고 소유합니다. 이 팀은 클라우드 규모 분석 내에서 네트워킹, 피어링, 핵심 서비스, 모니터링과 같은 데이터 관리 랜딩 존 및 데이터 랜딩 존 스캐폴딩을 인스턴스화할 책임이 있습니다.
이들은 일반적으로 데이터 플랫폼 작업이 클라우드 규모 분석을 롤아웃할 때 데이터 랜딩 존의 가상 사용자에 대한 IT 서비스 관리 인터페이스를 개발하도록 지원합니다. 이러한 인터페이스는 데이터 제품을 온보딩하고, 보안을 설정하고, 데이터 랜딩 존에 서비스를 추가하는 서비스에 대한 REST API 호출인 경향이 있습니다.
- 데이터 플랫폼 작업: 데이터 플랫폼 작업 그룹은 플랫폼 그룹 내에 저장됩니다. 데이터 플랫폼 작업은 데이터 랜딩 존 및 제품에 대한 중앙 모니터링, 카탈로그, 재사용 가능한 정책과 같은 서비스를 제공합니다. 데이터 플랫폼 작업은 데이터 관리 랜딩 존을 소유하며 팀의 다른 책임은 다음과 같습니다.
인프라 개발
- 데이터 랜딩 존에 대한 코드 기반 인프라 템플릿을 개발합니다. 템플릿은 시간이 지남에 따라 업데이트 및 유지 관리되어야 하며 여러 시나리오를 다룰 수 있습니다.
- 템플릿의 우선 순위를 지정하고 다른 팀의 피드백 주기에 따라 새 기능을 추가합니다.
- 표준 인프라 템플릿을 생성하는 공통 목표를 가지고 민첩한 프레임워크에서 작업합니다.
새 데이터 랜딩 존 요청에 응답
데이터 플랫폼 작업 팀은 만든 템플릿을 지원하는 도구와 서비스를 제공해야 합니다. ServiceNow와 같은 IT 서비스 관리 도구는 새 데이터 랜딩 존을 만들기 위해 데이터 플랫폼 작업 팀에서 승인한 티켓 요청을 처리할 수 있습니다. 승인되면 새 랜딩 존이 기본 템플릿에서 포크되어 새 DevOps 프로젝트를 만들고 파이프라인은 템플릿을 새 환경에 배포합니다.
데이터 플랫폼 작업 피드백 및 향상된 루프 기능
템플릿을 개선하는 데 사용할 수 있는 두 가지 옵션은 다음과 같습니다.
인프라 템플릿 인스턴스를 담당하는 팀은 DevOps 템플릿 및 배포를 향상시킵니다. 팀이 템플릿에서 문제를 발견하면 데이터 플랫폼 작업은 팀을 지원하고 포크에서 템플릿으로 변경 내용을 다시 병합할 수 있습니다.
다른 데이터 랜딩 존 팀은 티켓의 우선 순위에 따라 템플릿을 향상시키는 개선 및 백로그 티켓을 만들 수 있어야 합니다.
클라우드 규모 분석을 위한 Azure 정책
클라우드 규모 분석 원칙은 셀프 서비스 민첩성과 가드 레일을 강조하여 데이터, 비용, 패턴을 보호합니다. 데이터 플랫폼 작업은 플랫폼 작업과 협력하여 품질을 정의하고, 이러한 팀은 협업하여 특정 데이터 정책을 구현합니다. 데이터 플랫폼 작업은 검토 프로세스에 따라 제품에 추가된 새 기능을 업데이트하고 유지 관리해야 합니다.
데이터 관리 랜딩 존 배포 및 운영
데이터 플랫폼 작업 및 플랫폼 작업은 함께 작동하여 데이터 관리 랜딩 존을 배포하고 운영합니다. 데이터 관리 랜딩 존은 데이터 랜딩 존에 공유 서비스를 제공하여 클라우드 규모 분석의 중심이 되도록 합니다.
데이터 랜딩 존 작업
데이터 랜딩 존 운영 팀은 데이터 애플리케이션 팀 요청에 응답하면서 데이터 랜딩 존 인스턴스를 작동하고 유지 관리합니다. 데이터 플랫폼 작업과 동일한 많은 서비스를 제공하지만 데이터 랜딩 존으로 제한됩니다.
데이터 랜딩 존을 만들 때 생성된 포크된 리포지토리에서 작동합니다. 정책 변경을 요청하려면 이러한 예외를 허용하기 위해 데이터 플랫폼 작업 티켓을 발생시켜야 합니다.
데이터 애플리케이션 팀이 제품을 사용자 지정하도록 지원
데이터 랜딩 존 운영 팀은 끌어오기 요청을 사용해 해당 데이터 제품 리포지토리에 새 제품 템플릿을 제출하여 데이터 애플리케이션 팀을 지원합니다.
랜딩 존의 소유자인 Azure DevOps는 데이터 랜딩 존 작업의 변경에 대한 승인을 라우팅합니다.
승인되면 템플릿 변경 내용이 주 분기로 이동되고 지속적인 통합/지속적인 개발을 통해 프로덕션에 배포되어 데이터 제품 플랫폼/인프라가 업데이트됩니다.
거부된 경우 데이터 랜딩 존 운영 팀은 데이터 애플리케이션 팀과 협력하여 변경 내용을 수정합니다.
새 데이터 제품 요청에 응답
데이터 랜딩 존 운영 팀은 데이터 애플리케이션 팀을 지원하여 새 데이터 제품을 만듭니다. 데이터 어플리케이션 팀이 지원을 요청하는 경우 IT 서비스 관리 솔루션(예: 자동화 논리 앱)은 새 데이터 애플리케이션 리포지토리의 승인 또는 배포를 오케스트레이션합니다. 데이터 랜딩 존 작업은 새 요청에 대한 알림을 받고 배포를 승인하거나 거부합니다. 승인되면 새 DevOps 프로젝트가 만들어지고, 기본 템플릿 및 아티팩트가 포크되고, 새 데이터 애플리케이션이 배포됩니다.
Azure Well-Architected Framework 준수
데이터 랜딩 존 작업은 데이터 랜딩 존을 담당하며, 비용 최적화, 안정성, 보안에 대한 지침을 제공하는 Azure Well-Architected Framework에서 팀이 능숙하게 작업하는 것이 좋습니다.
평소와 같은 비즈니스
데이터 랜딩 존 작업은 피드백 수집 및 향상된 요청을 포함하는 비즈니스 작업을 담당합니다. 이러한 요청은 우선 순위가 지정되고 정기적으로 데이터 플랫폼 작업과 공유됩니다. 팀은 인시던트 및 상태 이벤트에 대한 데이터 랜딩 존을 모니터링합니다. 심각한 인시던트 중에 다른 작업 팀을 참여시켜 백업, 장애 조치(failover), 스케일링 서비스를 완화 및 복원합니다.
데이터 애플리케이션 팀
데이터 애플리케이션 팀은 새 데이터 제품을 비즈니스에 제공합니다. 데이터 통합의 읽기 데이터 저장소에서 원본을 만들고 비즈니스 솔루션으로 변환합니다. 사용할 데이터를 변환하는 모든 항목은 데이터 제품으로 분류됩니다. 이 팀은 종종 비즈니스가 신속하게 가치를 달성하는 데 도움이 될 수 있는 기술 전문가와 실무 전문가가 혼합되어 있습니다. 데이터 제품은 간단한 보고서 및 새 데이터 제품에서 데이터 기반 Kubernetes 웹앱을 사용하는 사용자 지정 설정에 이르기까지 다양할 수 있습니다.
새 데이터 제품
제품 소유자 및 비즈니스 담당자는 필요할 때 새 데이터 제품에 대한 요청을 만듭니다. 데이터 오피스는 요구 사항을 평가하고 다양한 전문 지식을 갖춘 새 데이터 애플리케이션 팀을 구성합니다. 팀은 해당 데이터 제품에 필요한 데이터 제품을 식별하고 데이터 자산에 대한 권한을 요청합니다. 새 데이터 제품이 필요한 경우 데이터 애플리케이션 팀은 이를 수집하기 위한 티켓을 받습니다. 팀은 새 데이터 제품에 필요한 서비스를 식별하고 데이터 애플리케이션 배포 프로세스를 통해 새 데이터 제품을 요청합니다. 데이터 애플리케이션 팀은 마스터 데이터 애플리케이션 템플릿에서 포크된 리포지토리를 받아 데이터 애플리케이션을 배포합니다.
데이터 제품 인증
셀프 서비스 플랫폼에서는 누구나 보고서를 만들고, Azure Data Lake 개발자 계정에서 데이터 제품을 큐레이팅하고, 비즈니스에서 사용할 데이터 제품을 릴리스할 수 있습니다. 데이터 제품 검토 요청은 다음과 같은 경우에 발생합니다.
- 비즈니스는 데이터 제품을 인증하기 위해 로그 티켓을 후원합니다.
- 데이터 플랫폼 작업은 인기도에 따라 데이터 제품을 추천합니다.
데이터 애플리케이션 팀은 다음을 포함할 수 있는 데이터 플랫폼 작업 및 디지털 보안을 정의하기 위해 인증 프로세스를 추진할 수 있습니다.
- 데이터 변환 및 비즈니스 논리의 유효성을 검사하기 위해 고안된 테스트
- 평가: 보안, 규정 준수 또는 성능 영향
인증 시 아티팩트가 데이터 제품 리포지토리에 수집되어 업로드되고, 설명서가 게시되고, 데이터 애플리케이션 팀에 알림이 전송됩니다.
기술 지원
사용자는 티켓이 데이터 제품 소유자에게 라우팅되므로 IT 서비스 관리 솔루션을 사용하거나 제품 내에서 직접 피드백을 제출할 수 있습니다. 이 개별은 요청을 심사하고 제품 계획 주기 동안 제품 백로그에 피드백을 수정하거나 입력하고 검토하기 위해 데이터 애플리케이션 팀으로 에스컬레이션할지 여부를 결정합니다.
데이터 과학 애플리케이션 팀
데이터 과학 제품 팀은 데이터 제품을 만들지만, 다른 팀과는 분명히 다릅니다. 이 팀의 기능이 데이터 제품으로 이어지기 때문입니다. 따라서 게시된 모델은 다른 사용자가 사용할 데이터 제품이 되고 패턴은 데이터 랜딩 존과 연결된 Machine Learning 작업 모델을 따릅니다.
데이터 과학 제품 팀은 사용 사례에 대한 관련 데이터 제품을 검색하고 찾는 것부터 시작합니다. 데이터 거버넌스 솔루션은 데이터 품질, 계보 또는 유사한 데이터 세트 또는 프로필과 같은 세부 정보를 표시할 수 있습니다. 샘플 데이터 세트를 사용할 수 있는지, 데이터가 프로젝트와 관련이 있는지 조사합니다. 데이터 카탈로그 또는 Microsoft Entra 액세스 패키지를 통해 데이터 액세스 권한이 부여되면 팀은 데이터 랜딩 존의 서비스를 사용하여 데이터를 탐색하고 분석합니다.
모든 데이터를 처리하기 전에 팀은 로컬 또는 원격 컴퓨팅을 사용하여 샘플 데이터 제품을 처리하고 분석합니다. 더 큰 데이터 제품으로 원격 컴퓨팅 대상을 최적화하여 Azure Machine Learning 내에서 추적되는 실행, 출력, 모델을 통해 기계 학습 모델을 학습시키고 개발할 수 있습니다.
팀이 기계 학습 모델을 개발하면 운영하기 시작합니다. 이를 위해 데이터 애플리케이션 팀 역할에 설명된 대로 모델을 새 데이터 제품으로 이동하는 데 도움을 줄 수 있는 DataOps 및 기계 학습 엔지니어를 포함하도록 팀을 확장합니다.
데이터 과학 팀은 기계 학습 작업 방법을 사용하여 프로덕션 환경에서 피드백, 지원, 해결된 모델을 캡처하고 업데이트하기 위해 관련 데이터 제품 소유자와 계속 협력할 것입니다.
분석자
분석가는 비즈니스 분석가, 파워 사용자, 일반적으로 데이터를 최적화하여 새로운 비즈니스 인사이트를 만드는 데 관심이 있는 조직의 모든 사용자를 포함하는 대규모 그룹을 나타냅니다. 셀프 서비스 사용은 분석가가 공식적인 IT 예산 및 리소스를 보호하지 않고도 분석 및 데이터에 액세스할 수 있도록 지원하는 주요 원칙입니다.
팁
기업은 분석가가 만든 인사이트를 비즈니스 내에서 다른 사용자가 사용할 수 있도록 인증할 수 있는 다음 잠재적 데이터 제품 집합으로 확인해야 합니다.
데이터 찾기 및 요청
분석가는 데이터 마켓플레이스/카탈로그를 참조하여 관련 데이터 제품을 검색합니다.
데이터 자산을 찾을 수 없거나 존재하지 않는 경우 분석가는 데이터 애플리케이션 팀과 함께 지원 티켓을 엽니다. 데이터 애플리케이션 팀은 데이터 세트를 찾거나 백로그에 요청을 추가하여 다른 개발 주기에서 평가할 수 있도록 지원합니다.
데이터 세트가 있는 경우 분석은 카탈로그에 나열된 자산에 대한 Microsoft Entra 그룹 멤버 자격을 식별하고 Azure 액세스 패키지 포털을 사용하여 Microsoft Entra 그룹에 대한 액세스를 요청할 수 있습니다.
새 보고서 빌드
분석가는 Microsoft Power BI와 같은 도구를 사용하여 데이터 제품을 보고서에 통합할 수 있습니다. 이러한 보고서는 개별 용도로 사용하거나 인증된 데이터 제품을 게시할 수 있습니다. 조직 전체에 보고서를 게시하기 전에 보안, 규정 준수, 성능에 대한 데이터 제품 인증 프로세스로 인증을 받아야 합니다.
필요에 따라 쿼리 실행
클라우드 규모 분석에는 분석가가 사용 권한에 따라 데이터를 쿼리할 수 있는 공유 작업 영역이 있습니다. 데이터 제품은 필요에 따라 쿼리를 실행하는 전용 컴퓨팅을 제공하는 것이 일반적입니다. 두 경우 모두 분석가는 데이터 랜딩 존의 데이터 제품에 대해 쿼리를 실행할 수 있습니다. 또한 사용 권한의 적용을 받습니다. 쿼리의 결과를 Azure Data Lake 작업 영역에 저장하여 다시 사용할 수 있습니다.
사용자 피드백
분석가는 미개발 소스 정보 및 개선 사항 역할을 할 수 있으므로 기업은 각 데이터 랜딩 존에 대한 사용자 피드백 그룹을 만드는 것이 좋습니다.
분석가는 이러한 사용자 그룹에 참여하는 것 외에도 데이터 카탈로그 또는 IT 서비스 관리 솔루션 내의 데이터 카탈로그 문제와 데이터 애플리케이션 팀에 데이터 자산 피드백을 제출해야 합니다. 데이터 프로세스 문제는 데이터 애플리케이션 팀에 제출하거나 IT 서비스 관리 솔루션 내에서 제출할 수 있습니다.
참고 항목
IT 서비스 관리는 피드백을 제출하고 문제를 에스컬레이션하기 위한 중앙 위치 역할을 해야 합니다. 개별 팀에 직접 피드백을 제출하는 것이 더 빠른 솔루션인 것처럼 보일 수 있지만, 이 접근 방식은 플랫폼의 과제에 대한 비즈니스 가시성을 제공하지 않습니다. 데이터 애플리케이션 팀에 대한 올바른 라우팅이 있는 IT 서비스 관리 솔루션은 기업 전체에 걸쳐 비즈니스에 단일한 관점을 제공할 수 있습니다.
책임 할당 매트릭스
- 책임: 누가 작업을 완료하고 있나요?
- 설명: 누가 결정을 내리고 작업에 대한 조치를 취하고 있나요?
- 상의: 누가 의사 결정 및 작업에 대한 연락을 받나요?
- 알림: 누가 프로젝트 중에 결정 및 작업에 대해 업데이트되나요?
| 역할 | 클라우드 환경 | 데이터 관리 랜딩 존 | 데이터 랜딩 존 | 데이터 통합 | 데이터 제품 |
|---|---|---|---|---|---|
| 서비스 소유자 | 관련자 | 책임을 지는 | 상의된 알림 | 상의된 알림 | 상의된 알림 |
| 데이터 랜딩 존 서비스 소유자 | 관련자 | 상의된 알림 | 책임을 지는 | 책임을 지는 | 책임을 지는 |
| 클라우드 플랫폼 작업 | 책임형 | 중심 인물 | 중심 인물 | 중심 인물 | 중심 인물 |
| 데이터 플랫폼 작업 | 중심 인물 | 책임형 | 책임형 | 중심 인물 | 중심 인물 |
| 데이터 랜딩 존 작업 | 관련자 | 책임형 | 책임형 | 책임형 | 책임형 |
| 데이터 애플리케이션 팀 | 관련자 | 관련자 | 관련자 | 책임형 |