소개
대부분 조직에서는 방대한 양의 데이터를 사용합니다. 빅 데이터는 원시 상태이고, 구성되지 않고, 관계형, 비관계형, 기타 스토리지 시스템과 같은 다양한 위치에 저장될 수 있습니다. 이러한 조직의 중요한 과제는 빅 데이터를 구성하고 실행 가능한 비즈니스 인사이트로 구체화하는 것입니다.
Microsoft Azure Data Factory는 구성되지 않은 데이터에서 실행 가능한 비즈니스 인사이트를 만드는 데 사용할 수 있는 관리형 클라우드 서비스입니다. 복잡한 하이브리드 ETL(추출, 변환 및 로드), 추출-로드-변환 및 데이터 통합 프로젝트를 관리하는 데 도움이 될 수 있습니다.
예제 시나리오
게임 세션 중에 생성되는 데이터 로그를 수집하는 게임 회사에서 일한다고 가정해 보겠습니다. 이 로그 데이터를 분석할 수 있는 경우 고객 선호도, 인구 통계, 사용 동작에 대한 인사이트를 얻을 수 있습니다. 영업 팀의 구성원은 상향 판매 및 교차 판매 기회에 관심을 표시했으며 데이터 로그에 유용한 정보가 포함될 수 있는지 궁금해합니다. 개발 및 기술 팀은 게임 환경에서 발생할 수 있는 문제 및 새로운 기능으로 해당 문제를 해결하는 방법을 알아보려면 합니다.
문제는 로그의 데이터를 성공적으로 분석하기 위해 온-프레미스 위치에 저장된 데이터를 참조해야 한다는 것입니다. 이 데이터에는 고객 정보, 게임 정보, 마케팅-캠페인 정보가 포함됩니다. 회사는 게임 로그 데이터를 클라우드 데이터 저장소에 저장했으며 모든 온-프레미스 데이터도 사용하려고 합니다.
데이터 분석을 계속 진행하기 위해 중요한 단계는 온-프레미스 데이터를 게임 로그의 추가 데이터와 결합하는 것입니다. 이 플랜은 Azure Analysis Services를 사용하여 결합된 데이터를 처리하는 것입니다. 그런 다음, 변환된 데이터는 클라우드 데이터 웨어하우스에 게시되고 Power BI 및 기타 도구를 사용하여 시각화됩니다. Azure Data Factory를 통해 이 목표를 달성할 수 있습니다.
이 모듈에서 수행할 작업
이 모듈에서는 Azure Data Factory를 통해 빅 데이터를 오케스트레이션하는 방법을 알아봅니다. Azure Data Factory를 통해 데이터 원본을 통합할 수 있는지 평가합니다. 또한 Azure Data Factory가 온-프레미스, 다중 클라우드, SaaS(Software as a Service) 데이터 원본에서 데이터를 수집하는 방법을 설명합니다.
주요 목표는 무엇인가요?
이 모듈을 마치면 Azure Data Factory를 통해 다양한 데이터 저장소에서 데이터를 수집하는 데이터 기반 워크플로를 만들고 예약할 수 있는지 확인하는 방법을 자세히 알 수 있습니다. Azure Data Factory를 통해 컴퓨팅 서비스 또는 데이터 흐름을 사용하여 이 데이터를 시각적으로 변환하는 복잡한 ETL 프로세스를 빌드할 수 있는지 평가합니다.