다음을 통해 공유

Oracle 마이그레이션을 위한 시각화 및 보고

  • 아티클

이 문서는 Oracle에서 Azure Synapse Analytics로 마이그레이션하는 방법의 지침을 제공하는 7부 시리즈 중 4부입니다. 이 문서는 시각화 및 보고에 대한 모범 사례에 중점을 두고 있습니다.

Microsoft 및 타사 BI 도구를 사용하여 Azure Synapse Analytics에 액세스

조직은 다양한 BI(비즈니스 인텔리전스) 도구와 애플리케이션을 사용하여 데이터 웨어하우스와 데이터 마트에 액세스합니다. BI 제품의 몇 가지 예는 다음과 같습니다.

  • Power BI와 같은 Microsoft BI 도구.

  • Microsoft Excel 스프레드시트와 같은 Office 애플리케이션.

  • 다양한 공급업체의 타사 BI 도구.

  • BI 도구 기능이 포함된 사용자 지정 분석 애플리케이션.

  • 데이터 웨어하우스 또는 데이터 마트에서 차례로 데이터를 쿼리하는 BI 플랫폼에서 쿼리 및 보고서를 실행하여 주문형 BI를 지원하는 운영 애플리케이션입니다.

  • Azure Synapse Spark Notebooks, Azure Machine Learning, RStudio, Jupyter Notebooks와 같은 대화형 데이터 과학 개발 도구입니다.

데이터 웨어하우스 마이그레이션의 일부로 시각화 및 보고를 마이그레이션하는 경우 BI 제품에서 생성된 모든 기존 쿼리, 보고서 및 대시보드를 새 환경에서 실행해야 합니다. BI 제품은 레거시 데이터 웨어하우스 환경에서와 동일한 결과를 Azure Synapse에서 산출해야 합니다.

마이그레이션 후 일관된 결과를 가져오려면 데이터 웨어하우스 스키마 및 데이터를 Azure Synapse로 마이그레이션한 후 모든 BI 도구 및 애플리케이션 종속성이 작동해야 합니다. 종속성에는 액세스 및 보안과 같이 덜 가시적인 측면이 포함됩니다. 액세스 및 보안을 다룰 때 다음 사항을 마이그레이션해야 합니다.

  • 인증을 통해 사용자가 Azure Synapse의 데이터 웨어하우스 및 데이터 마트 데이터베이스에 로그인할 수 있습니다.

  • Azure Synapse에 대한 모든 사용자.

  • Azure Synapse에 대한 모든 사용자 그룹.

  • Azure Synapse에 대한 모든 역할.

  • Azure Synapse에 대한 액세스 제어를 제어하는 모든 권한 부여 권한.

  • 마이그레이션 전에 기존 데이터 웨어하우스에 있었던 것을 미러링하기 위한 사용자, 역할 및 권한 할당. 예시:

    • 역할에 할당된 데이터베이스 개체 권한
    • 사용자 그룹에 할당된 역할
    • 사용자 그룹 및/또는 역할에 할당된 사용자

액세스 및 보안은 마이그레이션된 시스템의 데이터 액세스에 대한 중요한 고려 사항이며 Oracle 마이그레이션을 위한 보안, 액세스 및 작업에 자세히 설명되어 있습니다.

팁

보고서 및 시각화 마이그레이션이 성공하려면 기존 사용자, 사용자 그룹, 역할 및 액세스 보안 권한 할당을 먼저 마이그레이션해야 합니다.

레거시 환경에서 데이터를 쿼리하는 보고서 및 대시보드가 Azure Synapse에서 동일한 결과를 생성하도록 모든 필수 데이터를 마이그레이션합니다.

비즈니스 사용자는 Azure Synapse의 마이그레이션된 시스템에 대한 신뢰를 가지고 원활히 마이그레이션되기를 기대합니다. 원활한 의사 소통을 통해 사용자가 두려움을 해소할 수 있도록 합니다. 사용자는 다음을 기대합니다.

  • 테이블 구조는 쿼리에서 직접 참조될 때 동일하게 유지됩니다.

  • 테이블 및 열 이름은 쿼리에서 직접 참조될 때 동일하게 유지됩니다. 예를 들어 BI 도구의 열에 정의된 계산 필드는 집계 보고서가 생성될 때 실패하지 않아야 합니다.

  • 기록 분석은 동일하게 유지됩니다.

  • 데이터 형식은 가능한 경우 동일하게 유지됩니다.

  • 쿼리 동작은 동일하게 유지됩니다.

  • ODBC/JDBC 드라이버는 쿼리 동작이 동일하게 유지되도록 테스트되었습니다.

팁

커뮤니케이션 및 비즈니스 사용자 참여는 성공에 매우 중요합니다.

BI 도구가 기본 데이터 웨어하우스 또는 데이터 마트 데이터베이스의 보기를 쿼리하는 경우 마이그레이션 후에도 해당 보기가 계속 작동하나요? Azure Synapse에 해당 항목이 없는 레거시 데이터 웨어하우스 DBMS와 관련된 독점 SQL 확장이 있는 경우 일부 보기가 작동하지 않을 수 있습니다. 그렇다면 이러한 비호환성에 대해 알고 해결 방법을 찾아야 합니다.

팁

독점 SQL 쿼리 확장을 사용하는 보기 및 SQL 쿼리는 BI 보고서 및 대시보드에 영향을 미치는 비호환성을 초래할 수 있습니다.

NULL 값의 동작 또는 DBMS 플랫폼 간의 데이터 형식 변형과 같은 기타 문제는 계산 결과에 약간의 차이라도 없는지 테스트해야 합니다. 이러한 문제를 최소화하고 비즈니스 사용자가 영향을 받지 않도록 필요한 모든 조치를 취합니다. 레거시 데이터 웨어하우스 환경에 따라 타사 도구를 사용하면 BI 도구와 애플리케이션이 변경되지 않고 실행되도록 레거시 환경과 새 환경 간의 차이점을 숨길 수 있습니다.

테스트는 시각화 및 보고서 마이그레이션에 중요합니다. 두 환경 모두에서 테스트를 실행하고 다시 실행하려면 테스트 도구 모음과 합의된 테스트 데이터가 필요합니다. 테스트 도구도 유용하며 이 가이드에서 몇 가지를 언급합니다. 또한 비즈니스 사용자를 마이그레이션의 테스트 측면에 참여시켜 높은 신뢰도를 유지하고 프로젝트의 일부와 참여를 유지하는 것이 중요합니다.

팁

반복 가능한 테스트를 사용하여 보고서, 대시보드 및 기타 시각화가 성공적으로 마이그레이션되었는지 확인합니다.

예를 들어 Power BI로 마이그레이션하기 위해 BI 도구를 전환하는 것이 좋을 수 있습니다. 스키마, 데이터, ETL 처리 등을 마이그레이션하는 동시에 이러한 변경을 수행하려는 유혹이 있습니다. 그러나 위험을 최소화하려면 먼저 Azure Synapse로 마이그레이션하고 추가 최신화를 착수하기 전에 모든 것이 작동하도록 하는 것이 좋습니다.

기존 BI 도구가 온-프레미스에서 실행되는 경우 방화벽을 통해 Azure Synapse에 연결할 수 있는지 확인하여 두 환경에 대해 비교를 실행할 수 있습니다. 또는 기존 BI 도구의 공급업체가 Azure에서 자사 제품을 제공하는 경우 해당 제품을 사용해 볼 수 있습니다. 예를 들어 XML 또는 JSON 데이터가 포함된 "헤드리스 보고서"를 요청하여 BI를 포함하거나 요청 시 BI 서버를 호출하는 온-프레미스에서 실행되는 애플리케이션에도 동일하게 적용됩니다.

여기에서 생각할 것이 많으므로 자세히 살펴보겠습니다.

데이터 가상화를 사용하여 BI 도구 및 보고서에 대한 마이그레이션의 영향 최소화

마이그레이션하는 동안 비즈니스 요청 열기, 누락된 데이터 추가 또는 새로운 기능 구현과 같은 장기적인 요구 사항을 충족하고 싶을 수 있습니다. 그러나 이러한 변경은 특히 변경이 데이터 모델에 대한 구조적 변경과 관련된 경우 데이터 웨어하우스에 대한 BI 도구 액세스에 영향을 줄 수 있습니다. 민첩한 데이터 모델링 기술을 채택하거나 구조적 변경을 구현하려면 마이그레이션 ‘후에’ 이를 수행합니다.

스키마 변경이나 기타 구조적 변경이 BI 도구에 미치는 영향을 최소화하는 한 가지 방법은 BI 도구와 데이터 웨어하우스 및 데이터 마트 간에 데이터 가상화를 도입하는 것입니다. 다음 다이어그램은 데이터 가상화가 사용자로부터 마이그레이션을 숨길 수 있는 방법을 보여 줍니다.

Diagram showing how to hide the migration from users through data virtualization.

데이터 가상화는 셀프 서비스 BI 도구를 사용하는 비즈니스 사용자와 마이그레이션 중인 기본 데이터 웨어하우스 및 데이터 마트의 실제 스키마 간의 종속성을 깨뜨립니다.

팁

데이터 가상화를 사용하면 마이그레이션 중에 비즈니스 사용자를 구조적 변경으로부터 보호하여 이러한 변경 내용을 인식하지 못하게 할 수 있습니다. 구조 변경에는 Azure Synapse에 대한 데이터 모델을 조정하는 스키마 변경이 포함됩니다.

데이터 가상화를 사용하면 예를 들어 성능 최적화를 위해 Azure Synapse로 마이그레이션하는 동안 수행된 모든 스키마 변경을 비즈니스 사용자에게 숨길 수 있습니다. 이는 비즈니스 사용자가 데이터 가상화 계층의 가상 테이블에만 액세스할 수 있기 때문입니다. 또한 구조를 변경하는 경우 데이터 웨어하우스 또는 데이터 마트와 가상 테이블 간의 매핑만 업데이트하면 됩니다. 데이터 가상화를 통해 사용자는 구조적 변화를 인식하지 못합니다. Microsoft 파트너는 데이터 가상화 소프트웨어를 제공합니다.

먼저 마이그레이션할 우선 순위가 높은 보고서 식별

기존 보고서 및 대시보드를 Azure Synapse로 마이그레이션할 때 가장 먼저 마이그레이션할 보고서와 대시보드가 핵심 질문이 됩니다. 다음과 같은 몇 가지 요인이 이러한 결정을 내릴 수 있습니다.

  • 사용

  • 비즈니스 가치

  • 간편한 마이그레이션

  • 데이터 마이그레이션 전략

다음 섹션에서는 이러한 요소에 대해 설명합니다.

어떤 결정을 내리든 비즈니스 사용자는 보고서, 대시보드 및 기타 시각화를 생성하고 해당 항목의 인사이트를 기반으로 비즈니스 결정을 내리기 때문에 참여해야 합니다. 다음과 같은 경우 모든 사람이 혜택을 받습니다.

  • 보고서 및 대시보드를 원활하게 마이그레이션하고,
  • 최소한의 활동으로 보고서 및 대시보드 마이그레이션하고,
  • 레거시 데이터 웨어하우스 시스템 대신 Azure Synapse에서 BI 도구를 가리키고, 유사한 보고서, 대시보드 및 기타 시각화를 가져옵니다.

사용량에 따른 보고서 마이그레이션

사용량은 비즈니스 가치의 지표일 경우가 많습니다. 사용하지 않은 보고서 및 대시보드는 비즈니스 의사 결정에 기여하지 않거나 현재 가치를 제공하지 않습니다. 사용되지 않은 보고서와 대시보드를 찾을 수 없는 경우 사용 통계를 제공하는 여러 BI 도구 중 하나를 사용할 수 있습니다.

레거시 데이터 웨어하우스가 수년 동안 실행 중이라면 수천은 아닐지라도 수백 개의 보고서가 존재할 가능성이 큽니다. 보고서 및 대시보드의 인벤토리를 컴파일하고 비즈니스 목적 및 사용 통계를 식별할 가치가 있습니다.

사용하지 않는 보고서의 경우 마이그레이션 활동을 줄이기 위해 해제할지 여부를 결정합니다. 사용하지 않는 보고서를 해제할지 여부를 결정할 때, 사용자가 보고서의 존재를 모르는지, 비즈니스 가치를 제공하지 않는지 또는 다른 보고서로 대체되어 보고서가 사용되지 않았는지를 질문해야 합니다.

비즈니스 가치를 기반으로 보고서 마이그레이션

사용량만으로는 비즈니스 가치의 좋은 지표가 되지 않습니다. 보고서의 인사이트가 비즈니스 가치에 기여하는 정도를 고려할 수 있습니다. 이를 수행하는 한 가지 방법은 보고서와 종속성에 의존하는 모든 비즈니스 결정의 수익성을 평가하는 것입니다. 그러나 이러한 정보는 대부분의 조직에서 쉽게 사용할 수 없습니다.

비즈니스 가치를 평가하는 또 다른 방법은 보고서와 비즈니스 전략의 정렬을 살펴보는 것입니다. 경영진이 설정한 비즈니스 전략은 일반적으로 SBO(전략적 비즈니스 대상), KPI(핵심 성과 지표), 달성해야 하는 KPI 대상과 이를 달성할 책임이 있는 사람을 제시합니다. 사기 행위 감소, 개선된 고객 사용자 참여, 최적화된 비즈니스 운영과 같이 보고서에 기여한 SBO가 보고서를 분류할 수 있습니다. 그런 다음, 우선 순위가 높은 목표와 연결된 보고서 및 대시보드 마이그레이션에 대한 우선 순위를 지정할 수 있습니다. 이러한 방식으로 초기 마이그레이션은 전략적 영역에서 비즈니스 가치를 제공할 수 있습니다.

비즈니스 가치를 평가하는 또 다른 방법은 보고서 및 대시보드를 운영, 전술 또는 전략적으로 분류하여 사용되는 비즈니스 수준을 식별하는 것입니다. SBO는 이러한 모든 수준의 기여를 요구합니다. 어떤 보고서와 대시보드가 사용되는지, 어떤 수준에서 어떤 목표와 연관되어 있는지 알면 우선 순위가 높은 비즈니스 가치에 초기 마이그레이션에 집중할 수 있습니다. 다음 비즈니스 전략 목표 표를 사용하여 보고서와 대시보드를 평가할 수 있습니다.

수준 보고서/대시보드 이름 사업 목적 사용된 부서 사용 빈도 비즈니스 우선순위
전략적
전술적
작동

Azure Data Catalog와 같은 메타데이터 검색 도구를 사용하면 비즈니스 사용자가 데이터 원본에 태그를 지정하고 평가하여 해당 데이터 원본에 대한 메타데이터를 보강하여 검색 및 분류를 지원할 수 있습니다. 보고서 또는 대시보드의 메타데이터를 사용하여 비즈니스 가치를 이해할 수 있습니다. 이러한 도구가 없으면 마이그레이션 여부에 관계없이 보고서 및 대시보드가 비즈니스 가치에 미치는 영향을 이해하는 데 시간이 많이 소요될 수 있습니다.

데이터 마이그레이션 전략에 따라 보고서 마이그레이션

마이그레이션 전략이 데이터 마트를 먼저 마이그레이션하는 것을 기반으로 하는 경우 데이터 마트 마이그레이션 순서는 먼저 마이그레이션되는 보고서 및 대시보드에 영향을 줍니다. 전략이 비즈니스 가치를 기반으로 하는 경우 데이터 마트를 Azure Synapse로 마이그레이션하는 순서는 비즈니스 우선 순위를 반영합니다. 메타데이터 검색 도구는 어떤 데이터 마트 테이블이 어떤 보고서에 대한 데이터를 제공하는지 보여줌으로써 전략을 구현하는 데 도움이 될 수 있습니다.

팁

데이터 마이그레이션 전략은 먼저 마이그레이션되는 보고서 및 시각화에 영향을 줍니다.

보고서 및 시각화에 영향을 줄 수 있는 마이그레이션 비호환성 문제

BI 도구는 데이터 웨어하우스 또는 데이터 마트의 실제 테이블 및/또는 보기에 액세스하는 SQL 쿼리를 실행하여 보고서, 대시보드 및 기타 시각화를 생성합니다. 레거시 데이터 웨어하우스를 Azure Synapse로 마이그레이션할 때 여러 요인이 보고서, 대시보드 및 기타 시각화의 마이그레이션 용이성에 영향을 줄 수 있습니다. 이러한 요인에는 다음이 포함됩니다.

  • 환경 간의 스키마 비호환성.

  • 환경 간의 SQL 비호환성.

스키마 비호환성

마이그레이션하는 동안 보고서, 대시보드 및 기타 시각화에 대한 데이터를 제공하는 데이터 웨어하우스 또는 데이터 마트 테이블의 스키마 비호환성은 다음과 같을 수 있습니다.

  • Azure Synapse에 해당 항목이 없는 레거시 데이터 웨어하우스 DBMS의 비표준 테이블 형식.

  • Azure Synapse에 해당 항목이 없는 레거시 데이터 웨어하우스 DBMS의 데이터 형식.

대부분의 경우 비호환성에 대한 해결 방법이 있습니다. 예를 들어, 지원되지 않는 테이블 형식의 데이터를 적절한 데이터 형식이 있는 표준 테이블로 마이그레이션하고 날짜/시간 열에서 인덱싱되거나 분할될 수 있습니다. 마찬가지로 지원되지 않는 데이터 형식을 다른 형식의 열에 표시하고 Azure Synapse에서 계산을 수행하여 동일한 결과를 얻을 수 있습니다.

팁

스키마 비호환성에는 레거시 웨어하우스 DBMS 테이블 형식 및 Azure Synapse에서 지원되지 않는 데이터 형식이 포함됩니다.

스키마 비호환성의 영향을 받는 보고서를 식별하려면 레거시 데이터 웨어하우스의 시스템 카탈로그에 대해 쿼리를 실행하여 지원되지 않는 데이터 형식이 있는 테이블을 식별합니다. 그런 다음, BI 도구의 메타데이터를 사용하여 해당 테이블의 데이터에 액세스하는 보고서를 식별할 수 있습니다. 개체 형식 비호환성을 식별하는 방법에 대한 자세한 내용은 지원되지 않는 Oracle 데이터베이스 개체 형식을 참조하세요.

팁

레거시 웨어하우스 DBMS의 시스템 카탈로그를 쿼리하여 Azure Synapse와의 스키마 비호환성을 식별합니다.

많은 BI 도구가 덜 제네릭 데이터 형식을 지원하지 않기 때문에 보고서, 대시보드 및 기타 시각화에 대한 스키마 비호환성의 영향은 생각보다 적을 수 있습니다. 따라서 레거시 데이터 웨어하우스에 지원되지 않는 데이터 형식을 좀 더 제네릭 형식으로 CAST하는 보기가 이미 있을 수 있습니다.

SQL 비호환성

마이그레이션하는 동안 SQL 비호환성은 다음과 같은 애플리케이션이나 도구의 보고서, 대시보드 또는 기타 시각화에 영향을 줄 수 있습니다.

  • Azure Synapse에는 없는 독점 SQL 함수가 포함된 레거시 데이터 웨어하우스 DBMS 보기에 액세스합니다.

  • Azure Synapse에는 없는 레거시 환경의 SQL 언어와 관련된 독점 SQL 함수를 포함하는 SQL 쿼리를 실행합니다.

보고 포트폴리오에 대한 SQL 비호환성의 영향 측정

보고 포트폴리오에는 포함된 쿼리 서비스, 보고서, 대시보드 및 기타 시각화가 포함될 수 있습니다. 해당 항목과 관련된 설명서에 따라서 Azure Synapse로의 보고 포트폴리오 마이그레이션에 대한 SQL 비호환성의 영향을 측정할 필요는 없습니다. SQL 비호환성의 영향을 평가하려면 보다 정확한 방법을 사용해야 합니다.

EXPLAIN 문을 사용하여 SQL 비호환성 찾기

레거시 Oracle 데이터 웨어하우스에서 최근 SQL 작업 로그를 검토하여 SQL 비호환성을 찾을 수 있습니다. 스크립트를 사용하여 대표적인 SQL 문의 집합을 파일로 추출합니다. 그런 다음, 각 SQL 문에 EXPLAIN 문을 접두사로 붙이고 Azure Synapse에서 해당 EXPLAIN 문을 실행합니다. 지원되지 않는 독점 SQL 확장을 포함하는 모든 SQL 문은 EXPLAIN 문이 실행될 때 Azure Synapse에서 거부됩니다. 이 방법을 사용하면 SQL 비호환성의 정도를 평가할 수 있습니다.

레거시 데이터 웨어하우스 DBMS의 메타데이터도 호환되지 않는 보기를 식별하는 데 도움이 될 수 있습니다. 이전과 마찬가지로 해당 로그에서 대표적인 SQL 문 집합을 캡처하고 각 SQL 문에 EXPLAIN 문을 접두사로 붙인 다음, Azure Synapse에서 해당 EXPLAIN 문을 실행하여 호환되지 않는 SQL이 있는 보기를 식별합니다.

팁

DBMS 로그 파일을 수집하고 EXPLAIN 문을 실행하여 SQL 비호환성의 영향을 측정합니다.

테스트 보고서 및 Azure Synapse Analytics로 대시보드 마이그레이션

데이터 웨어하우스 마이그레이션의 핵심 요소는 마이그레이션이 작동했는지 확인하기 위해 Azure Synapse에서 보고서 및 대시보드를 테스트하는 것입니다. 성공을 확인하기 위해 실행할 각 테스트에 대해 일련의 테스트와 일련의 필수 결과를 정의합니다. 기존 및 마이그레이션된 데이터 웨어하우스 시스템에서 보고서와 대시보드를 테스트하고 비교하여 다음을 수행합니다.

  • 마이그레이션 중 변경된 스키마가 보고서 실행, 보고서 결과 또는 해당 보고서 시각화 기능에 영향을 미쳤는지 확인합니다. 스키마 변경의 예는 호환되지 않는 데이터 형식을 Azure Synapse에서 지원되는 동등한 데이터 형식에 매핑한 경우입니다.

  • 모든 사용자가 마이그레이션되었는지 확인합니다.

  • 모든 역할이 마이그레이션되었고 사용자가 해당 역할에 할당되었는지 확인합니다.

  • ACL(액세스 제어 목록) 마이그레이션을 보장하기 위해 모든 데이터 액세스 보안 권한이 마이그레이션되었는지 확인합니다.

  • 알려진 모든 쿼리, 보고서 및 대시보드에 대해 일관된 결과를 보장합니다.

  • 데이터 및 ETL 마이그레이션이 완료되고 오류가 없는지 확인합니다.

  • 데이터 프라이버시가 유지되는지 확인합니다.

  • 성능 및 확장성을 테스트합니다.

  • 분석 기능을 테스트합니다.

팁

성능을 테스트하고 조정하여 컴퓨팅 비용을 최소화합니다.

사용자, 사용자 그룹, 역할 및 권한을 마이그레이션하는 방법에 대한 자세한 내용은 Oracle 마이그레이션을 위한 보안, 액세스 및 작업을 참조하세요.

테스트를 최대한 자동화하여 각 테스트를 반복 가능하게 만들고 테스트 결과 평가에 대한 일관된 방법을 지원합니다. Automation은 알려진 일반 보고서에 적합하며 Azure Synapse 파이프라인 또는 Azure Data Factory 오케스트레이션을 통해 관리할 수 있습니다. 회귀 테스트를 위한 테스트 쿼리 모음이 이미 있는 경우 기존 테스트 도구를 사용하여 마이그레이션 후 테스트를 자동화할 수 있습니다.

팁

모범 사례는 테스트를 반복할 수 있도록 자동화된 테스트 제품군을 빌드하는 것입니다.

임시 분석 및 보고는 더 어려우며, 마이그레이션 전후의 동일한 보고서와 대시보드가 일관성이 있는지 확인하기 위해 일련의 테스트를 컴파일해야 합니다. 불일치를 발견하면 마이그레이션 테스트 중에 원본 시스템과 마이그레이션된 시스템에서 메타데이터 계보를 비교할 수 있는 기능이 중요해집니다. 이러한 비교를 통해 차이점을 강조 표시하고 다른 방법으로 검색하기 어려운 경우 불일치가 발생한 위치를 정확히 찾아낼 수 있습니다.

팁

메타데이터 계보를 비교하여 결과를 확인하는 도구를 활용합니다.

보고서, 대시보드 및 데이터 간의 종속성을 이해하기 위해 계보 분석

계보에 대한 이해는 보고서 및 대시보드를 성공적으로 마이그레이션하는 데 중요한 요소입니다. 계보는 보고서 또는 대시보드에서 데이터 원본까지의 경로를 추적할 수 있도록 마이그레이션된 데이터의 과정을 보여 주는 메타데이터입니다. 계보는 데이터가 지점 간 이동 방식, 데이터 웨어하우스 및/또는 데이터 마트에서의 위치, 사용하는 보고서 및 대시보드를 보여 줍니다. 계보는 파일 및 데이터베이스, 다양한 ETL 파이프라인 및 보고서와 같은 다양한 데이터 저장소를 통해 이동하는 데이터에 어떤 일이 발생하는지 이해하는 데 도움이 될 수 있습니다. 비즈니스 사용자가 데이터 계보에 액세스할 수 있으면 신뢰도가 개선되고 자신감이 부여되며 정보에 입각한 비즈니스 결정이 지원됩니다.

팁

마이그레이션된 보고서가 올바르게 작동하는지 확인하려면 보고서에서 데이터 원본까지 메타데이터 및 데이터 계보에 액세스하는 것이 중요합니다.

다중 공급업체 데이터 웨어하우스 환경에서 BI 팀의 비즈니스 분석가는 데이터 계보를 매핑할 수 있습니다. 예를 들어 ETL, 데이터 웨어하우스 및 보고에 서로 다른 공급업체를 사용하고 각 공급업체에 자체 메타데이터 리포지토리가 있는 경우 보고서의 특정 데이터 요소가 어디에서 왔는지 파악하는 것은 어렵고 시간이 많이 소요될 수 있습니다.

팁

메타데이터 컬렉션을 자동화하고 다중 공급업체 환경에서 엔드투엔드 계보를 표시하는 도구는 마이그레이션 중에 유용하게 사용됩니다.

레거시 데이터 웨어하우스에서 Azure Synapse로 원활하게 마이그레이션하려면 각 환경에서 생성된 보고서와 대시보드를 비교할 때 엔드투엔드 데이터 계보를 사용하여 유사 마이그레이션을 증명합니다. 엔드투엔드 데이터 과정을 표시하려면 여러 도구에서 메타데이터를 캡처하고 통합해야 합니다. 자동화된 메타데이터 검색 및 데이터 계보를 지원하는 도구에 액세스하면 중복 보고서 또는 ETL 프로세스를 식별하고 더 이상 사용되지 않거나 의심스럽거나 존재하지 않는 데이터 원본에 의존하는 보고서를 찾는 데 도움이 됩니다. 이 정보를 사용하여 마이그레이션하는 보고서 및 ETL 프로세스의 수를 줄일 수 있습니다.

Azure Synapse에 있는 보고서의 엔드투엔드 계보를 레거시 환경에 있는 동일한 보고서의 엔드투엔드 계보와 비교하여 마이그레이션 중에 실수로 발생할 수 있는 차이점을 확인할 수도 있습니다. 이 형식의 비교는 마이그레이션 성공을 테스트하고 확인해야 할 때 매우 유용합니다.

데이터 계보 시각화는 마이그레이션 프로세스의 시간, 활동 및 오류를 줄일 뿐만 아니라 더 빠른 마이그레이션을 가능하게 합니다.

계보를 비교하는 자동화된 메타데이터 검색 및 데이터 계보 도구를 사용하여 마이그레이션된 데이터에서 생성된 Azure Synapse의 보고서가 레거시 환경에서 동일한 방식으로 생성되는지 확인할 수 있습니다. 이 기능은 또한 다음을 결정하는 데 도움이 됩니다.

  • Azure Synapse에서 성공적인 보고서 및 대시보드 실행을 위해 마이그레이션해야 하는 데이터의 종류

  • Azure Synapse에서 성공적인 실행을 위해 수행되었으며 앞으로도 수행되어야 할 변환의 종류

  • 보고서 중복을 줄이는 방법

자동화된 메타데이터 검색 및 데이터 계보 도구는 기업이 데이터 자산을 더 잘 인식하고 견고한 보고 환경을 달성하기 위해 Azure Synapse로 마이그레이션해야 하는 항목을 알 수 있도록 도와주기 때문에 마이그레이션 프로세스를 상당히 단순화합니다.

여러 ETL 도구는 엔드투엔드 계보 기능을 제공하므로 Azure Synapse와 함께 사용하려는 경우 기존 ETL 도구에 해당 기능이 있는지 확인합니다. Azure Synapse 파이프라인 또는 Data Factory는 모두 매핑 흐름에서 계보를 보는 기능을 지원합니다. Microsoft 파트너는 자동화된 메타데이터 검색, 데이터 계보 및 계보 비교 도구도 제공합니다.

BI 도구 의미 체계 계층을 Azure Synapse Analytics로 마이그레이션

일부 BI 도구에는 의미 체계 메타데이터 계층이라는 것이 있습니다. 이 계층은 데이터 웨어하우스 또는 데이터 마트 데이터베이스의 기본 실제 데이터 구조에 대한 비즈니스 사용자 액세스를 단순화합니다. 의미 체계 메타데이터 계층은 차원, 측정값, 계층, 계산된 메트릭 및 조인과 같은 상위 수준 개체를 제공하여 액세스를 단순화합니다. 상위 수준 개체는 비즈니스 분석가에게 익숙한 비즈니스 용어를 사용하고 데이터 웨어하우스 또는 데이터 마트의 실제 데이터 구조에 매핑됩니다.

팁

일부 BI 도구에는 데이터 웨어하우스 또는 데이터 마트의 실제 데이터 구조에 대한 비즈니스 사용자 액세스를 단순화하는 의미 체계 계층이 있습니다.

데이터 웨어하우스 마이그레이션에서 열 또는 테이블 이름을 변경해야 할 수 있습니다. 예를 들어 Oracle은 테이블 이름에 # 문자를 허용하지만 Azure Synapse는 임시 테이블을 나타내기 위해 테이블 이름 접두사로 #만 허용합니다. Oracle에서 TEMPORARY TABLES 이름에 반드시 "#"이 있는 것은 아니지만 Synapse에서는 반드시 있어야 합니다. 이러한 경우 테이블 매핑을 변경하려면 일부 재작업을 수행해야 할 수도 있습니다.

여러 BI 도구에서 일관성을 유지하려면 BI 도구와 애플리케이션과 Azure Synapse 사이에 있는 데이터 가상화 서버를 사용하여 범용 의미 체계 계층을 만듭니다. 데이터 가상화 서버에서 차원, 측정값, 계층 및 조인과 같은 상위 수준 개체에 대해 공통 데이터 이름을 사용합니다. 이렇게 하면 계산 필드, 조인 및 매핑을 포함한 모든 것을 모든 도구가 아닌 한 번만 구성할 수 있습니다. 그런 다음, 데이터 가상화 서버에서 모든 BI 도구를 가리킵니다.

팁

데이터 가상화를 사용하여 공통 의미 체계 계층을 만들어 Azure Synapse 환경의 모든 BI 도구에서 일관성을 보장합니다.

데이터 가상화를 사용하면 모든 BI 도구에서 일관성을 확보하고 BI 도구 및 애플리케이션과 Azure Synapse의 기본 실제 데이터 구조 간의 종속성을 끊을 수 있습니다. Microsoft 파트너는 Azure에서 일관성을 달성하는 데 도움을 줄 수 있습니다. 다음 다이어그램은 데이터 가상화 서버의 공통 어휘를 통해 여러 BI 도구가 공통 의미 체계 계층을 볼 수 있는 방법을 보여 줍니다.

Diagram with common data names and definitions that relate to the data virtualization server.

결론

리프트 앤 시프트 데이터 웨어하우스 마이그레이션에서 대부분의 보고서, 대시보드 및 기타 시각화는 쉽게 마이그레이션되어야 합니다.

레거시 환경에서 마이그레이션하는 동안 레거시 데이터 웨어하우스 또는 데이터 마트 테이블의 데이터가 지원되지 않는 데이터 형식으로 저장되어 있음을 알 수 있습니다. 또는 Azure Synapse에서 이에 상응하는 것이 없는 독점 SQL을 포함하는 레거시 데이터 웨어하우스 보기를 찾을 수 있습니다. 해당하는 경우 Azure Synapse로의 성공적인 마이그레이션을 위해 이러한 문제를 해결해야 합니다.

사용자가 관리하는 설명서에 따라서 문제가 있는 위치를 식별할 필요는 없습니다. 대신, SQL 비호환성을 식별하는 빠르고 실용적인 방법이므로 EXPLAIN 문을 사용합니다. 호환되지 않는 SQL 문을 다시 작업하여 Azure Synapse에서 동등한 기능을 달성합니다. 또한 자동화된 메타데이터 검색 및 계보 도구를 사용하여 종속성을 이해하고 중복 보고서를 찾고, 더 이상 사용되지 않거나 의심스럽거나 존재하지 않는 데이터 원본에 의존하는 잘못된 보고서를 식별합니다. 계보 도구를 사용하여 계보를 비교하여 레거시 데이터 웨어하우스 환경에서 실행되는 보고서가 Azure Synapse에서 동일하게 생성되는지 확인합니다.

더 이상 사용하지 않는 보고서를 마이그레이션하지 마세요. BI 도구 사용량 현황 데이터는 사용하지 않는 보고서를 확인하는 데 도움이 될 수 있습니다. 마이그레이션하려는 보고서, 대시보드 및 기타 시각화의 경우 모든 사용자, 사용자 그룹, 역할 및 권한을 마이그레이션합니다. 보고서 마이그레이션 전략을 추진하기 위해 비즈니스 가치를 사용하는 경우 보고서를 전략적 비즈니스 목표 및 우선 순위와 연결하여 특정 목표에 대한 보고서 인사이트의 기여도를 식별하는 데 도움이 됩니다. 데이터 마트별로 마이그레이션하는 경우 메타데이터를 사용하여 어떤 보고서가 어떤 테이블과 보기에 종속되는지 식별하여 먼저 마이그레이션할 데이터 마트에 대한 정보를 기반으로 결정할 수 있습니다.

팁

마이그레이션 활동의 범위를 측정하기 위해 비호환성을 조기에 식별합니다. 사용자, 그룹 역할 및 권한 할당을 마이그레이션합니다. 비즈니스 가치에 기여하고 사용되는 보고서 및 시각화만 마이그레이션합니다.

마이그레이션 중에 데이터 웨어하우스 또는 데이터 마트의 데이터 모델에 대한 구조적 변경이 발생할 수 있습니다. 데이터 가상화를 사용하여 BI 도구 및 애플리케이션을 구조적 변경으로부터 보호하는 것이 좋습니다. 데이터 가상화를 통해 공통 어휘를 사용하여 공통 의미 체계 계층을 정의할 수 있습니다. 공통 의미 체계 계층은 새로운 Azure Synapse 환경의 모든 BI 도구 및 애플리케이션에서 일관된 공통 데이터 이름, 정의, 메트릭, 계층 및 조인을 보장합니다.

다음 단계

SQL 문제 최소화에 대한 자세한 내용은 이 시리즈의 다음 문서인 Oracle 마이그레이션을 위한 SQL 문제 최소화를 참조하세요.