Oracle 데이터 웨어하우스를 Azure Synapse Analytics로 마이그레이션하기 위한 도구

이 문서는 Oracle에서 Azure Synapse Analytics로 마이그레이션하는 방법의 지침을 제공하는 7부 시리즈 중 6부입니다. 이 문서에서는 Microsoft 및 타사 도구에 대한 모범 사례를 중점적으로 설명합니다.

데이터 웨어하우스 마이그레이션 도구

기존 데이터 웨어하우스를 Azure Synapse로 마이그레이션하면 다음과 같은 혜택을 누릴 수 있습니다.

• 전역적으로 안전하고 확장 가능하며 저렴한 클라우드 네이티브 종량제 분석 데이터베이스

• Azure에 존재하는 풍부한 Microsoft 분석 에코시스템. 이 에코시스템은 마이그레이션 후 데이터 웨어하우스를 현대화하는 데 도움이 되는 기술로 구성되며 분석 기능을 확장하여 새로운 가치를 창출합니다.

Microsoft 및 타사 파트너의 여러 도구를 사용하여 기존 데이터 웨어하우스를 Azure Synapse로 마이그레이션할 수 있습니다. 이 문서에서는 다음 유형의 도구를 설명합니다.

• Microsoft 데이터 및 데이터베이스 마이그레이션 도구

• Azure Synapse로의 마이그레이션을 자동화하고 문서화하는 타사 데이터 웨어하우스 자동화 도구

• 스키마 및 데이터를 Azure Synapse로 마이그레이션하는 타사 데이터 웨어하우스 마이그레이션 도구

• 기존 데이터 웨어하우스 DBMS와 Azure Synapse 간의 SQL 차이점을 완화하는 타사 도구

Microsoft 데이터 마이그레이션 도구

Microsoft는 다음과 같이 기존 데이터 웨어하우스를 Azure Synapse로 마이그레이션하는 데 도움이 되는 몇 가지 도구를 제공합니다.

• SSMA(SQL Server Migration Assistant)

• Azure Data Factory.

• 물리적 데이터 전송을 위한 Microsoft 서비스

• 데이터 수집에 대한 Microsoft 서비스

다음 섹션에서는 각 도구를 자세히 설명합니다.

SSMA(SQL Server Migration Assistant)

Oracle용 SSMA(SQL Server Migration Assistant)는 일부의 경우 함수와 절차 코드를 포함하여 마이그레이션 프로세스의 많은 부분을 자동화할 수 있습니다. SSMA에서는 Azure Synapse를 대상 환경으로 지원합니다.

Oracle용 SSMA는 Oracle 데이터 웨어하우스 또는 데이터 마트를 Azure Synapse로 마이그레이션하는 데 도움이 될 수 있습니다. SSMA는 기존 Oracle 환경에서 테이블, 뷰 및 데이터를 마이그레이션하는 프로세스를 자동화하도록 설계되었습니다.

Microsoft Azure Data Factory

Data Factory는 확장성이 우수한 ETL 및 ELT 처리에 사용되는 완전 관리형 종량제 하이브리드 데이터 통합 서비스입니다. Apache Spark를 사용하여 병렬 및 메모리 내에서 데이터를 처리 및 분석하여 처리량을 극대화합니다.

팁

Data Factory를 사용하면 코드 없이 확장 가능한 데이터 통합 파이프라인을 빌드할 수 있습니다.

Data Factory 커넥터에서는 외부 데이터 원본과 데이터베이스에 대한 연결을 지원하고 일반적인 데이터 통합 작업의 템플릿을 포함합니다. 시각적 프런트 엔드 브라우저 기반 UI를 사용하면 프로그래머가 아닌 사용자가 파이프라인을 만들고 실행하여 데이터를 수집, 변환 및 로드할 수 있습니다. 경험이 많은 프로그래머는 Python 프로그램과 같은 사용자 지정 코드를 통합할 수 있습니다.

팁

Data Factory를 사용하면 비즈니스와 IT 전문가가 공동으로 개발을 진행할 수 있습니다.

또한 Data Factory는 오케스트레이션 도구이자 엔드투엔드 마이그레이션 프로세스를 자동화하는 데 가장 적합한 Microsoft 도구입니다. 자동화는 마이그레이션과 관련된 위험, 노력 및 시간을 줄이고 마이그레이션 프로세스를 쉽게 반복할 수 있도록 합니다. 다음 다이어그램에서는 Data Factory의 매핑 데이터 흐름을 보여 줍니다.

다음 스크린샷에서는 Data Factory의 랭글링 데이터 흐름을 보여 줍니다.

Data Factory에서 몇 번의 클릭만으로 코딩이나 유지 관리 없이 간단하거나 포괄적인 ETL 및 ELT 프로세스를 개발할 수 있습니다. ETL/ELT 프로세스는 데이터를 수집, 이동, 준비, 변환 및 처리합니다. Data Factory 내에서 예약 및 트리거를 설계하고 관리하여 자동화된 데이터 통합 및 로드 환경을 빌드할 수 있습니다. Data Factory에서 PolyBase 대량 데이터 로드 프로세스를 정의, 관리 및 예약할 수 있습니다.

팁

Data Factory에는 데이터와 전체 데이터 웨어하우스를 모두 Azure로 마이그레이션하는 데 도움이 되는 도구가 포함되어 있습니다.

Data Factory를 사용하여 안전하고 일관된 방식으로 온-프레미스, 클라우드, 스트리밍 및 SaaS 데이터가 포함된 하이브리드 환경을 구현하고 관리할 수 있습니다. Salesforce와 같은 애플리케이션에서 SaaS 데이터를 가져올 수 있습니다.

랭글링 데이터 흐름은 Data Factory의 새로운 기능입니다. 코드를 작성하지 않고 대규모로 데이터를 시각적으로 검색, 탐색 및 준비하려는 비즈니스 사용자는 이 기능으로 Data Factory를 사용할 수 있습니다. 랭글링 데이터 흐름은 Microsoft Excel Power Query 또는 Microsoft Power BI 데이터 흐름과 유사하게 셀프 서비스 데이터 준비를 제공합니다. 비즈니스 사용자는 드롭다운 변환 옵션을 사용하여 스프레드시트 스타일 UI를 통해 데이터를 준비하고 통합할 수 있습니다.

대규모 데이터 마이그레이션 기능은 Data Factory를 사용하여 원본의 데이터를 Azure SQL 대상으로 마이그레이션하는 데 도움이 됩니다.

Data Factory는 특히 기존 레거시 프로세스를 리팩터링하려는 경우 Azure Synapse 환경에서 데이터 통합 및 ETL/ELT 프로세스를 구현하는 데 권장되는 방법입니다.

물리적 데이터 전송을 위한 Microsoft 서비스

다음 섹션에서는 Microsoft가 고객의 데이터 전송을 지원하기 위해 제공하는 다양한 제품과 서비스를 설명합니다. 이러한 오프라인 데이터 이동을 사용하면 최종 사용자가 마이그레이션 가동 중지 시간을 크게 줄일 수 있습니다.

Azure ExpressRoute

Azure ExpressRoute는 Azure 데이터 센터와 온-프레미스 또는 공동 배치 환경의 인프라 사이에 프라이빗 연결을 만듭니다. ExpressRoute 연결은 공용 인터넷을 거치지 않으며 일반적인 인터넷 연결보다 더 높은 안정성, 더 빠른 속도 및 짧은 대기 시간을 제공합니다. 경우에 따라 온-프레미스 시스템과 Azure 간에 데이터를 전송하는 데 ExpressRoute 연결을 사용하여 비용 혜택을 크게 얻을 수 있습니다.

AZCopy

AzCopy는 표준 인터넷 연결을 통해 파일을 Azure Blob Storage로 복사하는 명령줄 유틸리티입니다. 웨어하우스 마이그레이션 프로젝트에서 AzCopy를 사용하여 추출, 압축, 구분된 텍스트 파일을 업로드한 후 PolyBase를 사용하여 Azure Synapse에 로드할 수 있습니다. AzCopy에서 개별 파일, 파일 선택 또는 파일 폴더를 업로드할 수 있습니다. 내보낸 파일이 Parquet 형식이면 대신 원시Parquet 판독기를 사용합니다.

Azure Data Box

Azure Data Box는 마이그레이션 데이터를 복사할 수 있는 독점적인 실제 스토리지 디바이스를 제공하는 Microsoft 서비스입니다. 사용자는 클라우드 스토리지에 데이터를 업로드할 수 있도록 디바이스를 Azure 데이터 센터로 배송합니다. 이 서비스는 대량의 데이터(예: 수십 또는 수백 테라바이트)에서 또는 네트워크 대역폭을 쉽게 사용할 수 없는 경우에 경제적일 수 있습니다. Azure Data Box는 일반적으로 대량 일회성 기록 데이터를 Azure Synapse에 로드하는 데 사용됩니다.

Azure Data Box Gateway

Azure Data Box Gateway는 프레미스에 상주하고 이미지, 미디어 및 기타 데이터를 Azure에 전송하는 가상화된 클라우드 스토리지 게이트웨이 디바이스입니다. 일회성 마이그레이션 작업 또는 진행 중인 증분 데이터 업로드에 Data Box Gateway를 사용합니다.

데이터 수집에 대한 Microsoft 서비스

다음 섹션에서는 Microsoft가 고객의 데이터 수집을 지원하기 위해 제공하는 제품과 서비스를 설명합니다.

COPY INTO

COPY INTO 문은 높은 처리량으로 데이터를 Azure Synapse로 수집할 수 있는 가장 우수한 유연성을 제공합니다. COPY INTO 기능에 대한 자세한 내용은 COPY(Transact-SQL)를 참조하세요.

PolyBase

PolyBase는 대량의 데이터를 Azure Synapse에 로드할 수 있는 가장 빠르고 확장성이 가장 높은 방법입니다. PolyBase는 데이터의 병렬 로드에 Azure Synapse의 MPP(대규모 병렬 처리) 아키텍처를 사용하여 가장 빠른 처리량을 달성합니다. PolyBase는 Azure Blob Storage의 플랫 파일에서 또는 커넥터를 통해 외부 데이터 원본과 다른 관계형 데이터에서 직접 데이터를 읽을 수 있습니다.

팁

PolyBase는 데이터를 Azure Blob Storage에서 Azure Synapse에 병렬로 로드할 수 있습니다.

PolyBase는 gzip으로 압축된 파일에서 직접 읽어 로드 프로세스 중에 데이터의 실제 양을 줄일 수도 있습니다. PolyBase는 구분된 텍스트, ORC 및 Parquet과 같은 인기 있는 데이터 형식을 지원합니다.

팁

마이그레이션 파이프라인의 일부로 Data Factory에서 PolyBase를 호출할 수 있습니다.

PolyBase는 데이터 로드 ETL/ELT 프로세스의 신속한 개발을 지원하도록 Data Factory와 긴밀하게 통합됩니다. 시각적 UI를 통해 데이터 로드 프로세스를 예약하면 코드를 직접 작성하는 경우 보다 생산성이 높고 오류가 적게 발생할 수 있습니다. 데이터를 Azure Synapse로 수집하는 경우, 특히 대용량 데이터 수집에 PolyBase를 사용하는 것이 좋습니다.

PolyBase는 CREATE TABLE AS 또는 INSERT...SELECT 문을 사용하여 데이터를 로드합니다. CREATE TABLE AS는 최고의 처리량을 달성하기 위해 로깅을 최소화합니다. 데이터 로드에 가장 효율적인 입력 형식은 압축된 형태의 구분된 텍스트 파일입니다. 처리량이 극대화될 수 있도록 대용량 입력 파일을 작은 파일 여러 개로 분할하고 병렬로 로드합니다. 준비 테이블에 가장 빠르게 로드할 수 있도록 대상 테이블을 HEAP 형식으로 정의하고 라운드 로빈 배포를 사용합니다.

PolyBase에는 몇 가지 제한 사항이 있습니다. 데이터 행 길이는 1MB 미만이어야 하며 JSON 및 XML과 같은 고정 너비 중첩 형식은 지원되지 않습니다.

Oracle 마이그레이션을 위한 Microsoft 도구

Oracle용 SSMA(SQL Server Migration Assistant)를 사용하여 레거시 온-프레미스 데이터 웨어하우스 플랫폼을 Azure Synapse로 마이그레이션할 수 있습니다.

Oracle 마이그레이션을 위한 Microsoft 파트너

Microsoft 파트너는 레거시 온-프레미스 데이터 웨어하우스 플랫폼을 Azure Synapse으로 마이그레이션하는 데 도움이 되는 도구, 서비스 및 전문 지식을 제공합니다.

다음 단계

최신 데이터 웨어하우스 구현에 대한 자세한 내용은 이 시리즈의 다음 문서인 Microsoft Azure에서 Oracle 마이그레이션을 능가하는 최신 데이터 웨어하우스 구현을 참조하세요.