메인프레임 및 미드레인지 데이터 현대화
Apache®, Spark 및 불꽃 로고는 미국 및/또는 기타 국가에서 Apache Software Foundation의 등록 상표 또는 상표입니다. 이러한 표시의 사용은 Apache Software Foundation에 의한 보증을 암시하지 않습니다.
이 문서에서는 메인프레임 및 미드레인지 데이터 원본에 대한 엔드투엔드 현대화 계획을 설명합니다. 현대화는 중요 업무용 워크로드의 확장성 및 성능을 개선하는 데 도움이 됩니다.
건축학
이 아키텍처의 Visio 파일을 다운로드합니다.
데이터 흐름
다음 데이터 흐름은 이전 다이어그램에 해당합니다.
메인프레임 및 미드레인지 시스템은 다음 데이터 원본에 데이터를 저장합니다.
파일 시스템:
- VSAM(Virtual Storage Access 메서드)
- 평면 파일
- 선형 테이프 파일 시스템
관계형 데이터베이스:
- z/OS용 Db2
- IBM i용 Db2
- Linux UNIX 및 Windows용 Db2
비관계형 데이터베이스:
- IMS(정보 관리 시스템)
- 아다바스 주
- IDMS(통합 데이터베이스 관리 시스템)
개체 변환 프로세스는 원본 개체에서 개체 정의를 추출합니다. 그런 다음, 정의가 대상 데이터 저장소의 해당 개체로 변환됩니다.
Db2용 SQL Server Migration Assistant는 IBM Db2 데이터베이스에서 Azure 데이터베이스로 스키마 및 데이터를 마이그레이션합니다.
호스트 파일용 관리되는 데이터 공급자 는 다음을 통해 개체를 변환합니다.
- COBOL(일반적인 비즈니스 지향 언어) 및 보고서 프로그램 생성기 레코드 레이아웃 또는 복사 문서 구문 분석
- .NET 애플리케이션에서 사용하는 C# 개체에 복사 문서를 매핑합니다.
Db2toAzurePostgreSQL 도구는 데이터베이스 개체를 Db2에서 Azure Database for PostgreSQL로 마이그레이션합니다.
파트너 도구는 비관계형 데이터베이스, 파일 시스템 및 기타 데이터 저장소에서 자동화된 개체 변환을 수행합니다.
데이터가 수집 및 변환됩니다. 메인프레임 및 미드레인지 시스템은 파일 시스템 데이터를 EBCDIC로 인코딩된 형식으로 다음과 같은 파일 형식으로 저장합니다.
COBOL, 프로그래밍 언어 1 및 어셈블리 언어 복사 문서는 이러한 파일의 데이터 구조를 정의합니다.
a. FTP(파일 전송 프로토콜)는 메인프레임 및 미드레인지 파일 시스템 데이터 세트와 해당 카피북을 Azure로 전송합니다. 이러한 데이터 세트에는 단일 레이아웃과 이진 형식의 압축 해제 필드가 있습니다.
b. 데이터 변환은 호스트 통합 서버의 호스트 파일 구성 요소를 사용하거나 Azure Logic Apps에서 IBM 호스트 파일용 기본 제공 커넥터를 사용하여 사용자 지정 프로그램을 개발하여 수행됩니다.
Spark Notebook 변환기는 오픈 소스 Spark 프레임워크를 사용하여 개발됩니다. Microsoft Fabric, Azure Synapse Analytics 및 Azure Databricks와 같은 Spark 환경과 호환됩니다.
다. 관계형 데이터베이스 데이터가 마이그레이션됩니다.
IBM 메인프레임 및 미드레인지 시스템은 다음과 같은 관계형 데이터베이스에 데이터를 저장합니다.
다음 서비스는 데이터베이스 데이터를 마이그레이션합니다.
- Azure Data Factory는 Db2 커넥터를 사용하여 데이터베이스에서 데이터를 추출하고 통합합니다.
- SQL Server Integration Services는 다양한 데이터 추출, 변환 및 로드 작업을 처리합니다.
- Fabric Data Factory는 IBM Db2 커넥터를 사용하여 Db2 데이터를 마이그레이션합니다.
다. 비관계형 데이터베이스 데이터가 마이그레이션됩니다.
IBM 메인프레임 및 미드레인지 시스템은 다음과 같은 비관계형 데이터베이스에 데이터를 저장합니다.
파트너 제품은 이러한 데이터베이스의 데이터를 통합합니다.
Azure Data Factory 및 AzCopy 와 같은 Azure 도구는 Azure 데이터베이스 및 Azure 데이터 스토리지에 데이터를 로드합니다. 파트너 솔루션 및 사용자 지정 로드 솔루션을 사용하여 데이터를 로드할 수도 있습니다.
Azure는 Azure SQL Database와 같은 완전 관리형 관계형 데이터베이스 서비스 및 Azure Cosmos DB와 같은 NoSQL 옵션을 포함하여 다양한 데이터베이스 서비스를 제공합니다. 이러한 서비스는 확장성, 유연성 및 글로벌 배포를 위해 설계되었습니다.
또한 Azure는 구조화되지 않은 데이터에 대한 Azure Blob Storage 및 완전 관리형 파일 공유를 위한 Azure Files를 비롯한 다양한 스토리지 솔루션을 제공합니다.
Azure 서비스는 컴퓨팅, 분석, 스토리지 및 네트워킹에 현대화된 데이터 계층을 사용합니다.
또한 클라이언트 애플리케이션은 현대화된 데이터 계층을 사용합니다.
구성 요소
이 아키텍처는 다음 구성 요소를 사용합니다.
데이터 스토리지
이 아키텍처는 Azure에서 유연하고 지능적인 데이터 관리를 위해 데이터를 확장 가능하고 안전한 클라우드 스토리지 및 관리형 데이터베이스로 마이그레이션하는 방법을 설명합니다.
SQL Database 는 Azure SQL 제품군의 일부입니다. 클라우드용으로 설계되었으며 PaaS(완전 관리형 및 상록 플랫폼 as a Service)의 모든 이점을 제공합니다. SQL Database는 성능과 내구성을 최적화하는 AI 기반의 자동화된 기능도 제공합니다. 서버리스 컴퓨팅 및 하이퍼스케일 스토리지 옵션은 요청 시 리소스의 크기를 자동으로 조정합니다.
Azure Database for PostgreSQL 은 오픈 소스 PostgreSQL 데이터베이스 엔진의 커뮤니티 버전을 기반으로 하는 완전 관리형 관계형 데이터베이스 서비스입니다.
Azure Cosmos DB 는 전역적으로 분산된 다중 모델NoSQL 데이터베이스입니다.
Azure Database for MySQL 은 오픈 소스 MySQL 데이터베이스 엔진의 커뮤니티 버전을 기반으로 하는 완전 관리형 관계형 데이터베이스 서비스입니다.
SQL Managed Instance 는 완전 관리형 및 상록 PaaS의 모든 이점을 제공하는 지능적이고 확장 가능한 클라우드 데이터베이스 서비스입니다. SQL Managed Instance는 최신 SQL Server Enterprise Edition 데이터베이스 엔진과 거의 완벽하게 호환됩니다. 또한 일반적인 보안 문제를 해결하는 네이티브 가상 네트워크 구현을 제공합니다.
Azure Data Lake Storage 는 기본 원시 형식으로 대량의 데이터를 보유하는 스토리지 리포지토리입니다. 데이터 레이크 저장소는 테라바이트 및 페타바이트 데이터 크기 조정에 최적화되어 있습니다. 데이터는 일반적으로 여러 다른 유형의 원본에서 제공됩니다. 구조화되거나, 반구조화되거나, 구조화되지 않을 수 있습니다.
Microsoft Fabric의 SQL 데이터베이스 는 SQL Database를 기반으로 하는 개발자 친화적인 트랜잭션 데이터베이스입니다. 이를 사용하여 패브릭에서 운영 데이터베이스를 쉽게 만들 수 있습니다. 패브릭의 SQL 데이터베이스는 SQL Database와 동일한 SQL 데이터베이스 엔진을 사용합니다.
Microsoft Fabric Lakehouse 는 구조화되고 구조화되지 않은 데이터를 단일 위치에 저장, 관리 및 분석하기 위한 데이터 아키텍처 플랫폼입니다.
컴퓨팅
Azure Data Factory는 컴퓨팅 인프라인 IR(통합 런타임)을 사용하여 여러 네트워크 환경에 데이터를 통합합니다. Azure Data Factory는 자체 호스팅 RS를 사용하여 온-프레미스 네트워크의 클라우드 데이터 저장소와 데이터 저장소 간에 데이터를 복사합니다.
온-프레미스 데이터 게이트웨이는 로컬에 설치된 Windows 클라이언트 애플리케이션으로, Microsoft Cloud의 로컬 온-프레미스 데이터 원본과 서비스 간의 브리지 역할을 합니다.
Azure Virtual Machines 는 주문형, 확장 가능한 컴퓨팅 리소스를 제공합니다. Azure VM(가상 머신)은 가상화의 유연성을 제공하지만 물리적 하드웨어의 유지 관리 요구를 제거합니다. Azure VM은 Windows 및 Linux를 비롯한 운영 체제를 선택할 수 있습니다.
데이터 통합자
이 아키텍처는 메인프레임 원본 데이터 및 대상 데이터베이스에 따라 사용하는 다양한 Azure 네이티브 마이그레이션 도구를 간략하게 설명합니다.
Azure Data Factory 하이브리드 데이터 통합 서비스입니다. 이 솔루션에서 Azure Data Factory는 네이티브 커넥터를 사용하여 Db2 원본에서 Azure 데이터베이스 대상으로 데이터를 마이그레이션합니다.
AzCopy 는 Blob 또는 파일을 스토리지 계정 내/외부로 이동하는 명령줄 유틸리티입니다.
SQL Server Integration Services 는 엔터프라이즈 수준 데이터 통합 및 변환 솔루션을 만들기 위한 플랫폼입니다. 다음을 통해 복잡한 비즈니스 문제를 해결하는 데 사용할 수 있습니다.
- 파일 복사 또는 다운로드
- 데이터 웨어하우스 로드
- 데이터 정리 및 마이닝
- SQL Server 개체 및 데이터 관리
Host Integration Server 기술 및 도구는 기존 IBM 호스트 시스템, 프로그램, 메시지 및 데이터를 Azure 애플리케이션과 통합할 수 있습니다. 호스트 파일 클라이언트 구성 요소는 EBCDIC에서 ASCII로 변환된 데이터에 대한 유연성을 제공합니다. 예를 들어 변환된 데이터에서 JSON 또는 XML 형식으로 데이터를 생성할 수 있습니다.
Azure Synapse Analytics 는 데이터 통합, 엔터프라이즈 데이터 웨어하우징 및 빅 데이터 분석을 결합합니다. 이 아키텍처는 Azure Synapse Analytics 변환 솔루션을 사용합니다. Apache Spark를 기반으로 하며 대규모 메인프레임 데이터 세트 워크로드 변환에 적합한 후보입니다. 광범위한 메인프레임 데이터 구조와 대상을 지원하며 최소한의 코딩 작업이 필요합니다.
Microsoft Fabric 은 엔터프라이즈급 엔드 투 엔드 분석 플랫폼입니다. 데이터 이동, 데이터 처리, 수집, 변환, 실시간 이벤트 라우팅 및 보고서 빌드를 통합합니다. 다음 통합 서비스를 사용하여 이러한 기능을 지원합니다.
- 패브릭 데이터 엔지니어
- 패브릭 데이터 팩토리
- 패브릭 데이터 과학
- 패브릭 Real-Time 인텔리전스
- 패브릭 데이터 웨어하우스
- 패브릭 데이터베이스
기타 도구
Db2용 SQL Server Migration Assistant는 Db2 에서 Microsoft 데이터베이스 서비스로의 마이그레이션을 자동화합니다. 이 도구는 VM에서 실행되면 Db2 데이터베이스 개체를 SQL Server 데이터베이스 개체로 변환하고 SQL Server에서 해당 개체를 만듭니다.
호스트 파일용 데이터 공급자 는 오프라인, SNA 또는 TCP/IP 연결을 사용하는 호스트 통합 서버 의 구성 요소입니다.
- 오프라인 연결을 사용하면 데이터 공급자가 로컬 이진 파일에서 레코드를 읽고 씁니다.
- SNA 및 TCP/IP 연결을 사용하면 데이터 공급자는 원격 z/OS(IBM Z 시리즈 메인프레임) 데이터 세트 또는 원격 i5/OS(IBM AS/400 및 iSeries 시스템) 물리적 파일에 저장된 레코드를 읽고 씁니다. i5/OS 시스템만 TCP/IP를 사용합니다.
Azure 서비스는 퍼블릭 클라우드에서 새 애플리케이션을 개발하고 크기 조정하기 위한 환경, 도구 및 프로세스를 제공합니다.
시나리오 세부 정보
Azure 데이터 플랫폼과 같은 최신 데이터 스토리지 솔루션은 메인프레임 및 미드레인지 시스템보다 더 나은 확장성과 성능을 제공합니다. 시스템을 현대화하면 이러한 이점을 활용할 수 있습니다. 그러나 기술, 인프라 및 사례를 업데이트하는 것은 복잡합니다. 이 프로세스에는 비즈니스 및 엔지니어링 활동에 대한 철저한 조사가 포함됩니다. 데이터 관리는 시스템을 현대화할 때 고려해야 할 사항 중 하나입니다. 또한 데이터 시각화 및 통합도 살펴봐야 합니다.
성공적인 현대화는 데이터 우선 전략을 사용합니다. 이 방법을 사용하면 새 시스템이 아닌 데이터에 집중합니다. 데이터 관리는 더 이상 현대화 검사 목록의 항목이 아닙니다. 대신 데이터가 중심입니다. 조정된 품질 지향 데이터 솔루션은 조각화되고 제대로 관리되지 않는 데이터 솔루션을 대체합니다.
이 솔루션은 데이터 우선 접근 방식에서 Azure 데이터 플랫폼 구성 요소를 사용합니다. 특히 솔루션에는 다음이 포함됩니다.
개체 변환입니다. 원본 데이터 저장소에서 대상 데이터 저장소의 해당 개체로 개체 정의를 변환합니다.
데이터 수집. 원본 데이터 저장소에 연결하고 데이터를 추출합니다.
데이터 변환. 추출된 데이터를 적절한 대상 데이터 저장소 구조로 변환합니다.
데이터 스토리지. 원본 데이터 저장소에서 대상 데이터 저장소로 데이터를 로드합니다.
잠재적인 사용 사례
메인프레임 및 미드레인지 시스템을 사용하는 조직은 특히 다음을 원할 때 이 솔루션을 활용할 수 있습니다.
중요 업무용 워크로드를 현대화합니다.
비즈니스 인텔리전스를 획득하여 운영을 개선하고 경쟁 우위를 확보합니다.
메인프레임 및 미드레인지 데이터 저장소와 연결된 높은 비용 및 강성을 제거합니다.
고려 사항
이러한 고려 사항은 워크로드의 품질을 향상시키는 데 사용할 수 있는 일련의 기본 원칙인 Azure Well-Architected Framework의 핵심 요소를 구현합니다. 자세한 내용은 Well-Architected Framework를 참조하세요.
안전
보안은 의도적인 공격 및 중요한 데이터 및 시스템의 오용에 대한 보증을 제공합니다. 자세한 내용은 보안성에 대한 디자인 검토 검사 목록을 참조하세요.
Azure의 온-프레미스 클라이언트 ID와 클라이언트 ID 간의 차이점에 유의하세요. 차이점을 보완해야 합니다.
구성 요소-구성 요소 데이터 흐름에 관리 ID 를 사용합니다.
호스트 파일용 데이터 공급자를 사용하여 데이터를 변환하는 경우 호스트 파일 보안 및 보호를 위한 데이터 공급자의 권장 사항을 따릅니다.
비용 최적화
비용 최적화는 불필요한 비용을 줄이고 운영 효율성을 개선하는 방법에 중점을 둡니다. 자세한 내용은 비용 최적화를 위한 디자인 검토 검사 목록을 참조하세요.
SQL Server Migration Assistant는 Db2에서 SQL Server, SQL Database 및 SQL Managed Instance로의 데이터베이스 마이그레이션을 간소화하는 무료 지원 도구입니다. SQL Server Migration Assistant는 마이그레이션 평가 분석, 스키마 및 SQL 문 변환 및 데이터 마이그레이션을 포함하여 마이그레이션의 모든 측면을 자동화합니다.
Azure Synapse Analytics Spark 기반 솔루션은 오픈 소스 라이브러리에서 빌드됩니다. 라이선스 변환 도구의 재정적 부담을 없앨 수 있습니다.
Azure 가격 계산기를 사용하여 이 솔루션 구현 비용을 예상합니다.
성능 효율성
성능 효율성은 사용자 요구를 효율적으로 충족하기 위해 워크로드의 크기를 조정하는 기능을 의미합니다. 자세한 내용은 성능 효율성에 대한 디자인 검토 검사 목록을 참조하세요.
성능 효율성의 핵심 핵심 요소는 성능 관리, 용량 계획, 확장성 및 적절한 성능 패턴 선택입니다.
논리 인스턴스를 활성-활성 모드의 여러 온-프레미스 머신과 연결하여 자체 호스팅 IR을 확장 할 수 있습니다.
SQL Database를 사용하여 데이터베이스 크기를 동적으로 조정합니다. 서버리스 계층은 컴퓨팅 리소스의 크기를 자동으로 조정할 수 있습니다. 탄력적 풀을 사용하면 데이터베이스가 풀의 리소스를 공유할 수 있으며 수동으로만 크기를 조정할 수 있습니다.
호스트 파일용 데이터 공급자 클라이언트를 사용하여 데이터를 변환하는 경우 연결 풀링을 켜 서 연결 시작 시간을 줄입니다. Azure Data Factory를 사용하여 데이터를 추출하는 경우 복사 작업의 성능을 조정합니다.
기여자
Microsoft는 이 문서를 유지 관리합니다. 다음 기여자는 이 문서를 작성했습니다.
대표 저자:
- 아시쉬 칸델왈 | 수석 엔지니어링 설계자 관리자
기타 기여자:
- Nithish Aruldoss | 엔지니어링 설계자
LinkedIn 비공개 프로필을 보려면, LinkedIn에 로그인하세요.
다음 단계
Azure 데이터베이스 마이그레이션 가이드를 검토합니다. 자세한 내용은 Azure Data Engineering - 메인프레임 및 미드레인지 현대화 에 문의하세요.
다음 문서를 참조하세요.