RDRS(로켓® 데이터 복제 및 동기화)(이전의 tcVISION)는 로켓 소프트웨어에서 개발한 데이터 복제본(replica)tion 솔루션입니다. RDRS는 여러 Azure 데이터 플랫폼 서비스에 대한 기본프레임 데이터 복제본(replica), 데이터 동기화, 데이터 마이그레이션 및 CDC(변경 데이터 캡처)를 위한 IBM 기본프레임 통합 솔루션을 제공합니다.
아키텍처
이 아키텍처의 Visio 파일을 다운로드합니다.
워크플로
RDRS 데이터 복제본(replica)tion 솔루션은 IBM Db2, IBM IMS(정보 관리 시스템) DB, 소프트웨어 AG용 Adabas, CA Datacom 및 CA IDMS(컴퓨터 연결 통합 데이터 관리 시스템)를 비롯한 여러 기본 프레임 기반 데이터베이스의 CDC를 지원합니다. RDRS는 레코드 수준에서 변경 데이터를 캡처하는 로그 기반 CDC 에이전트를 제공합니다. 이 로그 기반 CDC는 프로덕션 원본 데이터베이스에 무시할 수 있는 오버헤드를 적용합니다.
RDRS는 VSAM(Virtual Storage Access Method) 파일에서 CDC를 지원합니다.
작업은 메인프레임에서 시작됩니다. 시작된 작업 또는 STC는 RDRS 소프트웨어 설치의 일부로 기본프레임에 만들어집니다. 두 가지 중요 STC는 다음과 같습니다.
- 원본에서 변경된 데이터를 캡처하는 캡처 에이전트.
- DBMS(데이터베이스 관리 시스템) 관련 API를 사용하여 변경된 데이터를 대상에 효율적으로 쓰는 에이전트를 적용합니다.
참고 항목
Db2 z/OS의 경우 RDRS는 STC가 필요하지 않은 Db2 UDT(사용자 정의 형식)를 통해 에이전트 없는 CDC 솔루션을 제공합니다.
OPM(개방형 플랫폼 관리자)은 복제본(replica) 서버 역할을 합니다. 이 서버에는 원본 및 대상에 대한 메타데이터를 생성하기 위한 자동 데이터 매핑 유틸리티가 포함되어 있습니다. 원본에서 데이터를 추출하는 규칙 집합도 포함되어 있습니다. 서버는 대상 시스템의 데이터를 변환 및 처리하고 대상에 데이터를 씁니다. Linux, Unix 및 Windows 운영 체제에 이 구성 요소를 설치할 수 있습니다.
RDRS 대시보드는 데이터 교환 프로세스의 관리, 검토, 작업, 제어 및 모니터링을 제공합니다. RDRS 명령줄 유틸리티는 데이터 교환 프로세스를 자동화하고 데이터 동기화 프로세스의 무인 작업을 관리합니다.
RDRS 적용 에이전트는 DBMS 관련 API를 사용합니다. 이러한 API는 원본의 CDC 기술과 함께 실시간 데이터 변경 내용을 대상 Azure 데이터 서비스로 효율적으로 구현합니다. 즉, 데이터베이스 및 파일을 의미합니다.
RDRS는 변경된 데이터를 Azure Event Hubs 또는 Kafka로 직접 스트리밍할 수 있습니다. 그런 다음, VM(가상 머신)의 Azure Logic Apps, 함수 또는 사용자 지정 솔루션이 이러한 이벤트를 처리합니다.
RDRS에서 지원하는 Azure 데이터 플랫폼 대상에는 Azure SQL Database, Azure Database for PostgreSQL, Azure Database for MySQL, Azure Cosmos DB, Azure Data Lake Storage 등이 있습니다.
Azure 데이터 플랫폼에 있는 데이터는 Azure 서비스 또는 이를 볼 수 있는 다른 플랫폼에서 사용합니다. Power BI, Azure Synapse Analytics 또는 사용자 지정 애플리케이션을 예로 들 수 있습니다.
RDRS는 Azure 데이터베이스 플랫폼(예: SQL Database, Azure Database for MySQL, Azure Database for PostgreSQL 또는 Data Lake Storage)의 캡처 변경 내용을 역방향으로 동기화하고 기본프레임 데이터 계층에 다시 쓸 수 있습니다.
기본프레임 데이터베이스 백업 및 언로드 파일은 대량 로드 처리를 위해 RDRS를 사용하여 Azure VM에 복사됩니다.
RDRS 대량 로드는 기본프레임 원본 데이터를 사용하여 초기 대상 데이터베이스 로드를 수행합니다. 원본 데이터는 기본프레임 데이터 저장소 또는 기본프레임 백업 또는 언로드 파일에서 직접 읽을 수 있습니다. 대량 로드는 확장된 EBCDIC(이진 코드 10진수 교환 코드) 압축 필드와 같은 기본frame 데이터 형식의 자동 변환을 제공합니다. 기본frame 데이터베이스를 직접 읽는 대신 최상의 성능을 위해 백업을 사용하거나 데이터를 언로드합니다. 언로드 또는 백업 데이터를 필수 RDRS Azure VM으로 이동하고 네이티브 데이터베이스 로더를 사용하면 네트워크 입력/출력(I/O)이 최소화되고 로드 시간이 단축되므로 데이터베이스를 직접 읽어서는 안 됩니다.
구성 요소
이 솔루션은 다음 구성 요소를 사용합니다.
네트워킹 및 ID 구성 요소
- Azure ExpressRoute: ExpressRoute를 사용하면 연결 공급자가 처리하는 프라이빗 연결을 통해 온-프레미스 네트워크를 Microsoft 클라우드로 확장할 수 있습니다. ExpressRoute를 사용하여 Microsoft Azure 및 Microsoft 365와 같은 클라우드 서비스에 대한 연결을 설정할 수 있습니다.
- Azure VPN Gateway: VPN Gateway는 공용 인터넷을 통해 Azure 가상 네트워크와 온-프레미스 위치 간에 암호화된 트래픽을 보내는 특정 유형의 가상 네트워크 게이트웨이입니다.
- Microsoft Entra ID: Microsoft Entra ID는 온-프레미스 디렉터리와 동기화할 수 있는 ID 및 액세스 관리 서비스입니다.
애플리케이션 구성 요소
- Logic Apps: Logic Apps는 일정에 따라 자동화된 되풀이 작업 및 프로세스를 만들고 실행하는 데 도움이 됩니다. HTTP 또는 HTTPS 엔드포인트와 같은 Azure 내부 및 외부 서비스를 호출하거나, Azure Storage 및 Azure Service Bus와 같은 Azure 서비스에 메시지를 게시하거나, 파일 공유에 파일을 업로드할 수 있습니다.
- Azure Functions: Azure Functions를 사용하면 애플리케이션 인프라에 대한 걱정 없이 함수라는 작은 코드 조각을 실행할 수 있습니다. Functions를 사용하는 경우 클라우드 인프라는 애플리케이션을 대규모로 실행하는 데 필요한 최신 서버를 제공합니다.
- Azure Virtual Machines: Azure VM은 주문형, 확장 가능한 컴퓨팅 리소스입니다. Azure VM은 가상화의 유연성을 제공하고 물리적 하드웨어의 기본 테넌트 요구를 제거합니다. Azure VM은 Windows 및 Linux 시스템 모두에서 작동합니다.
스토리지 구성 요소
- 스토리지: Storage는 Azure Blob Storage, Azure Table Storage, Azure Queue Storage 및 Azure Files와 같은 관리되지 않는 스토리지 솔루션을 제공합니다. Azure Files는 재설계된 기본프레임 솔루션에 특히 유용하며 관리형 SQL Storage를 사용하여 효과적인 추가 기능을 제공합니다.
- Azure SQL: Azure SQL은 Azure의 SQL Server용 PaaS(완전 관리형 플랫폼 서비스)입니다. 관계형 데이터를 Azure SQL Managed Instance, Azure SQL VM, Azure Database for PostgreSQL, Azure Database for MariaDB 및 Azure Database for MySQL과 같은 다른 Azure 구성 요소와 함께 효율적으로 마이그레이션하고 사용할 수 있습니다.
- Azure Cosmos DB: Azure Cosmos DB는 테이블 형식이 아닌 데이터를 기본 프레임에서 마이그레이션하는 데 사용할 수 있는 NO-SQL 제품입니다.
모니터링 구성 요소
- Azure Monitor: Azure Monitor는 클라우드 및 온-프레미스 환경에서 원격 분석을 수집, 분석 및 처리하기 위한 포괄적인 솔루션을 제공합니다.
- Application Insights: Application Insights는 애플리케이션 원격 분석을 분석하고 제공합니다.
- Azure Monitor 로그: Azure Monitor 로그는 모니터링되는 리소스에서 로그 및 성능 데이터를 수집하고 구성하는 Monitor의 기능입니다. Azure 서비스의 플랫폼 로그, VM 에이전트의 로그 및 성능 데이터, 애플리케이션의 사용량 및 성능 데이터와 같은 여러 원본의 데이터를 단일 작업 영역으로 통합하여 수백만 개의 레코드를 신속하게 분석할 수 있는 정교한 쿼리 언어를 사용하여 함께 분석할 수 있습니다.
- Log Analytics: Log Analytics는 Azure Portal의 도구입니다. 로그 쿼리를 사용하여 Azure Monitor 로그에 수집된 데이터에서 인사이트를 얻을 수 있습니다. Log Analytics는 강력한 쿼리 언어를 사용하여 여러 테이블의 데이터를 조인하고, 큰 데이터 집합을 집계하고, 최소한의 코드로 복잡한 작업을 수행할 수 있습니다.
고려 사항
이러한 고려 사항은 워크로드의 품질을 향상시키는 데 사용할 수 있는 일단의 지침 원칙인 Azure Well-Architected Framework의 핵심 요소를 구현합니다. 자세한 내용은 Microsoft Azure Well-Architected Framework를 참조하세요.
비용 최적화
비용 최적화는 불필요한 비용을 줄이고 운영 효율성을 높이는 방법을 찾는 것입니다. 자세한 내용은 비용 최적화 핵심 요소 개요를 참조하세요. Azure 가격 계산기를 사용하여 이 솔루션 구현 비용을 예상합니다.
안정성
안정성은 애플리케이션이 고객에 대한 약속을 충족할 수 있도록 합니다. 자세한 내용은 디자인 검토 검사 안정성 목록을 참조하세요.
- 고가용성을 제공하기 위해 별도의 가용성 영역에 배포된 Azure VM에 RDRS OPM을 설정합니다. 오류가 발생할 경우 보조 RDRS OPM이 활성화되고 보조 RDRS OPM이 해당 IP 주소를 RDRS 메인프레임 관리자와 통신합니다. 그런 다음 기본frame은 LUW(논리 작업 단위) 및 다시 시작 파일의 조합을 사용하여 다음 논리 다시 시작 지점에서 계속 처리하는 새 RDRS OPM과 통신합니다.
- 중단 또는 계획된 기본 테넌트 창이 있는 경우 보조 노드로 장애 조치(failover)할 수 있도록 영역 중복을 지원하도록 Azure 데이터베이스 서비스를 디자인합니다.
- Azure Monitor 로그 및 Application Insights를 사용하여 Azure 리소스의 상태를 모니터링합니다. 사전 관리를 위한 경고를 설정할 수 있습니다.
확장성
- 여러 병렬 복제본(replica)tion 스트림을 실행하여 CDC 처리를 위한 RDRS 크기 조정을 설정합니다. 먼저 논리 트랜잭션에 포함된 파일을 분석합니다. 이러한 파일은 순서대로 함께 처리해야 합니다. RDRS CDC 프로세스는 각 논리 트랜잭션의 무결성을 보장합니다. 예를 들어 공통 트랜잭션에 참여하지 않는 테이블 세트는 여러 처리 스크립트를 만들어 병렬 작업으로 나눌 수 있습니다.
- RDRS는 단일 Azure VM 또는 여러 Azure VM에서 동시에 병렬 동시 대량 로드 처리를 실행할 수 있으므로 수평적 확장성을 제공합니다. 임의의 간격 또는 행 필터링을 사용하여 프로세스를 여러 작업으로 분할하여 큰 테이블에 대해 빠른 대량 로드 작업을 수행합니다. 행 필터링은 키, 파티션 키, 날짜 및 기타 필터를 사용할 수 있습니다.
- SQL Database 서버리스 컴퓨팅 계층은 워크로드에 따라 자동 크기 조정 옵션을 제공합니다. 다른 Azure 데이터베이스는 워크로드 요구를 충족하기 위해 자동화를 사용하여 확장 및 축소할 수 있습니다.
- 자세한 내용은 Azure의 자동 스케일링 모범 사례를 참조하세요.
보안
우수한 보안은 중요한 데이터 및 시스템에 대한 고의적인 공격과 악용을 방어합니다. 자세한 내용은 보안에 대한 디자인 검토 검사 목록을 참조하세요.
- Microsoft Entra ID를 사용하여 RDRS에 대한 인증 및 액세스를 제어합니다.
- TLS(전송 계층 보안)를 사용하여 RDRS 제품 간의 데이터 전송을 암호화합니다(azure로 기본프레임).
- 온-프레미스 환경에서 Azure에 대한 프라이빗 및 효율적인 연결을 위해 ExpressRoute 또는 사이트간 VPN을 사용합니다.
- Microsoft Entra ID를 사용하여 Azure 리소스를 인증하고 RBAC(역할 기반 액세스 제어)를 사용하여 권한을 관리합니다.
- Azure의 데이터베이스 서비스를 사용하여 TDE(미사용 데이터 암호화), TLS(전송 중인 데이터 암호화), 처리 중 데이터 암호화와 같은 다양한 보안 옵션을 지원하므로 데이터는 항상 암호화됩니다.
- 보안 솔루션을 디자인하는 방법에 대한 지침은 Azure 보안 설명서를 참조 하세요.
- 보안 기준을 확인하려면 Azure에 대한 보안 기준을 참조하세요.
시나리오 정보
메인프레임은 많은 트랜잭션을 처리하는 서버입니다. 메인프레임 애플리케이션은 매일 많은 양의 데이터를 생성하고 사용합니다. 퍼블릭 클라우드는 탄력성, 비용 최적화, 사용 편의성 및 손쉬운 통합을 제공합니다. 많은 x86 및 기본frame 애플리케이션이 클라우드로 이동하므로 조직에는 잘 설계된 기본프레임-클라우드 데이터 통합 및 마이그레이션 전략이 있어야 합니다.
이 시나리오는 Rocket Software에서 제공하는 RDRS를 사용하여 IBM Z(기본frame) 데이터 계층을 Azure 클라우드 데이터 플랫폼과 통합합니다.
잠재적인 사용 사례
이 솔루션은 Azure 데이터 플랫폼으로 대규모 데이터 마이그레이션에 적합합니다. 이 시나리오에 적합한 사용 사례는 다음과 같습니다.
- 기본프레임 데이터 계층의 전체 마이그레이션: 이 사용 사례에서 고객은 모든 Db2, IMS, IDMS, 파일 및 기타 데이터를 기본 프레임에서 Azure 데이터 플랫폼으로 이동하려고 합니다.
- 기본frame 및 Azure 기반 애플리케이션의 공존: 이 사용 사례에서 고객은 기본frame과 Azure 데이터 플랫폼 간의 양방향 동기화를 지원해야 합니다.
- 보관: 이 사용 사례에서 고객은 감사 및 규정 준수를 위해 데이터를 저장하려고 하지만 이 데이터에 자주 액세스하지 않습니다. Storage는 보관 데이터를 저장하는 저렴한 솔루션을 제공합니다.
참가자
Microsoft에서 이 문서를 유지 관리합니다. 원래 다음 기여자가 작성했습니다.
주요 작성자:
- Sandip Khandelwal | Senior Engineering Architect
기타 기여자:
- Liz Casey | Senior Content Developer
비공개 LinkedIn 프로필을 보려면 LinkedIn에 로그인합니다.
다음 단계
- 교육: Azure에서 데이터 플랫폼 설계
- Azure 데이터 엔지니어 팀에 문의하세요.
- Azure 데이터베이스 마이그레이션 가이드
- 교육: SQL Server 마이그레이션 전략 설계
- 마이그레이션 가이드: SQL Server를 Azure SQL 데이터베이스로 마이그레이션