Striim을 사용하여 Azure Cosmos DB for NoSQL 계정으로 데이터 마이그레이션

아티클
02/12/2024

적용 대상: NoSQL

Azure Marketplace의 Striim 이미지는 데이터 웨어하우스 및 데이터베이스에서 Azure로의 지속적인 실시간 데이터 이동을 제공합니다. 데이터를 이동하는 동안 인라인 비정규화, 데이터 변환을 수행하고 실시간 분석 및 데이터 보고 시나리오를 사용할 수 있습니다. Striim을 시작하여 엔터프라이즈 데이터를 Azure Cosmos DB for NoSQL로 지속적으로 이동하는 것은 쉽습니다. Azure는 Striim을 쉽게 배포하고 데이터를 Azure Cosmos DB로 마이그레이션할 수 있는 마켓플레이스 제품을 제공합니다.

이 문서에서는 Striim을 사용하여 Oracle Database에서 Azure Cosmos DB for NoSQL 계정으로 데이터를 마이그레이션하는 방법을 보여 줍니다.

필수 조건

Azure 구독이 아직 없는 경우 시작하기 전에 체험 계정을 만듭니다.
일부 데이터가 포함된 온-프레미스에서 실행되는 Oracle 데이터베이스입니다.

Striim 마켓플레이스 솔루션 배포

Azure Portal에 로그인합니다.
리소스 만들기를 선택하고 Azure Marketplace에서 Striim을 검색합니다. 첫 번째 옵션을 선택하고 만듭니다.
다음으로, Striim 인스턴스의 구성 속성을 입력합니다. Striim 환경은 가상 머신에 배포됩니다. 기본 창에서 VM 사용자 이름인 VM 암호를 입력합니다(이 암호는 VM에 SSH하는 데 사용됨). Striim을 배포할 구독, 리소스 그룹 및 위치 세부 정보를 선택합니다. 완료되면 확인을 선택합니다.

Striim 클러스터 설정 창에서 Striim 배포 유형과 가상 머신 크기를 선택합니다.

설정	값	설명
Striim 배포 유형	독립 실행형	Striim은 독립 실행형 또는 클러스터 배포 유형에서 실행할 수 있습니다. 독립 실행형 모드는 단일 가상 머신에 Striim 서버를 배포하고 데이터 볼륨에 따라 VM의 크기를 선택할 수 있습니다. 클러스터 모드는 선택한 크기의 여러 VM에 Striim 서버를 배포합니다. 노드가 2개 이상인 클러스터 환경은 자동 고가용성 및 장애 조치(failover)를 제공합니다. 이 자습서에서는 독립 실행형 옵션을 선택할 수 있습니다. 기본 "Standard_F4s" 크기 VM을 사용합니다.
Striim 클러스터의 이름	<Striim_cluster_Name>	Striim 클러스터의 이름입니다.
Striim 클러스터 암호	<Striim_cluster_password>	클러스터의 암호입니다.

양식을 채운 후 확인을 선택하여 계속합니다.

Striim 액세스 설정 창에서 공용 IP 주소(기본값 선택), Striim의 도메인 이름, Striim UI에 로그인하는 데 사용하려는 관리자 암호를 구성합니다. VNET 및 서브넷을 구성합니다(기본값 선택). 세부 정보를 입력한 후 확인을 선택하여 계속합니다.
Azure는 배포의 유효성을 검사하고 모든 것이 제대로 표시되는지 확인합니다. 유효성 검사를 완료하는 데 몇 분 정도 걸립니다. 유효성 검사가 완료되면 확인을 선택합니다.
마지막으로 사용 약관을 검토하고 만들기를 선택하여 Striim 인스턴스를 만듭니다.

원본 데이터베이스 구성

이 섹션에서는 Oracle 데이터베이스를 데이터 이동의 원본으로 구성합니다. Striim 서버는 Oracle에 연결하는 데 사용되는 Oracle JDBC 드라이버와 함께 제공됩니다. 원본 Oracle 데이터베이스에서 변경 내용을 읽으려면 LogMiner 또는 XStream API 를 사용할 수 있습니다. Oracle JDBC 드라이버는 Oracle 데이터베이스에서 데이터를 읽거나 쓰거나 유지하기 위해 Striim의 Java 클래스 경로에 있습니다.

대상 데이터베이스 구성

이 섹션에서는 Azure Cosmos DB for NoSQL 계정을 데이터 이동 대상으로 구성합니다.

Azure Portal을 사용하여 Azure Cosmos DB for NoSQL 계정을 만듭니다.
Azure Cosmos DB 계정에서 Data Explorer 창으로 이동합니다. 새 컨테이너를 선택하여 새 컨테이너를 만듭니다. Oracle 데이터베이스에서 Azure Cosmos DB로 제품 및 주문 데이터를 마이그레이션한다고 가정합니다. Orders라는 컨테이너가 있는 StriimDemo라는 새 데이터베이스를 만듭니다. 1,000RU(이 예에서는 1,000RU를 사용하지만 워크로드에 대한 예상 처리량을 사용해야 함)와 파티션 키로 /ORDER_ID를 사용하는 컨테이너를 프로비저닝합니다. 이러한 값은 원본 데이터에 따라 달라집니다.

Oracle을 Azure Cosmos DB 데이터 흐름으로 구성

Azure Portal에서 배포한 Striim 인스턴스로 이동합니다. 상단 메뉴 표시줄에서 연결 단추를 선택하고 SSH 탭에서 VM 로컬 계정을 사용하여 로그인 필드에 URL을 복사합니다.
새 터미널 창을 열고 Azure Portal에서 복사한 SSH 명령을 실행합니다. 이 문서에서는 MacOS에서 터미널을 사용합니다. Windows 컴퓨터에서 SSH 클라이언트를 사용하여 유사한 지침을 따를 수 있습니다. 메시지가 표시되면 계속하려면 '예'를 입력하고 이전 단계에서 가상 머신에 대해 설정한 암호를 입력합니다.

동일한 터미널 창에서 다음 명령을 실행하여 Striim 서버를 다시 시작합니다.

systemctl stop striim-node
systemctl stop striim-dbms
systemctl start striim-dbms
systemctl start striim-node

Striim은 시작하는 데 1분이 소요됩니다. 상태 보려면 다음 명령을 실행합니다.
```
tail -f /opt/striim/logs/striim-node.log
```
이제 Azure로 다시 이동하여 Striim VM의 공용 IP 주소를 복사합니다.
Striim의 웹 UI로 이동하려면 브라우저에서 새 탭을 열고 공용 IP를 복사하고 그 뒤에 9080을 입력합니다. Azure Portal에서 지정한 관리자 암호와 함께 관리자 사용자 이름을 사용하여 로그인합니다.
이제 Striim의 홈페이지에 도착합니다. Dashboards, Apps 및 SourcePreview의 세 가지 창이 있습니다. Dashboards 창에서는 실시간으로 데이터를 이동하고 시각화할 수 있습니다. 앱 창에는 스트리밍 데이터 파이프라인 또는 데이터 흐름이 포함됩니다. 페이지의 오른쪽에는 데이터를 이동하기 전에 미리 볼 수 있는 SourcePreview가 있습니다.
앱 창을 선택하면 지금은 이 창에 초점을 맞춥니다. Striim에 대해 학습하는 데 사용할 수 있는 다양한 샘플 앱이 있습니다. 그러나 이 문서에서는 직접 만들겠습니다. 오른쪽 상단에서 앱 추가 단추를 선택합니다.
Striim 애플리케이션을 만드는 방법에는 몇 가지가 있습니다. 기존 템플릿으로 시작하려면 Start with Template을 선택합니다.
검색 템플릿 필드에 "Cosmos"를 입력하고 대상: Azure Cosmos DB를 선택한 다음, Oracle CDC를 Azure Cosmos DB로 선택합니다.
다음 페이지에서 애플리케이션의 이름을 지정합니다. oraToCosmosDB와 같은 이름을 제공한 다음 Save를 선택할 수 있습니다.
다음으로, 원본 Oracle 인스턴스의 원본 구성을 입력합니다. 원본 이름 값을 입력합니다. 원본 이름은 Striim 애플리케이션에 대한 명명 규칙일 뿐이며 src_onPremOracle 같은 것을 사용할 수 있습니다. 원본 매개 변수 URL의 나머지 값인 사용자 이름, 암호를 입력하고, Oracle에서 데이터를 읽을 판독기로 LogMiner를 선택합니다. 다음을 선택하여 작업을 계속할 수 있습니다.
Striim은 환경을 검사 원본 Oracle 인스턴스에 연결할 수 있고, 올바른 권한을 가지며, CDC가 제대로 구성되었는지 확인합니다. 모든 값의 유효성이 검사되면 Next를 선택합니다.
마이그레이션하려는 Oracle 데이터베이스에서 테이블을 선택합니다. 예를 들어 Orders 테이블을 선택하고 다음을 선택하겠습니다.
원본 테이블을 선택한 후 매핑 및 필터링과 같은 더 복잡한 작업을 수행할 수 있습니다. 이 경우 Azure Cosmos DB에서 원본 테이블의 복제본(replica) 만듭니다. 따라서 다음을 선택하여 대상을 구성합니다.
이제 대상을 구성해 보겠습니다.
- 대상 이름 - 대상에 대한 친숙한 이름을 제공합니다.
- 입력 원본 - 드롭다운 목록에서 원본 Oracle 구성에서 만든 입력 스트림을 선택합니다.
- 컬렉션 - 대상 Azure Cosmos DB 구성 속성을 입력합니다. 컬렉션 구문은 SourceSchema.SourceTable, TargetDatabase.TargetContainer입니다. 이 예제에서 값은 "SYSTEM입니다. ORDERS, StriimDemo.Orders".
- AccessKey - Azure Cosmos DB 계정의 PrimaryKey입니다.
- ServiceEndpoint – Azure Cosmos DB 계정의 URI입니다. Azure Portal의 키 섹션에서 찾을 수 있습니다.
Save 및 Next를 선택합니다.
다음으로 흐름 디자이너를 사용합니다. 여기서 스트리밍 애플리케이션을 만들기 위해 기본 제공 커넥터를 끌어서 놓을 수 있습니다. 이 시점에서 흐름을 수정하지 않습니다. 따라서 앱 배포 단추를 선택하여 애플리케이션을 배포 합니다.
배포 창에서 배포 토폴로지의 특정 부분에서 애플리케이션의 특정 부분을 실행할지 여부를 지정할 수 있습니다. Azure를 통해 간단한 배포 토폴로지에서 실행 중이므로 기본 옵션을 사용합니다.
배포 후 스트림을 미리 보고 데이터가 흐르는 것을 볼 수 있습니다. 웨이브 아이콘과 옆에 있는 눈알을 선택합니다. 위쪽 메뉴 모음에서 배포된 단추를 선택하고 앱 시작을 선택합니다.
CDC(변경 데이터 캡처) 판독기를 사용하여 Striim은 데이터베이스에서 새 변경 내용만 선택합니다. 원본 테이블을 통해 흐르는 데이터가 있는 경우 해당 데이터가 표시됩니다. 그러나 데모 테이블이므로 원본이 애플리케이션에 연결되지 않습니다. 샘플 데이터 생성기를 사용하는 경우 Oracle 데이터베이스에 이벤트 체인을 삽입할 수 있습니다.
Striim 플랫폼을 통해 데이터가 흐르는 것을 볼 수 있습니다. Striim은 테이블과 연결된 모든 메타데이터를 선택하므로 데이터를 모니터링하고 데이터가 올바른 대상에 있는지 확인하는 데 유용합니다.
마지막으로 Azure에 로그인하고 Azure Cosmos DB 계정으로 이동하겠습니다. 데이터 탐색기를 새로 고치면 데이터가 도착했음을 알 수 있습니다.

Azure에서 Striim 솔루션을 사용하면 데이터를 지속적으로 Azure Cosmos DB로 마이그레이션(Oracle, Cassandra, MongoDB 등 다양한 원본에서 Azure Cosmos DB로)할 수 있습니다. 자세한 내용은 Striim 웹 사이트를 방문하여 Striim의 무료 30일 평가판을 다운로드하고 Striim으로 마이그레이션 경로를 설정할 때 발생하는 문제에 대해서는 지원 요청을 제출하세요.

다음 단계

Azure Cosmos DB로 마이그레이션하기 위한 용량 계획을 수행하려고 하시나요?
- 기존 데이터베이스 클러스터의 vcore 및 서버 수만 알고 있는 경우 vCore 또는 vCPU를 사용하여 요청 단위를 예측하는 방법에 대해 읽어봅니다.
- 현재 데이터베이스 워크로드에 대한 일반적인 요청 비율을 알고 있는 경우 Azure Cosmos DB 용량 계획 도구를 사용하여 요청 단위 예측에 대해 읽어보세요.
Azure Cosmos DB for NoSQL로 데이터를 마이그레이션하는 경우 Striim을 사용하여 API for Cassandra 계정으로 데이터를 마이그레이션하는 방법을 참조하세요.
Azure Cosmos DB 메트릭을 사용하여 데이터 모니터링 및 디버그