[비용 문의] Azure Cold 계층 데이터의 외부 이전 시 발생하는 데이터 검색 비용 절감 방안

Question

Azure Blob 스토리지 Cold 계층에 저장된 대용량 데이터의 외부 이전(Migration) 비용과 관련하여 문의드립니다.

1. 현황

현재 스토리지: Azure Blob Storage (범용 v2)

데이터 계층: Cold 계층

총 데이터 크기: 약 2.5PB

이전 계획: Azure Cold 계층의 데이터를 AWS S3로 이전 예정

2. 예상 비용 및 문의 내용

Azure 공식 문서에 따르면, Cold 계층의 데이터를 읽을 때(액세스할 때) __데이터 검색(Data Retrieval) 비용__이 발생하는 것으로 확인했습니다.

(참고) "범용 v2 계정에서 더 따뜻한 계층으로 전환하는 경우 읽기 작업(10,000개당) 및 데이터 검색(GB당) 모두에 대한 요금이 청구됩니다." https://learn.microsoft.com/ko-kr/azure/storage/blobs/access-tiers-overview

이를 기준으로 AWS S3로 데이터를 이전(읽기)할 경우, 2.5PB 데이터에 대해 GB당 __$0.03__의 검색 비용이 적용되어 총 $78,643 (약 1억 원)에 달하는 일회성 비용이 발생할 것으로 예상됩니다.

3. 질문

이처럼 대규모 데이터를 이전할 때 발생하는 __데이터 검색 비용($78,643)을 최소화하거나 절감할 수 있는 기술적인 방법, 할인 프로그램 또는 다른 최적의 이전 전략__이 있는지 문의드립니다.

답변 부탁드립니다. 감사합니다.

Answer 1

Hello 김태환

Microsoft Q&A 플랫폼에 질문을 올려주셔서 감사합니다.

Azure Blob Storage Cold tier에서 AWS S3로 2.5 PB를 마이그레이션하면 콜드 계층이 GB당 읽기 작업과 데이터 검색에 대해 비용을 청구하기 때문에 상당한 검색 비용이 발생합니다. 계산($0.03/GB)을 기준으로 한 번의 일회성 비용은 그 규모에서 현실적인 것으로 추정됩니다.

1. 마이그레이션 전에 라이프사이클 관리 사용: 일부 데이터가 더 긴 검색 시간을 견딜 수 있다면, 먼저 아카이브 계층으로 옮기세요. 아카이브 저장소는 용량 비용이 가장 적지만, 복구는 비용이 많이 들고 느립니다. 하지만 마이그레이션이 급하지 않다면 Archive에서 데이터를 스테이지화하고 필요한 것만 선택적으로 재수화할 수 있습니다.

마이그레이션 전에 계층 전환을 자동화하는 라이프사이클 정책을 구현하세요. 이렇게 하면 마이그레이션 시 티어 변경에 불필요한 비용을 피할 수 있습니다.

참고: https://learn.microsoft.com/en-us/azure/storage/blobs/access-tiers-overview

2. 예약 용량 할인: 이전 몇 달간 저장된 대규모 데이터셋의 경우, 콜드 계층(1년 또는 3년 약정)에 예약 용량을 구매하세요. 이는 사용량 지불 방식에 비해 저장 비용을 최대 46%에서 64%까지 절감할 수 있습니다.

참고: https://azure.microsoft.com/en-us/pricing/details/storage/blobs/

3. 검색 작업 최적화: 검색 비용은 10,000 요청당 읽기 작업과 GB당 데이터 전송에 따라 달라집니다. AzCopy나 Storage Mover 같은 대량 작업을 사용해 거래 오버헤드를 최소화하세요.

전송 전에 데이터를 압축해 출구 볼륨을 줄이세요. AWS DataSync는 인라인 압축을 지원하여 Azure 이그레스 요금을 낮출 수 있습니다.

참고문헌: https://aws.amazon.com/blogs/storage/migrating-azure-blob-storage-to-amazon-s3-using-aws-datasync/

4. Azure 마이그레이션 프로그램 활용하기: 마이크로소프트의 스토리지 마이그레이션 프로그램(SMP)은 대규모 마이그레이션을 위한 Komprise, Data Dynamics 같은 무료 파트너 도구를 제공합니다. 이로 인해 회수 수수료가 면제되지는 않지만, 운영 비용을 줄이고 효율성을 높일 수 있습니다.

참고: https://learn.microsoft.com/en-us/azure/storage/solution-integration/validated-partners/data-management/azure-file-migration-program-solutions

5. Azure Data Box를 이용한 오프라인 전송 고려: 페타바이트 규모의 마이그레이션에 있어 Azure Data Box는 네트워크 이그레스보다 비용 효율적일 수 있습니다. 암호화된 디스크를 마이크로소프트에 배송하면 아웃바운드 대역폭 요금이 줄어듭니다.
6. 조기 조기 계획: 이전 전 최소 보존 기간(콜드 티어는 90일)을 준수하여 조기 삭제 페널티를 피하세요.

네트워크 사용률이 낮은 시기에 스케줄을 조회하여 속도 제한과 지연을 방지합니다.

제공된 해결책이 효과가 있었는지 알려 주세요.

추가 도움이 필요하시면 언제든지 연락해 주세요.

감사

수치트라.