프리미엄 블록 Blob Storage 계정
프리미엄 블록 Blob 스토리지 계정은 고성능 하드웨어를 통해 데이터를 사용할 수 있게 해줍니다. 데이터는 짧은 대기 시간에 최적화된 SSD(반도체 드라이브)에 저장됩니다. SSD는 기존 하드 드라이브에 비해 더 높은 처리량을 제공합니다. 데이터가 즉시 액세스할 수 있는 메모리 칩에 저장되어 있기 때문에 파일 전송이 훨씬 더 빠릅니다. 드라이브의 모든 부분에 한 번만 액세스할 수 있습니다. 반면 HDD(하드 디스크 드라이브)의 성능은 읽기/쓰기 헤드에 대한 데이터의 근접성에 따라 달라집니다.
고성능 워크로드
프리미엄 블록 Blob Storage 계정은 빠르고 일관된 응답 시간을 요구하거나 초당 IOP(입출력 작업 수)가 많은 워크로드에 이상적입니다. 워크로드의 예는 다음과 같습니다.
대화형 워크로드. 대화형 및 실시간 애플리케이션은 데이터를 빠르게 써야 합니다. 전자상거래 및 매핑 애플리케이션은 종종 즉각적인 업데이트 및 사용자 피드백이 필요합니다. 예를 들어 전자상거래 애플리케이션에서 자주 표시되지 않는 항목은 캐시되지 않을 가능성이 높습니다. 그러나 고객이 요청 시 즉시 표시되어야 합니다. 대화형 편집 또는 다중 플레이어 온라인 게임 애플리케이션은 실시간 업데이트를 제공하여 고품질 환경을 유지 관리합니다.
IoT/스트리밍 분석 IoT 시나리오에서는 매초 소량의 다양한 쓰기 작업을 클라우드에 푸시할 수 있습니다. 대량 데이터를 수집하고 분석 목적으로 집계한 다음 거의 즉각적으로 삭제할 수 있습니다. 프리미엄 블록 Blob 스토리지의 고성능 수집 기능을 사용하면 해당 유형의 워크로드에 대한 효율성을 개선할 수 있습니다.
AI/ML(인공 지능/기계 학습) AI/ML은 시각적 개체, 음성 및 텍스트와 같은 다양한 데이터 형식의 소비와 처리를 다룹니다. 워크로드의 고성능 컴퓨팅 형식은 데이터 분석에 대한 신속한 응답과 효율적인 수집 시간을 필요로 하는 대량의 데이터를 처리합니다.
비용 효과
프리미엄 블록 Blob Storage 계정에는 표준 범용 v2 계정에 비해 더 높은 스토리지 비용과 더 낮은 트랜잭션 비용이 부과됩니다. 애플리케이션 및 워크로드가 많은 수의 트랜잭션을 실행하는 경우 특히 워크로드에 쓰기가 많은 경우 프리미엄 블록 Blob 스토리지는 비용 효율적일 수 있습니다.
대부분의 경우 TPS/TB(테라바이트당 초당) 35~40개 이상의 트랜잭션을 실행하는 워크로드는 이러한 유형의 계정에 적합합니다. 예를 들어 워크로드가 1달에 5억 개의 읽기 작업과 1억 개의 쓰기 작업을 실행하는 경우 다음과 같이 TPS/TB를 계산할 수 있습니다.
초당 트랜잭션 쓰기 = 100,000,000/(30 x 24 x 60 x 60) = 39(가장 가까운 정수로 반올림)
초당 트랜잭션 읽기 = 500,000,000/(30 x 24 x 60 x 60) = 193(가장 가까운 정수로 반올림)
초당 총 트랜잭션 수 = 193 + 39 = 232
계정에 평균적으로 5TB 데이터가 있고 TPS/TB는 230 / 5 = 46이라고 가정합니다.
참고 항목
가격은 작업 및 지역별로 다릅니다. Azure 가격 계산기를 사용하여 표준 성능 계층과 프리미엄 성능 계층 간의 가격을 비교합니다.
다음 표에서는 프리미엄 블록 Blob Storage 계정의 비용 효율성을 보여 줄 수 있습니다. 이 테이블의 숫자는 Azure Data Lake Storage 사용 프리미엄 블록 Blob Storage 계정(Azure Data Lake Storage의 프리미엄 계층이라고도 함)을 기반으로 합니다. 각 열은 한 달의 트랜잭션 수를 나타냅니다. 각 행은 읽은 트랜잭션의 백분율을 나타냅니다. 테이블의 각 셀은 읽기 트랜잭션 백분율 및 실행된 트랜잭션 수와 관련된 비용 감소 백분율을 보여 줍니다.
예를 들어 사용자의 계정이 미국 동부 2 지역에 있고, 계정의 트랜잭션 수가 9,000만을 초과하고, 해당 트랜잭션 중 70%가 읽기 트랜잭션이면 프리미엄 블록 Blob Storage 계정은 더 비용 효율적입니다.
참고 항목
각 TB급 데이터의 초당 트랜잭션 수를 기반으로 비용 효율성을 평가하려는 경우 테이블의 아래쪽에 표시되는 열 제목을 사용할 수 있습니다.
프리미엄 시나리오
이 섹션에는 일부 Azure Storage 파트너가 프리미엄 블록 Blob Storage를 사용하는 실제 예제가 포함되어 있습니다. 그 중 일부는 특정 시나리오에서 트랜잭션 성능을 더욱 향상시킬 수 있는 계층적 파일 구조를 도입하는 Azure Data Lake Storage를 사용하도록 설정합니다.
팁
분석 사용 사례가 있는 경우 프리미엄 블록 Blob Storage 계정과 함께 Azure Data Lake Storage를 사용하는 것이 좋습니다.
이 섹션에는 다음 예제가 포함되어 있습니다.
빠른 데이터 하이드레이션
프리미엄 블록 Blob Storage를 사용하면 환경을 하이드레이션하거나 빠르게 작동시킬 수 있습니다. 은행과 같은 업종에서는 특정 규정 요구에 따라 회사가 정기적으로 해당 환경을 해제한 다음, 처음부터 새로 백업해야 할 수 있습니다. 환경을 하이드레이션하는 데 사용되는 데이터는 빠르게 로드되어야 합니다.
일부 파트너는 매주 MongoDB 인스턴스의 복사본을 프리미엄 블록 Blob Storage 계정에 저장합니다. 그런 다음, 시스템이 해제됩니다. 시스템을 빠르게 다시 온라인으로 되돌리기 위해 MongoDB 인스턴스의 최신 복사본을 읽고 로드합니다. 감사를 위해 이전 복사본은 클라우드 스토리지에 특정 기간 동안 유지 관리됩니다.
대화형 편집 애플리케이션
여러 사용자가 동일한 콘텐츠를 편집하는 애플리케이션에서는 원활한 사용자 환경을 위해 업데이트 속도가 중요합니다.
일부 파트너는 비디오 편집 소프트웨어를 개발하고 있습니다. 사용자가 비디오에 수행하는 모든 업데이트는 다른 사용자에게 즉시 표시됩니다. 사용자는 콘텐츠 업데이트가 표시될 때까지 기다리는 대신 작업에 집중할 수 있습니다. 프리미엄 블록 Blob Storage와 관련된 짧은 대기 시간은 원활한 공동 작업 환경을 만드는 데 도움이 됩니다.
데이터 시각화 소프트웨어
렌더링 시간이 빠르면 사용자는 데이터 시각화 소프트웨어로 훨씬 더 생산적으로 작업할 수 있습니다.
매핑 업계의 회사에서 매핑 편집기를 사용하여 지도 문제를 검색하는 것을 알고 있습니다. 이러한 편집기는 고객 GPS(글로벌 위치 시스템) 데이터에서 생성된 데이터를 사용합니다. 겹치는 맵을 만들기 위해 편집 소프트웨어는 키 조회를 빠르게 수행하여 지도의 작은 구역을 렌더링합니다.
한 사례에서 파트너는 프리미엄 블록 Blob Storage를 사용하기 전에 표준 범용 v2 스토리지에서 지원되는 HBase 클러스터를 사용했습니다. 그러나 대규모 클러스터를 항상 실행하기 위해서는 비용이 많이 들었습니다. 이 파트너는 이 아키텍처를 중단하기로 결정하고, 대신 빠른 키 조회를 위해 프리미엄 블록 Blob Storage를 사용했습니다. 겹치는 맵을 만들기 위해 REST API를 사용하여 GPS 좌표에 해당하는 타일을 렌더링했습니다. 프리미엄 블록 Blob Storage 계정은 비용 효율적인 솔루션을 제공하며 대기 시간이 훨씬 더 쉽게 예측할 수 있도록 했습니다.
전자상거래 비즈니스
전자상거래 비즈니스는 오프라인 상점을 지원하는 것 외에 내부 팀에 데이터 웨어하우징 및 분석 솔루션을 제공할 수 있습니다. 파트너가 프리미엄 블록 Blob Storage 계정을 사용하여 이러한 데이터 웨어하우징 및 분석 솔루션을 통해 짧은 대기 시간 요구를 지원하는 경우를 알고 있습니다. 한 사례에서 카탈로그 팀은 제품, 가격 책정, 배송 방법, 공급업체, 재고 및 물류와 관련된 데이터에 대한 데이터 웨어하우징 애플리케이션을 유지 관리합니다. 정보는 여러 사용 사례를 위해 쿼리되고, 검색되고, 추출되고, 채굴됩니다. 팀은 이 데이터에 대한 분석을 실행하여 다양한 머천다이징 팀에 관련 인사이트 및 정보를 제공합니다.
대화형 가격 분석
거의 모든 산업에서 대기업은 대화형으로 데이터를 쿼리하고 분석해야 합니다.
데이터 과학자, 분석가 및 개발자는 프리미엄 블록 Blob Storage 계정에 저장된 데이터에 대한 쿼리를 실행하여 시간에 중요한 인사이트를 더 빠르게 도출할 수 있습니다. 이러한 대시보드에 나타나는 데이터가 표준 범용 v2 계정 대신, 프리미엄 블록 Blob Storage 계정에서 제공될 때 경영진은 대시보드를 훨씬 더 빠르게 로드할 수 있습니다.
한 사례에서 분석가는 수백만 대의 디바이스에서 가져온 원격 분석 데이터를 빠르게 분석하여 제품이 사용되는 방법을 더 잘 이해하고 제품 릴리스 결정을 내릴 필요가 있었습니다. SQL 데이터베이스에 데이터를 저장하는 데는 비용이 많이 듭니다. 비용을 줄이고 쿼리 가능한 노출 영역을 늘리기 위해 Azure Data Lake Storage 사용 프리미엄 블록 Blob Storage 계정을 사용하고 Presto 및 Spark에서 계산을 수행하여 Hive 테이블에서 인사이트를 생성했습니다. 이러한 방식으로 거의 액세스하지 않는 데이터도 자주 액세스하는 데이터와 동일한 컴퓨팅 성능을 제공합니다.
외부 스토리지에 대한 SQL의 1초 미만 성능과 외부 스토리지에 대한 Presto의 IOP(초당 입출력 작업) 간의 간격을 작게 유지하려면 특히 소형의 ORC(최적화된 행 열) 파일을 처리하는 경우 일관성과 속도가 중요합니다. Data Lake Storage와 함께 사용할 때 프리미엄 블록 Blob Storage 계정은 이 시나리오에서 표준 범용 v2 계정에 비해 3배 성능 향상을 반복적으로 보여 줍니다. 컴퓨팅 머신에서 로컬로 느낄 수 있을 만큼 빠르게 쿼리가 실행되었습니다.
다른 경우 파트너는 해당 보안 솔루션에서 생성된 로그를 저장하고 쿼리합니다. 로그는 Databricks를 사용하여 생성된 다음 Data Lake Storage 사용 프리미엄 블록 Blob Storage 계정에 저장됩니다. 최종 사용자는 Azure Data Explorer를 사용하여 이 데이터를 쿼리하고 검색합니다. 안정성을 높이고 대화형 쿼리의 성능을 높이기 위해 이 유형의 계정을 선택했습니다. 또한 비용 절감에 도움을 주기 위해 수명 주기 관리 Delete Action 정책을 며칠로 설정했습니다. 이 정책을 사용하면 데이터가 영원히 유지될 수 없습니다. 대신 데이터가 더 이상 필요하지 않으면 삭제됩니다.
데이터 처리 파이프라인
거의 모든 산업에서 기업들은 데이터를 처리해야 합니다. 사용자가 의사 결정을 내리는 데 도움이 되는 데이터 대시보드와 같은 도구에서 다운스트림 소비에 유용하게 사용할 수 있도록 여러 원본의 원시 데이터를 정리하고 처리해야 합니다.
데이터 처리 시 처리 속도가 항상 가장 중요하게 걱정되는 것은 아니지만 일부 산업에서는 처리 속도가 필요합니다. 예를 들어 금융 서비스 업계의 기업들은 데이터를 안정적으로 가장 빠른 방법으로 처리해야 하는 경우가 종종 있습니다. 사기를 탐지하기 위해 이러한 기업들은 다양한 원본의 입력을 처리하고, 고객의 위험을 식별하고, 신속한 조치를 취해야 합니다.
경우에 따라 파트너가 여러 표준 스토리지 계정을 사용하여 다양한 원본의 데이터를 저장하는 방법을 확인했습니다. 이 데이터 중 일부는 데이터 처리 애플리케이션이 새로 도착하는 데이터를 자주 읽게 되는 Data Lake Storage 지원 프리미엄 블록 Blob Storage 계정으로 이동됩니다. 이 계정의 디렉터리 목록 호출은 표준 범용 v2 계정에서 수행하는 것보다 훨씬 더 빠르고 일관되게 수행되었습니다. 계정에서 제공하는 속도와 일관성은 항상 다운스트림 처리 시스템에서 가능한 한 빨리 새 데이터를 사용할 수 있도록 보장했습니다. 이렇게 하여 잠재적인 보안 위험을 신속하게 찾아내고 조치를 취할 수 있었습니다.
IoT(사물 인터넷)
IoT는 일상 생활에서 중요한 부분이 되고 있습니다. IoT는 자동차의 움직임을 추적하고, 조명을 제어하고, 상태를 모니터링하는 데 사용됩니다. 또한 산업용 애플리케이션도 있습니다. 예를 들어 기업은 IoT를 사용하여 스마트 공장 프로젝트를 사용하도록 설정하고, 농업 생산물을 개선하며, 예측 유지 관리를 위해 석유 굴착기에도 활용할 수 있습니다. 프리미엄 블록 Blob Storage 계정은 이러한 시나리오에 상당한 가치를 부여합니다.
우리는 광산 업계에 파트너가 있습니다. Data Lake Storage를 사용하면 HDInsight(Hbase)와 함께 프리미엄 블록 Blob Storage 계정을 사용하여 여러 마이닝 장비 유형에서 시계열 센서 데이터를 수집하며 부하 프로필이 매우 부담됩니다. 프리미엄 블록 Blob Storage는 높은 샘플 속도 수집에 대한 요구를 충족하는 데 도움이 되었습니다. 프리미엄 블록 Blob Storage는 많은 수의 쓰기 트랜잭션을 수행하는 워크로드에 맞게 비용 최적화되었으며 이 워크로드가 많은 수의 작은 쓰기 트랜잭션을 생성하기 때문에 비용 효율적입니다(초당 수만 개).
Machine Learning
대부분의 경우 기계 학습 모델을 학습시키기 위해 많은 데이터를 처리해야 합니다. 이 처리를 완료하려면 컴퓨팅 머신을 오랫동안 실행해야 합니다. 스토리지 비용에 비해 컴퓨팅 비용은 일반적으로 청구 비용의 훨씬 더 큰 비율을 차지하므로 컴퓨팅 머신이 실행되는 시간을 줄이면 상당한 비용 절감이 발생할 수 있습니다. 프리미엄 블록 Blob Storage를 사용할 때 대기 시간이 짧아지므로 이 시간과 청구 비용을 크게 줄일 수 있습니다.
기계 학습 및 유추를 실행하는 Spark 클러스터에 데이터 처리 파이프라인을 배포하는 파트너가 있습니다. Spark 테이블(parquet 파일) 및 검사점을 프리미엄 블록 Blob Storage 계정에 저장합니다. Spark 검사점은 많은 수의 중첩된 파일 및 폴더를 만들 수 있습니다. 해당 디렉터리 목록 작업은 프리미엄 블록 Blob Storage 계정의 짧은 대기 시간을 Data Lake Storage에서 사용할 수 있는 계층적 데이터 구조와 결합했기 때문에 빠릅니다.
또한 반도체 산업에서 IoT 및 기계 학습을 교차하는 사용 사례가 있는 파트너도 있습니다. 제조 공장의 머신에 연결된 IoT 디바이스는 반도체 웨이퍼 이미지를 촬영하고 영상을 해당 계정에 전송합니다. 딥 러닝 유추를 사용하여 프로덕션에 문제가 있는 경우와 조치를 취해야 하는 경우 시스템이 온-프레미스 머신에 알릴 수 있습니다. 또한 이미지를 빠르고 안정적으로 로드하고 처리할 수 있습니다. Data Lake Storage 사용 프리미엄 블록 Blob Storage 계정을 사용하면 이를 가능하게 하는 데 도움이 됩니다.
실시간 스트리밍 분석
대화형 분석을 거의 실시간으로 지원하려면 시스템은 많은 양의 데이터를 수집하고 처리한 다음, 다운스트림 시스템에서 해당 데이터를 사용할 수 있도록 해야 합니다. Data Lake Storage 사용 프리미엄 블록 Blob Storage 계정을 사용하는 것은 이러한 유형의 시나리오에 적합합니다.
미디어 및 엔터테인먼트 업계의 기업들은 이벤트를 브로드캐스트할 때 짧은 시간 동안 많은 수의 로그 및 원격 분석 데이터를 생성할 수 있습니다. 일부 파트너는 스트리밍을 위해 여러 CDN(콘텐츠 배달 네트워크) 파트너를 사용했습니다. 파트너가 트래픽을 할당할 CDN을 거의 실시간으로 결정해야 합니다. 따라서 데이터를 수집한 후 몇 초 동안 데이터를 쿼리할 수 있어야 합니다. 이러한 빠른 의사 결정을 용이하게 하기 위해 프리미엄 블록 Blob Storage 내에 저장된 데이터를 사용하여 ADX(Azure Data Explorer)에서 해당 데이터를 처리합니다. 스토리지에 업로드되는 모든 원격 분석은 ADX에서 변환되며, 운영자 및 경영진이 빠르고 안정적으로 쿼리할 수 있는 친숙한 형식으로 저장될 수 있습니다.
데이터는 여러 프리미엄 성능 Blob Storage 계정으로 업로드됩니다. 각 계정은 Event Grid 및 Event Hub 리소스에 연결됩니다. ADX는 Blob Storage에서 데이터를 검색하고, 데이터를 정규화하는 데 필요한 변환을 수행합니다(예: zip 파일 압축 해제 또는 JSON에서 CSV로 변환). 그런 다음, ADX 및 Grafana에 표시된 대시보드를 통해 쿼리에 데이터를 사용할 수 있습니다. Grafana 대시보드는 운영자, 경영진 및 기타 사용자가 사용합니다. 고객은 프리미엄 성능 스토리지에 원래 로그를 유지하거나, 장기 보존 및 향후 분석을 위해 핫 또는 쿨 액세스 계층에 저장할 수 있는 범용 v2 스토리지 계정에 복사합니다.
프리미엄 시작
먼저 좋아하는 Blob Storage 기능이 프리미엄 블록 Blob Storage 계정과 호환되는지 확인한 다음, 계정을 만드세요.
참고 항목
기존 표준 범용 v2 스토리지 계정을 프리미엄 블록 Blob Storage 계정으로 변환할 수 없습니다. 프리미엄 블록 Blob Storage 계정으로 마이그레이션하려면 프리미엄 블록 Blob Storage 계정을 만들고 데이터를 새 계정으로 마이그레이션해야 합니다.
Blob Storage 기능 호환성 확인
일부 Blob Storage 기능이 아직 지원되지 않거나 프리미엄 블록 Blob Storage 계정에서 부분적으로 지원됩니다. 프리미엄을 선택하기 전에 Azure Storage 계정의 Blob Storage 기능 지원 문서를 검토하여 사용하려는 기능이 사용자의 계정에서 완전히 지원되는지 여부를 확인합니다. 기능 지원이 지속적으로 확장되고 있으므로 이 문서의 업데이트를 정기적으로 검토해야 합니다.
새 스토리지 계정 만들기
프리미엄 블록 Blob Storage 계정을 만들려면 계정을 만들 때 프리미엄 성능 옵션 및 블록 유형 계정 유형을 선택해야 합니다.
참고 항목
일부 Blob Storage 기능이 아직 지원되지 않거나 프리미엄 블록 Blob Storage 계정에서 부분적으로 지원됩니다. 프리미엄을 선택하기 전에 Azure Storage 계정의 Blob Storage 기능 지원 문서를 검토하여 사용하려는 기능이 사용자의 계정에서 완전히 지원되는지 여부를 확인합니다. 기능 지원이 지속적으로 확장되고 있으므로 이 문서의 업데이트를 정기적으로 검토해야 합니다.
스토리지 계정을 분석에 사용할 경우 프리미엄 블록 Blob Storage 계정과 함께 Azure Data Lake Storage를 사용하는 것이 좋습니다. Azure Data Lake Storage 기능의 잠금을 해제하려면 스토리지 계정 만들기 페이지의 고급 탭에서 계층 구조 네임스페이스 설정을 사용하도록 설정합니다.
다음 이미지는 스토리지 계정 만들기 페이지의 이 설정을 보여 줍니다.
전체 지침은 스토리지 계정 만들기를 참조하세요.