HDInsight를 사용하는 경우
HDInsight의 가장 큰 장점은 서비스에서 제공하는 다양한 구성의 범위입니다. 이를 통해 다양한 워크로드를 지원할 수 있습니다. 해당 워크로드에는 데이터 일괄 처리, 스트리밍 데이터 작업 또는 데이터 웨어하우스 및/또는 데이터 과학 워크로드 관리가 포함될 수 있습니다. 이 기능 덕분에 특히 비즈니스 프로세스에 여러 워크로드를 포함하는 경우 HDInsight는 주목할 만한 선택이 됩니다.
예를 들어 조직에서 Power BI를 통해 기록 보고서를 제공하기 위해 데이터 웨어하우스를 빌드하는 경우 Power BI와 함께 Azure SQL Data Warehouse를 사용하는 것이 실용적일 수 있습니다. 마찬가지로, 조직에서 데이터 과학 솔루션을 사용하여 고급 분석만 수행하는 경우에는 Azure Databricks만 사용하는 것이 적절할 수 있습니다.
그러나 조직의 워크로드에 기록 보고 및 고급 분석을 위한 데이터 수집이 포함되고 분석이 필요한 스트리밍 데이터가 있는 경우 HDInsight는 실용적인 선택입니다. 모든 데이터를 단일 Data Lake 위치로 수집할 수 있습니다. 그런 다음, 올바른 HDInsight 구성을 사용하여 일괄 처리, 데이터 웨어하우징, 데이터 과학 작업 및 스트리밍 워크로드를 관리할 수 있습니다. 컴퓨팅과 스토리지가 분리되어 있으므로 동일한 데이터를 기반으로 이 작업을 원활하게 수행할 수 있습니다. 또한 작업이 여러 개가 아닌 단일 데이터 저장소에서 수행되므로 스토리지 비용이 최소화됩니다.
HDInsight 차이점
위에 설명된 시나리오에 추가됩니다. 다음은 HDInsight를 빅 데이터 워크로드에 적합하게 만드는 주요 차이점입니다.
- 개별적으로 확장성 있는 컴퓨팅 및 스토리지
- 워크로드 또는 일정에 따라 작업자 노드 크기 자동 조정
- 마스터 노드의 유연성 및 내결함성
- 엔터프라이즈 보안
- SDK
워크로드 또는 일정에 따른 자동 클러스터 크기 조정과 함께 컴퓨팅 및 스토리지를 분리하면 상당한 비용이 최적화될 수 있습니다. HDInsight의 마스터 노드는 오류 복원력이 뛰어납니다. 마스터 노드는 99.9%의 SLA를 포함하는 고가용성 서비스를 제공하는 내결함성 가상 머신에서 지원됩니다. Microsoft Entra 통합에는 인증 및 권한 부여의 엔터프라이즈 보안 기능이 포함됩니다. 암호화 및 가상 네트워크 지원과 함께 이 기능을 사용하면 데이터에 액세스할 수 있는 사용자를 세부적으로 제어할 수 있습니다. HDInsight는 다양한 IDE에서 여러 언어로 클러스터를 만들고 개발할 수 있는 다양한 SDK에서 지원됩니다.