병렬 데이터 웨어하우스 구성 요소 - 분석 플랫폼 시스템

이 문서에서는 분석 플랫폼 시스템의 어플라이언스 소프트웨어 및 비 어플라이언스 소프트웨어 구성 요소에 대해 설명합니다.

어플라이언스 소프트웨어 - 쿼리 처리 및 사용자 데이터 스토리지

제어 노드

MPP 엔진
MPP 엔진은 MPP(대규모 병렬 처리) 시스템의 두뇌입니다. 메서드는 다음 작업을 수행합니다.

• 병렬 쿼리 계획을 만들고 컴퓨팅 노드에서 병렬 쿼리 실행을 조정합니다.

• 모든 데이터베이스에 대한 메타데이터 및 구성 데이터를 저장하고 조정합니다.

• SQL Server PDW 데이터베이스 인증 및 권한 부여를 관리합니다.

• 하드웨어 및 소프트웨어 상태 추적합니다.

DMS(데이터 이동 서비스)

DMS(데이터 이동 서비스)는 PDW의 "비밀 소스"의 일부입니다. 메서드는 다음 작업을 수행합니다.

• SQL Server PDW 노드 간에 데이터를 전송합니다.

• 노드 간에 데이터를 전송해야 하는 쿼리 작업을 처리합니다.

• 데이터 전송 속도를 최적화하여 쿼리 성능을 향상시킵니다.

관리자 콘솔

관리 콘솔은 어플라이언스 상태, 상태 및 성능 정보를 제공하는 웹 애플리케이션입니다.

구성 관리자

Configuration Manager(dwconfig.exe)는 어플라이언스 관리자가 분석 플랫폼 시스템을 구성하는 데 사용하는 도구입니다.

노드 데이터베이스 제어

SQL Server는 제어 노드의 모든 데이터베이스를 관리합니다.

• Shell 데이터베이스는 모든 분산 사용자 데이터베이스에 대한 메타데이터를 관리합니다.

• TempDB는 어플라이언스 모든 사용자 임시 테이블에 대한 메타데이터를 포함합니다.

• 마스터는 제어 노드의 SQL Server에 대한 마스터 테이블입니다.

노드 컴퓨팅

컴퓨팅 노드는 병렬 데이터 처리 및 스토리지 단위입니다. 직접 연결된 스토리지가 있으며 SQL Server를 사용하여 사용자 데이터를 관리합니다.

DMS(데이터 이동 서비스)

DMS(데이터 이동 서비스)는 각 컴퓨팅 노드에서 실행하여 다음을 수행합니다.

• 병렬 쿼리 처리의 일환으로 DMS는 다른 컴퓨터 노드와 제어 노드 간에 데이터를 전송합니다.

• 각 컴퓨팅 노드에서 실행되는 DMS는 데이터 로드를 병렬로 수신합니다. 데이터는 로드 서버에서 컴퓨팅 노드로 직접 병렬로 로드됩니다.

• DMS는 각 컴퓨팅 노드에서 백업 서버로 직접 데이터를 전송합니다.

• DMS는 PolyBase를 사용하여 외부 Hadoop 클러스터 또는 Azure Storage Blob 간에 데이터를 전송합니다.

컴퓨팅 노드 데이터베이스

각 컴퓨팅 노드는 SQL Server 인스턴스를 실행하여 쿼리를 처리하고 사용자 데이터를 관리합니다.

어플라이언스 패브릭

어플라이언스 패브릭은 어플라이언스 운영 체제, 서비스 및 네트워크 인프라를 제공합니다.

도메인 컨트롤러

AD(Active Directory) Do기본 Services(DS)
Analytics Platform System은 분석 플랫폼 시스템 노드 간에 인증을 수행하고 SQL Server PDW Windows 인증 로그인의 인증을 관리합니다.

DNS 서비스
Windows Do기본 DNS(Name Service)는 분석 플랫폼 시스템 어플라이언스 대한 IP 주소로 이름을 기본 확인합니다.

Windows Deployment Service

WDS(Windows 배포 서비스)는 Windows Server 운영 체제를 어플라이언스 배포합니다. 어플라이언스 전체의 모든 호스트 및 가상 머신에 배포됩니다.

DHCP 서비스는 어플라이언스 내의 호스트가 미리 구성된 IP 주소 없이 어플라이언스 네트워크에 조인할 수 있도록 IP 주소를 만듭니다기본.

Virtual Machine Manager

분석 플랫폼 시스템은 가상화를 사용하여 고가용성을 달성합니다. Virtual Machine Manager는 System Center를 호스트하여 물리적 호스트에 운영 체제를 배포합니다.

WSUS(Windows Server Update Services)를 사용하여 모든 호스트 및 가상 머신에서 Windows 업데이트 적용하거나 제거합니다.

Windows Server

어플라이언스 모든 호스트 및 가상 머신은 Windows Server 운영 체제를 실행합니다.

장애 조치(Failover) 클러스터링

Windows 장애 조치(failover) 클러스터링에서는 호스트가 실패하는 경우 수동 호스트에서 프로세스를 다시 시작하는 기능을 제공합니다.

스토리지 공간

Windows 저장소 공간 작은 컴퓨팅 노드 그룹에 대한 스토리지 풀로 사용자 데이터를 관리합니다. 컴퓨팅 노드가 실패하면 그룹의 다른 Compute 노드를 통해 데이터에 계속 액세스할 수 있습니다.

Hyper-V

Microsoft Hyper-V Server는 간단하고 안정적인 가상화 솔루션을 제공합니다. 분석 플랫폼 시스템은 가상화를 사용하여 CPU 리소스의 균형을 맞추고 PDW 노드 및 어플라이언스 패브릭 구성 요소에 고가용성을 제공합니다.

비관계형 데이터

PolyBase 기술은 SQL Server PDW 데이터를 외부 Hadoop 데이터와 통합합니다. Hadoop 데이터는 다음 Hadoop 데이터 원본에 저장할 수 있습니다.

• Hortonworks Hadoop 배포

• Hadoop의 Cloudera 배포

• Azure Storage Blob에 저장된 HDInsight 데이터

쿼리 도구

쿼리는 쿼리의 MPP 특성에 맞게 수정된 Transact-SQL로 작성됩니다. 모든 쿼리는 제어 노드에 제출되며, 이 노드는 컴퓨팅 노드에서 쿼리를 실행하는 병렬 쿼리 계획을 생성합니다.

SQL Server Data Tools(SSDT)

SQL Server Data Tools는 Visual Studio 내에서 실행되며 SQL Server PDW에 쿼리를 제출하는 데 권장되는 GUI 도구입니다. 개체 탐색기를 탐색할 수 있도록 하여 SQL Server Management Studio와 비슷합니다.

Visual Studio가 아직 없는 경우 필요한 도구를 무료로 다운로드할 수 있습니다.

sqlcmd 명령줄 쿼리 도구

sqlcmd는 Transact-SQL 문 및 시스템 명령을 실행하기 위한 SQL Server 명령줄 도구입니다. SQL Server PDW에서 작동하며 SQL Server PDW를 쿼리하는 데 권장되는 명령줄 도구입니다. sqlcmd를 사용하면 명령줄, 일괄 처리 파일 또는 Windows PowerShell에서 Transact-SQL 문을 대화형으로 실행할 수 있습니다.

Integration Services

Integration Services를 사용하여 SQL Server PDW를 쿼리할 수 있습니다.

연결된 서버

SQL Server 연결된 서버 연결을 사용하여 SQL Server를 사용하여 Sql Server PDW에 Transact-SQL 문을 제출할 수 있습니다.

비즈니스 인텔리전스 도구

Analysis Services

SQL Server PDW는 Analysis Services 데이터베이스 및 Excel PowerPivot 모델에 대한 유효한 데이터 원본입니다. OLE DB 공급자를 사용하여 MOLAP(다차원 온라인 분석 처리) 또는 ROLAP(관계형 온라인 분석 처리) 스토리지를 사용하도록 Analysis Services 큐브를 구성할 수 있습니다.

보고서 작성기

SQL Server PDW는 SQL Server 보고서 작성기 사용하여 Reporting Services용으로 개발한 보고서의 SQL Server 데이터 원본으로 사용할 수 있습니다. 보고서 모델에 SQL Server PDW를 SQL Server 원본으로 사용할 수도 있습니다. 보고서 관리자 또는 보고서 서버 API를 사용하여 SQL Server PDW 데이터베이스에서 모델을 생성할 수 있습니다.

Excel용 파워 피벗

Excel의 데이터 분석 기능을 크게 확장하는 무료 다운로드인 PowerPivot for Excel을 사용하여 SQL Server PDW에 연결할 수 있습니다.

도구 로드

Integration Services

SQL Server Integration Services를 사용하여 PDW(Analytics Platform System)에 데이터를 로드할 수 있는 분석 플랫폼 시스템(PDW) 관련 대상 어댑터를 설치합니다.

dwloader 명령줄 로더

dwloader는 로드 서버에서 SQL Server PDW 컴퓨팅 노드로 병렬로 데이터를 로드하는 명령줄 로드 도구입니다.

Hadoop 통합을 위한 PolyBase

PolyBase 기술을 사용하면 Hadoop 클러스터의 비관계형 데이터를 SQL Server PDW의 관계형 테이블로 로드할 수 있습니다. Hadoop 데이터는 외부 Hadoop 클러스터 또는 Azure Blob Storage에 있을 수 있습니다.

데이터베이스 백업 및 복원

SQL Server PDW는 Transact-SQL 데이터베이스 백업 및 복원 명령을 사용하여 백업 서버와 병렬로 사용자 데이터베이스를 백업하고 복원합니다. SQL Server PDW는 백업을 Windows 파일 공유의 디렉터리에 쓴 다음, 마찬가지로 Windows 파일 공유에서 데이터를 복원합니다.

자세한 내용은 하드웨어 및 백업 및 복원 개요 백업 및 로드 계획을 참조하세요.

원격 테이블 복사

원격 테이블 복사 기능을 사용하면 SQL Server PDW 데이터베이스에서 원격(비 어플라이언스) SMP SQL Server 데이터베이스로 테이블을 복사할 수 있습니다. 이렇게 하면 SQL Server PDW에 대한 허브 및 스포크 시나리오를 사용할 수 있습니다.

모니터링

분석 플랫폼 시스템에는 어플라이언스 작업을 모니터링하는 여러 가지 방법이 있습니다.

관리자 콘솔

관리 콘솔을 사용하면 어플라이언스 상태에 대한 현재 상태 볼 수 있습니다. 컨트롤 노드에서 웹 애플리케이션으로 실행되며 https를 통해 액세스할 수 있습니다.

자세한 내용은 관리 콘솔을 사용하여 어플라이언스 모니터링(분석 플랫폼 시스템)을 참조하세요.

시스템 보기

관리 콘솔은 시스템 보기 쿼리를 기반으로 합니다. 시스템 보기를 개별적으로 쿼리하여 필요한 특정 정보를 가져올 수 있습니다.

자세한 내용은 시스템 뷰를 사용하여 어플라이언스 모니터링(분석 플랫폼 시스템)을 참조 하세요.

System Center Operations Manager

SQL Server PDW용 System Center Operations Manager(SCOM) 관리 팩이 있습니다.

SCOM에 대한 어플라이언스 구성하려면 System Center Operations Manager를 사용하여 어플라이언스 모니터링(분석 플랫폼 시스템)을 참조하세요.