Compartilhar via

Componentes do Parallel Data Warehouse – Analytics Platform System

  • Artigo

Este artigo explica o software de dispositivo e os componentes de software que não são de dispositivo do Analytics Platform System.

Parallel Data Warehouse software

Software de aplicativo - Processamento de consulta e armazenamento de dados do usuário

Nó de Controle

Mecanismo MPP
O mecanismo MPP é cérebro do sistema MPP (Massively Parallel Processing). Ele faz o seguinte:

  • Cria planos de consulta paralelos e coordena a execução de consultas paralelas nos nós de computação.

  • Armazena e coordena metadados e dados de configuração para todos os bancos de dados.

  • Gerencia a autenticação e a autorização do banco de dados do SQL Server PDW.

  • Acompanha o status de hardware e software.

Serviço de movimentação de dados (DMS)

O DMS (serviço de movimentação de dados) faz parte do "ingrediente secreto" do PDW. Ele faz o seguinte:

  • Transfere dados de e para os nós do SQL Server PDW.

  • Processa operações de consulta que exigem a transferência de dados entre os nós.

  • Melhora o desempenho da consulta otimizando as velocidades de transferência de dados.

Console de Administração

O console de administração é um aplicativo Web que apresenta o estado, a integridade e as informações de desempenho do dispositivo.

Configuration Manager

O Configuration Manager (dwconfig.exe) é a ferramenta que os administradores de dispositivo usam para configurar o Analytics Platform System.

Bancos de dados de nó de controle

O SQL Server gerencia todos os bancos de dados no nó de controle.

  • O banco de dados Shell gerencia os metadados de todos os bancos de dados de usuários distribuídos.

  • O TempDB contém os metadados de todas as tabelas temporárias do usuário no dispositivo.

  • Mestre é a tabela mestra do SQL Server no nó de controle.

Nó de Computação

Os nós de computação são unidades paralelas de processamento e armazenamento de dados. Eles têm armazenamento com conexão direta e usam o SQL Server para gerenciar dados do usuário.

Serviço de movimentação de dados (DMS)

O DMS (Serviço de Movimentação de Dados) é executado em cada nó de computação para fazer o seguinte:

  • Como parte do processamento de consultas paralelas, o DMS transfere dados de e para outros nós do computador e do nó de controle.

  • O DMS, em execução em cada nó de computação, recebe carregamento de dados em paralelo. Os dados são carregados em paralelo diretamente do servidor de carregamento para os nós de computação

  • O DMS transfere dados de cada nó de computação diretamente para o servidor de backup.

  • Usando o PolyBase, o DMS transfere dados de e para um cluster Hadoop externo ou Azure Storage Blob.

Bancos de dados de nó de computação

Cada nó de computação executa uma instância do SQL Server para processar consultas e gerenciar dados do usuário.

Malha do dispositivo

A malha do dispositivo fornece o sistema operacional, os serviços e a infraestrutura de rede para o dispositivo.

Controlador de domínio

Active Directory (AD) Domain Services (DS)
O Analytics Platform System executa a autenticação entre os nós do Analytics Platform System e gerencia a autenticação dos logons da Autenticação do Windows do SQL Server PDW.

Serviço DNS
O DNS (Serviço de Nomes de Domínio) do Windows determina nomes de domínio para endereços IP do dispositivo Analytics Platform System.

Serviço de Implantação do Windows

O WDS (Serviço de Implantação do Windows) implanta o sistema operacional do Windows Server no dispositivo. Ele é implantado em todos os hosts e máquinas virtuais do dispositivo.

O serviço DHCP cria endereços IP para que os hosts dentro do domínio do dispositivo possam ingressar na rede do dispositivo sem ter um endereço IP pré-configurado.

Virtual Machine Manager

O Analytics Platform System usa virtualização para obter alta disponibilidade. O Virtual Machine Manager hospeda o System Center para implantar o sistema operacional nos hosts físicos.

Windows Server Update Services (WSUS) para aplicar ou remover atualizações do Windows em todos os hosts e máquinas virtuais.

Windows Server

Todos os hosts e máquinas virtuais no dispositivo executam o sistema operacional do Windows Server.

Clustering de failover

O Clustering de Failover do Windows permite reiniciar processos em um host passivo no caso de falha de um host.

Espaços de Armazenamento

Os Espaços de Armazenamento do Windows gerenciam os dados do usuário como um pool de armazenamento para um pequeno grupo de nós de computação. Se um nó de computação falhar, os dados ainda estarão acessíveis por meio de outro nó de computação no grupo.

Hyper-V

O Microsoft Hyper-V Server fornece uma solução de virtualização simples e confiável. O Analytics Platform System usa virtualizações para equilibrar os recursos da CPU e fornecer alta disponibilidade para os nós do PDW e os componentes da malha do dispositivo.

Dados não relacionais

A tecnologia PolyBase integra dados do SQL Server PDW com dados externos do Hadoop. Os dados do Hadoop podem ser armazenados em qualquer uma destas fontes de dados do Hadoop:

  • Distribuição Hadoop Hortonworks

  • Distribuição Cloudera do Hadoop

  • Dados do HDInsight armazenados no Azure Storage Blob

Ferramentas de consulta

As consultas são gravadas com o Transact-SQL modificado para se ajustar à natureza MPP das consultas. Todas as consultas são enviadas para o nó de controle, que gera um plano de consulta paralelo para executar a consulta nos nós de computação.

SSDT (SQL Server Data Tools)

O SQL Server Data Tools é executado dentro do Visual Studio e é nossa ferramenta GUI recomendada para enviar consultas ao SQL Server PDW. Ele é semelhante ao SQL Server Management Studio, permitindo que você navegue por um pesquisador de objetos.

Se ainda não tiver o Visual Studio, é possível baixar as ferramentas necessárias gratuitamente.

Ferramenta de consulta de linha de comando sqlcmd

O sqlcmd é a ferramenta de linha de comando do SQL Server para executar instruções Transact-SQL e comandos do sistema. Ele funciona com o SQL Server PDW e é nossa ferramenta de linha de comando recomendada para consultar o SQL Server PDW. Com o sqlcmd, você pode executar instruções Transact-SQL de forma interativa pela linha de comando, como um arquivo em lotes, ou pelo Windows PowerShell.

Integration Services

Você pode usar serviços de integração para consultar o SQL Server PDW.

Servidor vinculado

Usando uma conexão de servidor vinculado do SQL Server, você pode usar o SQL Server para enviar instruções Transact-SQL para o SQL Server PDW.

Ferramentas de Business Intelligence

Analysis Services

O SQL Server PDW é uma fonte de dados válida para bancos de dados do Analysis Services e modelos do Excel PowerPivot. Usando o provedor OLE DB, você pode configurar um cubo do Analysis Services para usar o armazenamento MOLAP (processamento analítico online multidimensional) ou o ROLAP (processamento analítico online relacional).

Construtor de Relatórios

Você pode usar o SQL Server PDW como uma fonte de dados do SQL Server para relatórios desenvolvidos para o Reporting Services usando o Report Builder do SQL Server. Você também pode usar o SQL Server PDW como uma fonte do SQL Server para modelos de relatório. Usando o Gerenciador de Relatórios ou a API do servidor de relatório, você pode gerar um modelo de um banco de dados do SQL Server PDW.

Power Pivot para Excel

Você pode se conectar ao SQL Server PDW com o PowerPivot para Excel, um download gratuito que expande de forma significativa os recursos de análise de dados do Excel.

Ferramentas de carregamento

Integration Services

Instale adaptadores de destino específicos do Analytics Platform System (PDW) que permitam usar o SQL Server Integration Services para carregar dados no Analytics Platform System (PDW).

Carregador de linha de comando dwloader

O dwloader é uma ferramenta de carregamento de linha de comando que carrega dados em paralelo do servidor de carregamento para os nós de computação do SQL Server PDW.

Integração com o PolyBase para Hadoop

Com a tecnologia PolyBase, você pode carregar dados não relacionais de um cluster do Hadoop em uma tabela relacional no SQL Server PDW. Os dados do Hadoop podem estar localizados em um cluster do Hadoop externo ou no Armazenamento de Blobs do Azure.

Backup e restauração do banco de dados

O SQL Server PDW usa comandos de backup e restauração do banco de dados Transact-SQL para fazer backup e restaurar bancos de dados do usuário, em paralelo, de e para um servidor de backup. O SQL Server PDW grava o backup em um diretório em um compartilhamento de arquivos do Windows e restaura dados de um compartilhamento de arquivos do Windows.

Para obter mais informações, consulte Planejar backup e carregamento de hardware e Visão geral de backup e restauração

Cópia da tabela remota

O recurso Cópia de Tabela Remota permite copiar tabelas de bancos de dados do SQL Server PDW para bancos de dados remotos (não de dispositivos) de SMP do SQL Server. Isso permite cenários de hub e spoke para o SQL Server PDW.

Monitoramento

O Analytics Platform System tem várias maneiras de monitorar a atividade do dispositivo

Console de Administração

O Console de Administração permite que você visualize o status atual da integridade do dispositivo. Isso é executado como um aplicativo Web no nó de controle e é acessível por https.

Para mais informações, consulte Monitorar o dispositivo usando o Console de Administração (Analytics Platform System)

Exibições do Sistema

O Console de Administração é baseado em consultas de exibição do sistema. Você pode consultar as exibições do sistema de forma inidividual para obter as informações específicas de que precisa.

Para obter mais informações, consulte Monitorar o dispositivo usando exibições do sistema (Analytics Platform System)

System Center Operations Manager

Há Pacotes de Gerenciamento do SCOM (System Center Operations Manager) para SQL Server PDW.

Para configurar o dispositivo para SCOM, consulte Monitorar o dispositivo usando o System Center Operations Manager (Analytics Platform System)