Бөлісу құралы:

Компоненты параллельного хранилища данных — система платформы аналитики

  • Мақала

В этой статье объясняется (модуль) программное обеспечение и компоненты программного обеспечения, отличные от (модуль) платформы Аналитики.

Parallel Data Warehouse software

Программное обеспечение устройства — обработка запросов и служба хранилища пользовательских данных

Управляющий узел

Подсистема MPP
Подсистема MPP — это мозги системы массово параллельной обработки (MPP). Он выполняет следующие действия:

  • Создает параллельные планы запросов и координирует параллельное выполнение запросов на вычислительных узлах.

  • Хранит и координирует метаданные и данные конфигурации для всех баз данных.

  • Управляет проверкой подлинности и авторизацией базы данных SQL Server PDW.

  • Отслеживает состояние оборудования и программного обеспечения.

Служба перемещения данных (DMS)

Служба перемещения данных (DMS) является частью "секретного соуса" PDW. Он выполняет следующие действия:

  • Передает данные на узлы SQL Server PDW и из нее.

  • Обрабатывает операции запроса, требующие передачи данных между узлами.

  • Повышает производительность запросов, оптимизируя скорость передачи данных.

Консоль администрирования

Консоль Администратор — это веб-приложение, представляющее сведения о состоянии (модуль), работоспособности и производительности.

диспетчер конфигураций

Configuration Manager (dwconfig.exe) — это средство, которое (модуль) администраторы используют для настройки системы платформы Аналитики.

Управление базами данных узлов

SQL Server управляет всеми базами данных на узле Control.

  • База данных Shell управляет метаданными для всех распределенных пользовательских баз данных.

  • TempDB содержит метаданные для всех временных таблиц пользователей в (модуль).

  • Master — это главная таблица для SQL Server на узле управления.

Вычислительный узел

Вычислительные узлы — это параллельные единицы обработки и хранения данных. Они имеют прямое присоединенное хранилище и используют SQL Server для управления данными пользователей.

Служба перемещения данных (DMS)

Служба перемещения данных (DMS) выполняется на каждом вычислительном узле, чтобы выполнить следующие действия:

  • В процессе обработки параллельных запросов DMS передает данные на другие узлы компьютера и узел управления.

  • DMS, работающий на каждом вычислительном узле, получает нагрузку данных параллельно. Данные загружаются параллельно с сервера загрузки на вычислительные узлы

  • DMS передает данные из каждого вычислительного узла непосредственно на сервер резервного копирования.

  • Используя PolyBase, DMS передает данные в внешний кластер Hadoop или служба хранилища Azure BLOB-объект.

Базы данных вычислительных узлов

Каждый вычислительный узел запускает экземпляр SQL Server для обработки запросов и управления данными пользователей.

Структура устройства

Структура (модуль) предоставляет операционную систему, службы и сетевую инфраструктуру для (модуль).

Контроллер домена

Доменные службы Active Directory (AD) (DS)
Система платформы Аналитики выполняет проверку подлинности между узлами системы платформы аналитики и управляет проверкой подлинности входа проверки подлинности SQL Server PDW Windows.

Служба DNS
Служба доменных имен Windows (DNS) разрешает доменные имена IP-адреса для (модуль) системы платформы аналитики.

Служба развертывания Windows

Служба развертывания Windows (WDS) развертывает операционную систему Windows Server на (модуль). Он развертывается на каждом узле и виртуальной машине в (модуль).

Служба DHCP создает IP-адреса, чтобы узлы в домене (модуль) могли присоединиться к сети (модуль) без предварительно настроенного IP-адреса.

Virtual Machine Manager

Система платформ аналитики использует виртуализацию для обеспечения высокой доступности. Диспетчер виртуальных машин размещает System Center для развертывания операционной системы на физических узлах.

Службы обновления Windows Server (WSUS) применяют или удаляют Обновл. Windows на всех узлах и виртуальных машинах.

Windows Server

Все узлы и виртуальные машины в (модуль) запускают операционную систему Windows Server.

Отказоустойчивая кластеризация

Отказоустойчивая кластеризация Windows обеспечивает возможность перезапуска процессов на пассивном узле в случае сбоя узла.

Дисковые пространства

Windows дисковые пространства управляет данными пользователей в качестве пула носителей для небольшой группы вычислительных узлов. Если вычислительный узел завершается сбоем, данные по-прежнему доступны с помощью другого вычислительного узла в группе.

Hyper-V

Сервер Microsoft Hyper-V предоставляет простое и надежное решение виртуализации. Система платформы аналитики использует виртуализации для балансировки ресурсов ЦП и обеспечения высокой доступности для узлов PDW и компонентов структуры (модуль).

Нереляционные данные

Технология PolyBase интегрирует данные SQL Server PDW с внешними данными Hadoop. Данные Hadoop можно хранить в любом из следующих источников данных Hadoop:

  • Распределение Hortonworks Hadoop

  • Распределение Cloudera Hadoop

  • Данные HDInsight, хранящиеся в большом двоичном объекте служба хранилища Azure

Средства выполнения запросов

Запросы записываются с помощью Transact-SQL, изменяемых в соответствии с характером MPP запросов. Все запросы отправляются на узел Control, который создает параллельный план запроса для запуска запроса на вычислительных узлах.

SQL Server Data Tools (SSDT)

SQL Server Data Tools выполняется в Visual Studio и является нашим рекомендуемом инструментом графического интерфейса для отправки запросов в SQL Server PDW. Это похоже на SQL Server Management Studio, позволяя перемещаться по обозревателе объектов.

Если у вас еще нет Visual Studio, вы можете скачать необходимые средства бесплатно.

Средство запроса командной строки sqlcmd

sqlcmd — это средство командной строки SQL Server для выполнения инструкций Transact-SQL и системных команд. Он работает с SQL Server PDW и является нашим рекомендуемом средством командной строки для запроса SQL Server PDW. С помощью sqlcmd можно выполнять инструкции Transact-SQL в интерактивном режиме из командной строки, в виде пакетного файла или из Windows PowerShell.

Службы Integration Services

Службы Integration Services можно использовать для запроса SQL Server PDW.

Связанный сервер

С помощью подключения к связанному серверу SQL Server можно использовать SQL Server для отправки инструкций Transact-SQL в SQL Server PDW.

Средства бизнес-аналитики

Службы Analysis Services

SQL Server PDW — допустимый источник данных для баз данных Служб Analysis Services и моделей Excel PowerPivot. С помощью поставщика OLE DB можно настроить куб служб Analysis Services для использования многомерной интерактивной аналитической обработки (MOLAP) или реляционного сетевого аналитического обработки (ROLAP).

Report Builder

Вы можете использовать SQL Server PDW в качестве источника данных SQL Server для отчетов, которые вы разрабатываете для служб Reporting Services с помощью SQL Server построитель отчетов. Вы также можете использовать SQL Server PDW в качестве источника SQL Server для моделей отчетов. С помощью диспетчера отчетов или API сервера отчетов можно создать модель из базы данных SQL Server PDW.

Power Pivot для Excel

Вы можете подключиться к SQL Server PDW с помощью PowerPivot для Excel, бесплатная загрузка, которая значительно расширяет возможности анализа данных Excel.

Средства загрузки

Службы Integration Services

Установите адаптеры назначения для платформы Аналитики (PDW), позволяющие использовать службы SQL Server Integration Services для загрузки данных в систему платформы аналитики (PDW).

Загрузчик командной строки dwloader

Dwloader — это средство загрузки командной строки, которое загружает данные параллельно с сервера загрузки на вычислительные узлы SQL Server PDW.

Интеграция PolyBase для Hadoop

С помощью технологии PolyBase можно загрузить нереляционные данные из кластера Hadoop в реляционную таблицу в SQL Server PDW. Данные Hadoop могут находиться во внешнем кластере Hadoop или в Хранилище BLOB-объектов Azure.

Резервное копирование и восстановление базы данных

SQL Server PDW использует команды резервного копирования и восстановления базы данных Transact-SQL для резервного копирования и восстановления пользовательских баз данных параллельно и с сервера резервного копирования. SQL Server PDW записывает резервную копию в каталог в общей папке Windows, а затем также восстанавливает данные из общей папки Windows.

Дополнительные сведения см. в разделе "Планирование резервного копирования и загрузки оборудованияи резервного копирования и восстановления"

Удаленная копия таблицы

Функция копирования удаленных таблиц позволяет копировать таблицы из баз данных PDW SQL Server в удаленные (не (модуль)) базы данных SQL Server SMP. Это позволяет выполнять центральные и периферийные сценарии для SQL Server PDW.

Наблюдение

Система платформы аналитики имеет несколько способов мониторинга (модуль) действий

Консоль администрирования

Консоль Администратор позволяет просматривать текущее состояние о работоспособности (модуль). Это выполняется как веб-приложение на узле control и доступно по протоколу https.

Дополнительные сведения см. в разделе "Мониторинг устройства" с помощью консоли Администратор (система платформы аналитики)

Системные представления

Консоль Администратор основана на запросах системного представления. Вы можете запрашивать системные представления по отдельности, чтобы получить необходимую информацию.

Дополнительные сведения см. в разделе "Мониторинг устройства с помощью системных представлений " (система платформы аналитики)

System Center Operations Manager

Существуют пакеты управления System Center Operations Manager (SCOM) для SQL Server PDW.

Сведения о настройке (модуль) для SCOM см. в статье "Мониторинг устройства с помощью System Center Operations Manager (система платформы аналитики)