Security, access, and operations for Netezza migrations

Эта статья является частью трех из семи частей серии, которая содержит рекомендации по миграции из Netezza в Azure Synapse Analytics. В центре внимания этой статьи — рекомендации по операциям безопасного доступа.

Вопросы безопасности

В этой статье рассматриваются методы подключения для существующих устаревших сред Netezza и их перенос в Azure Synapse Analytics с минимальным риском и воздействием пользователей.

В этой статье предполагается, что вам требуется перенести существующие методы подключения, а также структуру пользователей, ролей и разрешений в исходном виде. Если это не так, используйте портал Azure для создания нового режима безопасности и управления им.

Дополнительные сведения о параметрах безопасности Azure Synapse см. в техническом документе по безопасности.

Подключение и проверка подлинности

Подсказка

Проверка подлинности в Netezza и Azure Synapse может быть "в базе данных" или через внешние методы.

Параметры авторизации Netezza

Система IBM Netezza предлагает несколько методов проверки подлинности для пользователей базы данных Netezza:

• Локальная проверка подлинности: администраторы Netezza определяют пользователей базы данных и пароли с помощью CREATE USER команды или через административные интерфейсы Netezza. В локальной проверке подлинности используйте систему Netezza для управления учетными записями и паролями базы данных, а также для добавления и удаления пользователей базы данных из системы. Этот метод является методом проверки подлинности по умолчанию.

• Проверка подлинности LDAP: используйте сервер имен LDAP для проверки подлинности пользователей базы данных и управления паролями, активацией учетной записи базы данных и деактивацией. Система Netezza использует подключаемый модуль проверки подлинности (PAM) для проверки подлинности пользователей на сервере имен LDAP. Microsoft Active Directory соответствует протоколу LDAP, поэтому его можно рассматривать как сервер LDAP для проверки подлинности LDAP.

• Проверка подлинности Kerberos: используйте сервер распространения Kerberos для проверки подлинности пользователей базы данных и управления паролями, активацией учетной записи базы данных и деактивацией.

Проверка подлинности — это системный параметр. Пользователи должны проходить локальную проверку подлинности или проходить проверку подлинности с помощью метода LDAP или Kerberos. Если вы выбираете аутентификацию LDAP или Kerberos, создайте пользователей с использованием метода локальной аутентификации для каждого из них. Протокол LDAP и Kerberos нельзя использовать одновременно для проверки подлинности пользователей. Узел Netezza поддерживает проверку подлинности LDAP или Kerberos только для входа пользователей в базу данных, а не для входа в операционную систему на этом узле.

Параметры авторизации Azure Synapse

Azure Synapse поддерживает два основных варианта подключения и авторизации:

• Проверка подлинности SQL. Проверка подлинности SQL осуществляется через подключение к базе данных, включающее идентификатор базы данных, идентификатор пользователя и пароль, а также дополнительные параметры. Это функционально эквивалентно локальным подключениям Netezza.

• Проверка подлинности Microsoft Entra: с помощью проверки подлинности Microsoft Entra можно централизованно управлять удостоверениями пользователей базы данных и службами Майкрософт в одном месте. Централизованное управление идентификаторами предоставляет единое место для управления пользователями Azure Synapse и упрощение управления разрешениями. Идентификатор Microsoft Entra также может поддерживать подключения к службам LDAP и Kerberos, например идентификатор Microsoft Entra можно использовать для подключения к существующим каталогам LDAP, если они останутся на месте после миграции базы данных.

Пользователи, роли и разрешения

Обзор

Подсказка

Высокоуровневое планирование имеет важное значение для успешного проекта миграции.

Netezza и Azure Synapse реализуют управление доступом к базе данных с помощью сочетания пользователей, ролей (групп в Netezza) и разрешений. Используйте стандартные инструкции SQL CREATE USER и CREATE ROLE/GROUP для определения пользователей и ролей, а также инструкции GRANT и REVOKE для назначения или удаления разрешений для этих пользователей и/или ролей.

Подсказка

Автоматизация процессов миграции рекомендуется для сокращения временных затрат и минимизации потенциальных ошибок.

Концептуально две базы данных похожи, и возможно автоматизировать миграцию существующих идентификаторов пользователей, групп и разрешений в определённой степени. Перенос таких данных путем извлечения существующих устаревших сведений о пользователях и группах из таблиц системного каталога Netezza и создания эквивалентных инструкций CREATE USER и CREATE ROLE, которые будут выполняться в Azure Synapse, чтобы воссоздать ту же иерархию пользователей/ролей.

After data extraction, use Netezza system catalog tables to generate equivalent GRANT statements to assign permissions (where an equivalent one exists). На следующей схеме показано, как использовать существующие метаданные для создания необходимых SQL.

Дополнительные сведения см. в следующих разделах.

Пользователи и роли

Подсказка

Для миграции хранилища данных требуются не только таблицы, представления и инструкции SQL.

Сведения о текущих пользователях и группах в системе Netezza хранятся в представлениях _v_users системного каталога и _v_groupusers. Используйте утилиту nzsql или такие инструменты, как Netezza Performance, NzAdmin или служебные скрипты Netezza Utility, чтобы получить список привилегий пользователей. Например, используйте команды dpu и dpgu в nzsql для отображения пользователей или групп с их разрешениями.

Для извлечения той же информации в требуемом формате используйте или измените служебные скрипты nz_get_users и nz_get_user_groups.

Выполните прямой запрос к системному каталогу (если у пользователя есть SELECT доступ к этим представлениям), чтобы получить актуальные списки пользователей и ролей, определенных в системе. Примеры для перечисления пользователей, групп или пользователей и связанных с ними групп:

-- List of users
SELECT USERNAME FROM _V_USER;

--List of groups
SELECT DISTINCT(GROUPNAME) FROM _V_USERGROUPS;

--List of users and their associated groups
SELECT USERNAME, GROUPNAME FROM _V_GROUPUSERS;

Modify the example SELECT statement to produce a result set that is a series of CREATE USER and CREATE GROUP statements by including the appropriate text as a literal within the SELECT statement.

Получить существующие пароли невозможно, поэтому необходимо реализовать схему выделения новых начальных паролей на Azure Synapse.

Разрешения

Подсказка

Существуют эквивалентные разрешения Azure Synapse для базовых операций базы данных, таких как DML и DDL.

В системе Netezza системная таблица _t_usrobj_priv содержит права доступа для пользователей и ролей. Запросите эти таблицы (если у пользователя есть доступ SELECT к этим таблицам), чтобы получить текущие списки прав доступа, определенных в системе.

In Netezza, the individual permissions are represented as individual bits within field privileges or g_privileges. См. пример инструкции SQL в разрешениях группы пользователей

Самый простой способ получить скрипт DDL, содержащий GRANT команды для репликации текущих привилегий для пользователей и групп, — использовать соответствующие скрипты служебной программы Netezza:

--List of group privileges
nz_ddl_grant_group -usrobj dbname > output_file_dbname;

--List of user privileges
nz_ddl_grant_user -usrobj dbname > output_file_dbname;

Выходной файл можно изменить для создания скрипта, который представляет собой ряд инструкций GRANT для Azure Synapse.

Netezza поддерживает два класса прав доступа, администратор и объект. В следующих таблицах приведен список прав доступа Netezza и их эквивалент в Azure Synapse.

Права администратора	Описание	Azure Synapse Equivalent
Резервное копирование	Позволяет пользователю создавать резервные копии. Пользователь может запускать резервные копии. Пользователь может выполнить команду nzbackup.	1
[Create] Aggregate	Позволяет пользователю создавать определяемые пользователем агрегаты (UDAs). Разрешение на использование существующих UDAs контролируется привилегиями объекта.	CREATE FUNCTION 3
[Create] Database	Позволяет пользователю создавать базы данных. Разрешение на работу с существующими базами данных управляется привилегиями объектов.	СОЗДАТЬ БАЗУ ДАННЫХ
[Create] External Table	Позволяет пользователю создавать внешние таблицы. Разрешение на работу с существующими таблицами управляется привилегиями объектов.	СОЗДАТЬ ТАБЛИЦУ
[Создать] Функция	Allows the user to create user-defined functions (UDFs). Permission to operate on existing UDFs is controlled by object privileges.	СОЗДАТЬ ФУНКЦИЮ
[Создать] Группа	Позволяет пользователю создавать группы. Разрешение на работу с существующими группами контролируется правами доступа к объектам.	СОЗДАТЬ РОЛЬ
Создать индекс	Только для системного использования. Пользователи не могут создавать индексы.	СОЗДАТЬ ИНДЕКС
[Создать] Библиотека	Позволяет пользователю создавать общие библиотеки. Разрешение на работу с существующими общими библиотеками управляется привилегиями объекта.	1
[Создать] материализованное представление	Позволяет пользователю создавать материализованные представления.	CREATE VIEW
[Create] Procedure	Позволяет пользователю создавать хранимые процедуры. Разрешения на выполнение существующих хранимых процедур зависят от привилегий объектов.	СОЗДАТЬ ПРОЦЕДУРУ
[Создать] Схему	Позволяет пользователю создавать схемы. Разрешение на работу с существующими схемами управляется привилегиями объектов.	СОЗДАТЬ СХЕМУ
[Create] Sequence	Позволяет пользователю создавать последовательности баз данных.	1
[Создать] Синоним	Позволяет пользователю создавать синонимы.	СОЗДАТЬ СИНОНИМ
[Создать] Таблицу	Позволяет пользователю создавать таблицы. Разрешение на работу с существующими таблицами управляется привилегиями объектов.	СОЗДАТЬ ТАБЛИЦУ
[Создать] временную таблицу	Позволяет пользователю создавать временные таблицы. Разрешение на работу с существующими таблицами управляется привилегиями объектов.	СОЗДАТЬ ТАБЛИЦУ
[Создать] Пользователь	Позволяет пользователю создавать пользователей. Разрешение на работу с существующими пользователями управляется привилегиями объектов.	СОЗДАНИЕ ПОЛЬЗОВАТЕЛЯ
[Create] View	Позволяет пользователю создавать представления. Permission to operate on existing views is controlled by object privileges.	CREATE VIEW
[Управление оборудованием	Позволяет пользователю выполнять следующие операции, связанные с оборудованием: просматривать состояние оборудования, управлять СПУ, управлять топологией и зеркалированием, а также выполнять диагностические тесты. Пользователь может выполнять следующие команды: nzhw и nzds.	4
[Управление безопасностью	Позволяет пользователю выполнять команды и операции, связанные со следующими расширенными параметрами безопасности, такими как управление и настройка баз данных истории, управление объектами многопользовательской безопасности и назначение прав безопасности для пользователей и групп, управление хранилищами ключей, ключами, а также хранилищами ключей для цифровой подписи данных аудита.	4
[Управление системой	Позволяет пользователю выполнять следующие операции управления: запуск и остановка, приостановка и возобновление работы системы, сеансы прерывания, просмотр карты распространения, статистики системы и журналов. Пользователь может использовать эти команды: nzsystem, nzstate, nzstats и nzsession.	4
Restore	Позволяет пользователю восстановить систему. Пользователь может запустить команду nzrestore.	2
Unfence	Позволяет пользователю создавать или изменять определяемую пользователем функцию или агрегат для выполнения в незонованном режиме.	1

Object Privilege Abort	Описание	Azure Synapse Equivalent
Abort	Позволяет пользователю прерывать сеансы. Применяется к группам и пользователям.	KILL DATABASE CONNECTION
Alter	Позволяет пользователю изменять атрибуты объекта. Применяется ко всем объектам.	ALTER
Удалить	Позволяет пользователю удалять строки таблицы. Применяется только к таблицам.	Удалить
Drop	Позволяет пользователю удалять объекты. Применяется ко всем типам объектов.	DROP
Execute	Позволяет пользователю выполнять определяемые пользователем функции, определяемые пользователем агрегаты или хранимые процедуры.	ИСПОЛНЯТЬ
GenStats	Позволяет пользователю создавать статистику по таблицам или базам данных. Пользователь может запустить команду GENERATE STATISTICS.	2
Жених	Позволяет пользователю освободить место на диске для удаленных или устаревших строк, а также переорганизовать таблицу с помощью ключей организации или перенести данные для таблиц с несколькими сохраненными версиями.	2
Вставить	Позволяет пользователю вставлять строки в таблицу. Применяется только к таблицам.	INSERT
Список	Позволяет пользователю отображать имя объекта либо в списке, либо в другом способе. Применяется ко всем объектам.	СПИСОК
Выберите	Позволяет пользователю выбирать (или запрашивать) строки в таблице. Применяется к таблицам и представлениям.	SELECT
Truncate	Позволяет пользователю удалять все строки из таблицы. Применяется только к таблицам.	TRUNCATE
Обновление	Позволяет пользователю изменять строки таблицы. Применяется только к таблицам.	Обновление

Примечания к таблице:

1. В Azure Synapse нет прямого эквивалента этой функции.

2. Эти функции Netezza обрабатываются автоматически в Azure Synapse.

3. Функция Azure Synapse CREATE FUNCTION включает агрегатные функции Netezza.

4. Эти функции управляются системой или с помощью портала Azure в Azure Synapse. См. следующий раздел по операционным вопросам.

Ознакомьтесь с разрешениями безопасности Azure Synapse Analytics.

Рабочие соображения

Подсказка

Операционные задачи необходимы для эффективной работы любого хранилища данных.

В этом разделе описывается, как реализовать типичные операционные задачи Netezza в Azure Synapse с минимальным риском и воздействием на пользователей.

Как и у всех продуктов хранилища данных, в эксплуатации выполняются постоянные задачи управления, необходимые для эффективной работы системы и предоставления данных для мониторинга и аудита. Использование ресурсов и планирование загрузки для будущего роста также попадают в эту категорию, как и резервное копирование и восстановление данных.

Задачи администрирования Netezza обычно делятся на две категории:

• Системное администрирование, которое управляет оборудованием, параметрами конфигурации, состоянием системы, доступом, пространством на диске, использованием, обновлениями и другими задачами.

• Администрирование базы данных, которое управляет пользовательскими базами данных и их содержимым, загружает данные, выполняет резервное копирование данных, восстанавливает данные и управляет доступом к данным и разрешениям.

IBM Netezza предлагает несколько способов или интерфейсов, которые можно использовать для выполнения различных задач управления системами и базами данных:

• Команды Netezza (nz* команды) устанавливаются в каталог /nz/kit/bin на хосте Netezza. Для многих nz* команд вы должны иметь возможность войти в систему Netezza для доступа к этим командам и выполнить эти команды. В большинстве случаев пользователи входят в систему как пользователь по умолчанию nz, но вы можете создать другие учетные записи пользователей Linux в вашей системе. Для некоторых команд необходимо указать учетную запись пользователя базы данных, пароль и базу данных, чтобы убедиться, что у вас есть разрешение на выполнение задачи.

• Клиентские комплекты интерфейсов командной строки Netezza упаковали подмножество nz* команд, которые могут выполняться из клиентских систем Windows и UNIX. Команды клиента также могут потребовать указать учетную запись пользователя базы данных, пароль и базу данных, чтобы убедиться, что у вас есть права администратора базы данных и объекта для выполнения задачи.

• Команды SQL поддерживают задачи администрирования и запросы в сеансе базы данных SQL. Команды SQL можно выполнять из интерпретатора команд Netezza nzsql или через API SQL, такие как ODBC, JDBC и поставщик OLE DB. Для выполнения команд SQL необходимо иметь учетную запись пользователя базы данных с соответствующими разрешениями для выполняемых запросов и задач.

• Средство NzAdmin — это интерфейс Netezza, который работает на клиентских рабочих станциях Windows для управления системами Netezza.

Хотя концептуально задачи управления и операций для разных хранилищ данных похожи, отдельные случаи реализации могут отличаться. Как правило, современные облачные продукты, такие как Azure Synapse, обычно включают более автоматизированный и системный подход (в отличие от более "ручного" подхода в устаревших хранилищах данных, таких как Netezza).

В следующих разделах сравниваются параметры Netezza и Azure Synapse для различных операционных задач.

Задачи по обслуживанию дома

Подсказка

Управление хозяйственными задачами обеспечивает эффективную работу производственного склада и оптимизирует использование ресурсов, таких как складские помещения.

В большинстве устаревших сред хранилища данных рутинные задачи обслуживания являются трудоемкими. Восстановление места на диске путем удаления старых версий обновленных или удаленных строк или реорганизации данных, файлов журналов или блоков индекса для повышения эффективности (GROOM и VACUUM в Netezza). Collecting statistics is also a potentially time-consuming task, required after a bulk data ingest to provide the query optimizer with up-to-date data on which to base query execution plans.

Netezza рекомендует собирать статистику следующим образом:

• Сбор статистики по незаполненным таблицам для настройки гистограммы интервала, используемой во внутренней обработке. Такой начальный сбор статистики ускоряет ее последующий сбор. Не забудьте повторно собрать статистику после добавления данных.

• Сбор статистики этапа прототипа для вновь заполненных таблиц.

• Collect production phase statistics after a significant percentage of change to the table or partition (~10% of rows). For high volumes of nonunique values, such as dates or timestamps, it may be advantageous to recollect at 7%.

• Collect production phase statistics after you've created users and applied real world query loads to the database (up to about three months of querying).

• Сбор статистики за первые несколько недель после обновления или миграции в периоды низкой загрузки ЦП.

База данных Netezza содержит множество таблиц журналов в словаре данных, которые накапливают данные автоматически или после включения определенных функций. Поскольку объем данных журнала увеличивается с течением времени, очищайте его от старых сведений, чтобы не исчерпать постоянное пространство. Существуют варианты автоматизации обслуживания этих журналов.

Подсказка

Автоматизация и мониторинг задач по обслуживанию в Azure.

Azure Synapse имеет возможность автоматически создавать статистику, которую можно будет использовать по мере необходимости. Выполняйте дефрагментацию индексов и блоков данных вручную, по расписанию или автоматически. Использование собственных встроенных возможностей Azure может сократить усилия, необходимые для выполнения миграции.

Мониторинг и аудит

Подсказка

Netezza Performance Portal — это рекомендуемый метод мониторинга и ведения журнала для систем Netezza.

Netezza предоставляет портал производительности Netezza для мониторинга различных аспектов одной или нескольких систем Netezza, включая активность, производительность, очередь и использование ресурсов. Netezza Performance Portal — это интерактивный графический интерфейс, позволяющий пользователям детализировать низкоуровневые сведения для любой диаграммы.

Подсказка

Портал Azure предоставляет пользовательский интерфейс для управления задачами мониторинга и аудита для всех данных и процессов Azure.

Аналогичным образом Azure Synapse предоставляет широкие возможности мониторинга в рамках портала Azure, обеспечивая аналитические сведения о рабочей нагрузке хранилища данных. Портал Azure — рекомендуемый инструмент мониторинга хранилища данных, так как он предоставляет настраиваемые периоды хранения, оповещения, рекомендации, индивидуальные диаграммы и панели мониторинга для метрик и журналов.

Портал также обеспечивает интеграцию с другими службами мониторинга Azure, такими как Operations Management Suite (OMS) и Azure Monitor (журналы), чтобы обеспечить целостный интерфейс мониторинга не только для хранилища данных, но и всей платформы аналитики Azure для интегрированного мониторинга.

Подсказка

Низкоуровневые и системные метрики автоматически регистрируются в Azure Synapse.

Статистика использования ресурсов для Azure Synapse автоматически регистрируется в системе. Метрики для каждого запроса включают статистику использования ЦП, памяти, кэша, ввода-вывода и временной рабочей области, а также сведения о подключении, такие как неудачные попытки подключения.

Azure Synapse предоставляет набор динамических административных представлений (DMV). Эти представления полезны в том случае, если вы активно устраняете неполадки и выявляете узкие места производительности в рабочей нагрузке.

Дополнительные сведения см. в разделе операций и параметров управления Azure Synapse.

Высокая доступность (HA) и аварийное восстановление (DR)

Устройства Netezza являются избыточными, отказоустойчивыми системами и существуют различные варианты в системе Netezza для обеспечения высокой доступности и аварийного восстановления.

Добавление служб репликации IBM Netezza для аварийного восстановления повышает отказоустойчивость, расширяя избыточность между локальными и широкими сетями.

Ibm Netezza Replication Services защищает от потери данных путем синхронизации данных в первичной системе (первичном узле) с данными на одном или нескольких целевых узлах (подчиненных). These nodes make up a replication set.

High-Availability Linux (также называемый Linux-HA) обеспечивает защиту от отказов, обеспечивая переключение с основного или активного хоста Netezza на дополнительный или резервный хост Netezza. Основная управляющая программа управления кластерами в решении Linux-HA называется Heartbeat. Heartbeat watches the hosts and manages the communication and status checks of services.

Каждая служба является ресурсом.

Netezza объединяет службы, специфичные для Netezza, в группу ресурсов nps. Когда Heartbeat обнаруживает проблемы, которые подразумевают отказ хоста или потерю услуги пользователям Netezza, Heartbeat может инициировать переключение на резервный узел.

Распределенное реплицированное устройство (DRBD) — это драйвер блочного устройства, который отражает содержимое блочных устройств (жестких дисков, секций и логических томов) между узлами. Netezza использует репликацию DRBD только в разделах /nz и /export/home . Так как новые данные записываются в раздел /nz и раздел /export/home на основном узле, программное обеспечение DRBD автоматически вносит те же изменения в раздел /nz и /export/home узла ожидания.

Подсказка

Azure Synapse автоматически создает моментальные снимки, чтобы обеспечить быстрое время восстановления.

Azure Synapse использует моментальные снимки базы данных для обеспечения высокого уровня доступности хранилища. Моментальный снимок хранилища данных создает точку восстановления, которую можно использовать для копирования или восстановления хранилища данных до предыдущего состояния. Поскольку Azure Synapse — это распределенная система, моментальный снимок хранилища данных состоит из множества файлов, находящихся в службе хранилища Azure. Моментальные снимки фиксируют добавочные изменения в данных, содержащихся в хранилище данных.

Подсказка

Use user-defined snapshots to define a recovery point before key updates.

Подсказка

Microsoft Azure provides automatic backups to a separate geographical location to enable DR.

Azure Synapse автоматически принимает моментальные снимки в течение дня, создавая точки восстановления, доступные в течение семи дней. Этот период хранения изменить нельзя. Azure Synapse поддерживает восьмичасовую целевую точку восстановления (RPO). Хранилище данных можно восстановить в основном регионе на основе любого из моментальных снимков, сделанных за последние семь дней.

User-defined restore points are also supported, allowing manual triggering of snapshots to create restore points of a data warehouse before and after large modifications. Эта возможность гарантирует, что точки восстановления логически согласованы, что обеспечивает дополнительную защиту данных в случае прерываний рабочей нагрузки или ошибок пользователей для требуемого RPO менее 8 часов.

As well as the snapshots described previously, Azure Synapse also performs as standard a geo-backup once per day to a paired data center. The RPO for a geo-restore is 24 hours. Можно восстановить географическую резервную копию на сервере в любом другом регионе, где поддерживается Azure Synapse. Гео-резервное копирование гарантирует, что хранилище данных может быть восстановлено в случае, если точки восстановления в основном регионе недоступны.

Управление рабочей нагрузкой

Подсказка

В производственном хранилище данных обычно одновременно выполняются смешанные рабочие нагрузки с различными характеристиками использования ресурсов.

Netezza включает различные функции для управления рабочими нагрузками:

Методика	Описание
Scheduler rules	Scheduler rules influence the scheduling of plans. Каждое правило планировщика указывает условие или набор условий. Каждый раз, когда планировщик получает план, он оценивает все правила, изменяющие расписание, и выполняет соответствующие действия. Каждый раз, когда планировщик выбирает план для выполнения, он оценивает все ограничивающие правила планировщика. План выполняется только в том случае, если это не превысит ограничение, установленное ограничительным правилом планировщика. Otherwise, the plan waits. Это позволяет классифицировать планы и управлять ими таким образом, чтобы влиять на другие методы WLM (SQB, GRA и PQE).
Гарантированное выделение ресурсов (GRA)	Можно назначить минимальную долю и максимальный процент от общих системных ресурсов сущностям, называемым группами ресурсов. Планировщик гарантирует, что каждая группа ресурсов получает системные ресурсы в пропорции с её минимальной долей. Группа ресурсов получает большую долю ресурсов, если другие группы ресурсов неактивны, но никогда не получает больше, чем его настроенный максимальный процент. Каждый план связан с группой ресурсов, а параметры этой группы ресурсов определяют, какая доля доступных системных ресурсов должна быть доступна для обработки плана.
Предвзятость коротких запросов (SQB)	Ресурсы (т. е. планирование слотов, памяти и льготной очереди) зарезервированы для коротких запросов. Короткий запрос — это запрос, для которого оценка затрат меньше указанного максимального значения (значение по умолчанию — два секунды). При использовании SQB короткие запросы могут выполняться, даже если система занята обработкой других, более длительных запросов.
Приоритет выполнения запроса (PQE)	На основе параметров, настроенных, система назначает приоритет ( критически важный, высокий, обычный или низкий) каждому запросу. Приоритет зависит от таких факторов, как пользователь, группа или сеанс, связанный с запросом. Затем система может использовать приоритет в качестве основы для выделения ресурсов.

Azure Synapse автоматически регистрирует статистику использования ресурсов. Метрики включают статистику использования ЦП, памяти, кэша, операций ввода-вывода и временной рабочей области для каждого запроса. Azure Synapse также регистрирует информацию о подключении, например неудачные попытки подключения.

Подсказка

Низкоуровневые и общесистемные метрики автоматически регистрируются в Azure.

В Azure Synapse классы ресурсов представляют собой предопределенные ограничения ресурсов, которые управляют вычислительными ресурсами и параллелизмом для выполнения запроса. Классы ресурсов позволяют управлять рабочей нагрузкой путем установки ограничений на количество параллельно выполняющихся запросов и на вычислительные ресурсы, назначенные для каждого запроса. Между памятью и параллелизмом существует компромисс.

Azure Synapse поддерживает следующие основные концепции управления рабочей нагрузкой:

• Классификация рабочей нагрузки: вы можете назначить запрос группе рабочей нагрузки, чтобы установить уровни важности.

• Важность рабочей нагрузки: вы можете влиять на порядок, в котором запрос получает доступ к ресурсам. По умолчанию запросы освобождаются из очереди по мере того, как ресурсы становятся доступными. Важность рабочей нагрузки позволяет запросам с более высоким приоритетом получать ресурсы немедленно, независимо от очереди.

• Изоляция рабочей нагрузки: вы можете резервировать ресурсы для группы рабочей нагрузки, назначать максимальное и минимальное использование для различных ресурсов, ограничивать ресурсы, которые может потреблять группа запросов, и устанавливать значение времени ожидания для автоматического завершения неконтролируемых запросов.

Выполнение смешанных рабочих нагрузок может усложнять процесс распределения ресурсов на загруженных системах. Успешная схема управления рабочей нагрузкой позволяет эффективно управлять ресурсами, обеспечивает их высокоэффективное использование и максимально увеличивает рентабельность инвестиций. Классификация рабочей нагрузки, важность рабочей нагрузки и изоляция рабочей нагрузки позволяют лучше контролировать использование системных ресурсов рабочей нагрузкой.

В руководстве по управлению рабочей нагрузкой описаны методы анализа рабочей нагрузки, управления и мониторинга важности рабочей нагрузки](../../sql-data-warehouse/sql-data-warehouse-how-to-manage-and-monitor-workload-importance.md) и действия по преобразованию класса ресурсов в группу рабочей нагрузки. Используйте портал Azure и запросы T-SQL к DMV, чтобы отслеживать рабочую нагрузку и обеспечивать эффективное использование применимых ресурсов. Azure Synapse предоставляет набор динамических административных представлений (DMV) для мониторинга всех аспектов управления рабочей нагрузкой. Эти представления полезны при активном устранении неполадок и выявлении узких мест производительности в вашей рабочей нагрузке.

Эти сведения также можно использовать для планирования загрузки, определяя ресурсы, необходимые для дополнительных пользователей или рабочей нагрузки приложений. Это также относится к планированию увеличения или уменьшения масштаба вычислительных ресурсов для эффективной поддержки "острых" рабочих нагрузок, таких как рабочие нагрузки с временными, интенсивными всплесками активности, окруженными периодами редкой активности.

Дополнительные сведения об управлении рабочей нагрузкой в Azure Synapse см. в разделе Управление рабочей нагрузкой с помощью классов ресурсов.

Масштабирование вычислительных ресурсов

Подсказка

Основным преимуществом Azure является возможность независимо масштабировать вычислительные ресурсы по требованию для эффективной обработки пиковых рабочих нагрузок.

Архитектура Azure Synapse разделяет хранилище и вычислительные ресурсы, что позволяет масштабировать их независимо друг от друга. В результате можно масштабировать вычислительные ресурсы в соответствии с требованиями к производительности независимо от хранилища данных. Кроме того, можно приостанавливать и возобновлять работу вычислительных ресурсов. Преимуществом такой архитектуры является отдельное выставление счетов за вычислительные ресурсы и ресурсы хранилища. Если хранилище данных не используется, вы можете сэкономить на затратах на вычисления за счет приостановки вычислений.

Вычислительные ресурсы можно масштабировать в сторону увеличения или сокращения, корректируя параметры единиц хранилища данных для хранилища данных. Добавление единиц использования хранилища данных позволяет линейно повышать производительность загрузки и запросов.

Добавление дополнительных вычислительных узлов увеличивает вычислительные мощности и возможность использовать более параллельную обработку. При увеличении количества вычислительных узлов количество распределений на каждом вычислительном узле уменьшается, что обеспечивает дополнительную вычислительную мощность и параллельную обработку для запросов. Точно так же уменьшение количества единиц использования хранилища данных приводит к уменьшению числа вычислительных узлов, и для обработки запросов становится доступно меньше вычислительных ресурсов.

Дальнейшие действия

Дополнительные сведения о визуализации и отчетности см. в следующей статье в этой серии: визуализация и отчеты о миграции Netezza.