Подготовка среды выполнения интеграции Azure–SSIS в Фабрике данных Azure
ОБЛАСТЬ ПРИМЕНЕНИЯ:
Фабрика данных Azure Azure Synapse Analytics
В этом руководстве описаны шаги по использованию портала Azure для подготовки среды выполнения интеграции Azure SQL Server Integration Services (SSIS) в Фабрике данных Azure (ADF). Среда выполнения интеграции Azure-SSIS поддерживает следующие возможности:
- выполнение пакетов, развернутых в каталоге SSIS (SSISDB), которые размещаются на сервере Базы данных SQL Azure или в Управляемом экземпляре (модель развертывания для проектов);
- выполнение пакетов, развернутых в файловой системе, службе "Файлы Azure" или базе данных SQL Server (MSDB), которые размещаются в Управляемом экземпляре SQL Azure (модель развертывания для пакетов).
После подготовки Azure-SSIS IR вы можете использовать для развертывания и запуска пакетов в Azure любые привычные средства, уже поддерживающие Azure, например SQL Server Data Tools (SSDT), SQL Server Management Studio (SSMS) или служебные программы командной строки, такие как dtutil и AzureDTExec.
См. дополнительные сведения о среде выполнения интеграции Azure SSIS.
В этом руководстве выполняются следующие шаги:
- Создали фабрику данных.
- Подготовка среды выполнения интеграции Azure SSIS.
Предварительные требования
Примечание
Для взаимодействия с Azure рекомендуется использовать модуль Azure Az PowerShell. Чтобы начать работу, см. статью Установка Azure PowerShell. Дополнительные сведения см. в статье Перенос Azure PowerShell с AzureRM на Az.
Подписка Azure. Если у вас еще нет подписки Azure, создайте бесплатную учетную запись, прежде чем начинать работу.
Сервер Базы данных SQL Azure (необязательно) . Если у вас еще нет сервера базы данных, создайте его на портале Azure перед началом работы. Фабрика данных, в свою очередь, создаст экземпляр SSISDB на этом сервере базы данных.
Мы рекомендуем создать сервер базы данных в одном регионе Azure со средой интеграции. Эта конфигурация позволяет среде выполнения интеграции записывать журналы выполнения в SSISDB, не пересекая регионы Azure.
Учитывайте следующие моменты:
В зависимости от выбранного сервера базы данных экземпляр SSISDB может быть создан от вашего имени как отдельная база данных, как часть эластичного пула или в виде управляемого экземпляра. Доступ к нему можно получить через общедоступную сеть или после присоединения к виртуальной сети. Инструкции по выбору типа сервера базы данных для размещения SSISDB см. в разделе Сравнение Базы данных SQL и Управляемого экземпляра SQL.
Если сервер Базы данных SQL Azure используется с правилами брандмауэра для IP-адресов или конечными точками служб в виртуальной сети или с управляемым экземпляром и частной конечной точкой для размещения SSISDB, или вам нужен доступ к локальным данным без настройки локальной среды выполнения интеграции, необходимо присоединить среду выполнения интеграции Azure-SSIS к виртуальной сети. См. сведения о создании среды выполнения интеграции Azure SSIS в виртуальной сети.
Убедитесь, что для сервера базы данных включен параметр Разрешить доступ к службам Azure. Этот параметр не применяется, если сервер Базы данных SQL Azure используется с правилами брандмауэра для IP-адресов или конечными точками служб для виртуальной сети или с управляемым экземпляром и частной конечной точкой для размещения базы данных SSISDB. Дополнительные сведения см. в разделе Создание правила брандмауэра. Сведения о включении этого параметра с помощью PowerShell см. в статье New-AzSqlServerFirewallRule.
Добавьте IP-адрес клиентского компьютера или диапазон IP-адресов, который включает IP-адрес клиентского компьютера, в список IP-адресов клиента в параметрах брандмауэра для сервера базы данных. Дополнительные сведения см. в разделе Правила брандмауэра уровня сервера Базы данных SQL Azure и уровня базы данных SQL Azure.
К серверу базы данных можно подключиться с использованием аутентификации SQL и учетных данных администратора сервера или аутентификации Azure Active Directory (Azure AD) и управляемого удостоверения фабрики данных, назначаемого системой или пользователем. Для последнего варианта управляемое удостоверение, назначаемое системой или пользователем, для фабрики данных нужно добавить в группу Azure AD с разрешениями на доступ к серверу базы данных. См. сведения о создании среды выполнения интеграции Azure SSIS с использованием аутентификации Azure AD.
Убедитесь, что на сервере базы данных еще нет экземпляра SSISDB. При подготовке Azure-SSIS IR не поддерживается использование существующего экземпляра SSISDB.
Примечание
Список регионов Azure, в которых сейчас доступны Фабрика данных и Azure-SSIS IR, см. на странице доступности продуктов по регионам.
Создание фабрики данных
Чтобы создать фабрику данных с помощью портала Azure, следуйте пошаговым инструкциям. После создания выберите действие Закрепить на панели мониторинга, чтобы организовать быстрый доступ к ней.
Создав фабрику данных, откройте страницу сводных сведений о ней на портале Azure. Выберите плитку Открыть Фабрика данных Azure Studio, чтобы открыть страницу Приступая к работе на отдельной вкладке. Там можно продолжать создавать Azure-SSIS IR.
Создание среды выполнения интеграции Azure SSIS.
В Фабрике данных Azure
На домашней странице выберите плитку Настройка служб SSIS.
Остальные шаги описаны в разделе Подготовка среды выполнения интеграции Azure SSIS.
Пользовательский интерфейс разработки
В пользовательском интерфейсе Фабрики данных Azure перейдите на вкладку Управление и на вкладку Среды выполнения интеграции, чтобы просмотреть все имеющиеся в фабрике данных среды выполнения интеграции.
Выберите Создать, чтобы создать Azure-SSIS IR и открыть панель Настройка среды выполнения интеграции.
В области Integration runtime setup выберите плитку Lift-and-shift existing SSIS packages to execute in Azure (Перенос имеющихся пакетов служб SSIS по методике lift-and-shift для выполнения в Azure), а затем нажмите Продолжить.
Остальные шаги описаны в разделе Подготовка среды выполнения интеграции Azure SSIS.
Подготовка среды выполнения интеграции Azure SSIS
Область Настройка среды выполнения интеграции содержит три страницы, на которых можно последовательно настроить общие параметры, параметры развертывания и дополнительные параметры.
Страница "Общие параметры"
На странице Общие параметры на панели Настройка среды выполнения интеграции выполните описанные ниже действия.
В поле Имя введите имя среды выполнения интеграции.
В поле Описание введите описание среды выполнения интеграции.
В поле Расположение введите расположение среды выполнения интеграции. Здесь отображаются только поддерживаемые расположения. Для узла SSISDB сервера базы данных рекомендуется выбирать одинаковые расположения.
В раскрывающемся списке Размер узла выберите размер узла кластера среды выполнения интеграции. Отображаются только поддерживаемые размеры узла. Если вы планируете использовать пакеты с высокими требованиями к количеству компьютеров или объему памяти, выберите большой размер узла (увеличение масштаба).
В поле Номер узла введите количество узлов в кластере среды выполнения интеграции. Отображается только поддерживаемое число узлов. Если нужно запускать несколько пакетов в параллельном режиме, выберите большой кластер с большим числом узлов (с поддержкой горизонтального увеличения масштаба).
В раскрывающемся списке Выпуск/лицензия выберите выпуск SQL Server для среды выполнения интеграции: Standard или Enterprise. Если в среде выполнения интеграции вы будете использовать расширенные функции, выберите SQL Server Enterprise.
В поле Экономия выберите значение параметра "Преимущество гибридного использования Azure": Да или Нет. Если для экономии вы намерены использовать гибридный режим с собственной лицензией SQL Server по программе Software Assurance, выберите Да.
Щелкните Продолжить.
Страница "Параметры развертывания"
В области настройки среды выполнения интеграции на странице Параметры развертывания доступны параметры создания SSISDB и (или) хранилищ пакетов Azure-SSIS IR.
Создание SSISDB
В области настройки среды выполнения интеграции на странице Параметры развертывания установите флажок Create SSIS catalog (SSISDB) hosted by Azure SQL Database server/Managed Instance to store your projects/packages/environments/execution logs (Создать каталог SSIS (SSISDB), размещенный на сервере базы данных SQL Azure или в Управляемом экземпляре, чтобы сохранять проекты, пакеты, среды и журналы выполнения), для развертывания пакетов в SSISDB (модель развертывания для проектов). Если нужно развернуть пакеты в файловой системе, службе "Файлы Azure" или базе данных SQL Server (MSDB), размещенной в Управляемом экземпляре SQL Azure (модель развертывания для пакетов), можно не создавать SSISDB и не устанавливать этот флажок.
Какой бы ни была модель развертывания, если вы хотите выбрать, следует ли использовать агент SQL Server, размещенный в Управляемом экземпляре SQL Azure, для координации или планирования выполнения пакетов (эта возможность активируется SSISDB), этот флажок следует установить. Дополнительные сведения см. в статье о планировании выполнения пакетов SSIS с помощью агента Управляемого экземпляра SQL Azure.
Если этот флажок установлен, выполните приведенные ниже инструкции, чтобы предоставить собственный сервер базы данных для размещения базы данных SSISDB, которую мы создадим и которой будем управлять от вашего имени.
В раскрывающемся списке Подписка выберите подписку Azure, которая соответствует серверу базы данных узла SSISDB.
В раскрывающемся списке Расположение выберите расположение сервера базы данных узла SSISDB. Для среды выполнения интеграции рекомендуется выбирать одинаковые расположения.
В раскрывающемся списке Catalog Database Server Endpoint (Конечная точка сервера базы данных каталога) выберите конечную точку сервера базы данных узла SSISDB.
В зависимости от выбранного сервера базы данных экземпляр SSISDB может быть создан от вашего имени как отдельная база данных, как часть эластичного пула или в виде управляемого экземпляра. Доступ к нему можно получить через общедоступную сеть или после присоединения к виртуальной сети. Инструкции по выбору типа сервера базы данных для размещения SSISDB см. в разделе Сравнение Базы данных SQL и Управляемого экземпляра SQL.
Если выбран сервер Базы данных SQL Azure с правилами брандмауэра для IP-адресов или конечными точками служб в виртуальной сети или с управляемым экземпляром и частной конечной точкой для размещения SSISDB, или вам нужен доступ к локальным данным без настройки локальной среды выполнения интеграции, необходимо присоединить среду выполнения интеграции Azure-SSIS к виртуальной сети. См. сведения о создании среды выполнения интеграции Azure SSIS в виртуальной сети.
Установите флажок Использовать проверку подлинности AAD с управляемым удостоверением, назначаемым системой, для фабрики данных или Использовать проверку подлинности AAD с управляемым удостоверением, назначаемым пользователем, для фабрики данных, чтобы выбрать способ проверки подлинности Azure AD для доступа Azure-SSIS IR к серверу базы данных, на котором размещается SSISDB. Не устанавливайте эти флажки, чтобы выбрать способ проверки подлинности SQL.
Если один из этих флажков установлен, управляемое удостоверение, назначаемое системой или пользователем, для фабрики данных нужно добавить в группу AAD с правами на доступ к серверу базы данных. Если установлен флажок Использовать проверку подлинности AAD с управляемым удостоверением, назначаемым пользователем, для фабрики данных, можно выбрать любые существующие учетные данные, созданные с помощью управляемых удостоверений, назначаемых пользователем, или создать новые. См. сведения о создании среды выполнения интеграции Azure SSIS с использованием аутентификации Azure AD.
В поле Имя администратора введите имя пользователя SQL для проверки подлинности сервера базы данных, на котором размещается SSISDB.
В поле Пароль администратора введите пароль проверки подлинности SQL для сервера базы данных, на котором размещается SSISDB.
Установите флажок Использовать двойную резервную пару Azure-SSIS Integration Runtime с отработкой отказа SSISDB, чтобы настроить двойную резервную пару Azure-SSIS Integration Runtime, которая работает синхронно с группой отработки отказа Базы данных SQL Azure или Управляемого экземпляра для обеспечения непрерывности бизнес-процессов и аварийного восстановления.
Если вы установили этот флажок, введите имя для идентификации своей пары основной и дополнительной сред Azure-SSIS IR в текстовом поле Имя двойной резервной пары. При создании основной и дополнительной сред Azure-SSIS IR вам нужно ввести одно и то же имя пары.
Дополнительные сведения см. в статье Настройка среды Azure-SSIS IR для обеспечения непрерывности бизнес-процессов и аварийного восстановления.
В поле Каталог уровней служб базы данных выберите уровень служб для сервера базы данных, на котором будет размещаться SSISDB. Это может быть уровень "Базовый", "Стандартный", "Премиум" или имя эластичного пула.
Если применимо, выберите Тестировать подключение, и в случае его успешности выберите Продолжить.
Создание хранилищ пакетов Azure-SSIS IR
В области настройки среды выполнения интеграции на странице Параметры развертывания установите флажок Create package stores to manage your packages that are deployed into file system/Azure Files/SQL Server database (MSDB) hosted by Azure SQL Managed Instance (Создать хранилища пакетов для управления пакетами, развернутыми в файловой системе, службе "Файлы Azure" или базе данных SQL Server (MSDB), размещенной в Управляемом экземпляре Azure SQL), чтобы выбрать, следует ли управлять пакетами, развернутыми в MSDB, файловой системе или в службе "Файлы Azure" (модель развертывания для пакетов), с использованием хранилищ пакетов Azure-SSIS IR.
Хранилище пакетов Azure-SSIS IR позволяет импортировать, экспортировать, удалять и запускать пакеты, а также отслеживать пакеты и прекращать их выполнение с помощью SSMS, как и прежнее хранилище пакетов SSIS. Дополнительные сведения см. в статье Управление пакетами SSIS с помощью хранилищ пакетов Azure-SSIS IR.
Если этот флажок установлен, можно добавить несколько хранилищ пакетов в Azure-SSIS IR, выбрав Создать. И наоборот, одно хранилище пакетов может совместно использоваться несколькими Azure-SSIS IR.
На панели Добавление хранилища данных выполните описанные ниже действия.
В поле Имя хранилища пакетов введите имя своего хранилища пакетов.
Для параметра Связанная служба хранилища пакетов выберите имеющуюся связанную службу, в которой хранятся сведения о доступе к файловой системе, службе "Файлы Azure" и Управляемому экземпляру Azure SQL, где развернуты ваши пакеты, или создайте новую, выбрав Создать. На панели Новая связанная служба выполните описанные ниже действия.
Примечание
Для доступа к Файлам Azure можно использовать связанные службы хранилища файлов Azure или файловой системы. Если вы используете связанную службу хранилища файлов Azure, хранилище пакетов Azure-SSIS IR будет поддерживать только базовый способ проверки подлинности (не ключ учетной записи и не URI SAS).
В поле Имя введите имя своей связанной службы.
В поле Описание введите описание связанной службы.
Для параметра Тип выберите Файловое хранилище Azure, Управляемый экземпляр SQL Azure или Файловая система.
Можете пропустить Подключаться с помощью среды выполнения интеграции, так как мы всегда используем вашу среду Azure-SSIS IR для получения сведений о доступе для хранилищ пакетов.
Если вы выбрали вариант Хранилище файлов Azure, то для параметра Способ проверки подлинности выберите значение Базовая, а затем выполните указанные ниже шаги.
Для параметра Метод выбора учетных записей выберите Из подписки Azure или Вводить вручную.
Если вы выбрали Из подписки Azure, выберите соответствующие значения в полях Подписка Azure, Имя учетной записи хранилища и Общая папка.
Если вы выбрали Вводить вручную, введите
\\<storage account name>.file.core.windows.net\<file share name>для Узел,Azure\<storage account name>для Имя пользователя и<storage account key>для Пароль или выберите Azure Key Vault, где он хранится в секретности.
Если вы выбрали Управляемый экземпляр SQL Azure, выполните описанные ниже действия.
Выберите вариант Строка подключения или свое хранилище Azure Key Vault, где она хранится в виде секрета.
При выборе Строка подключения выполните описанные ниже действия.
Если вы выбрали вариант From Azure subscription (Из подписки Azure) в разделе Account selection method (Метод выбора учетных записей), задайте соответствующие значения Подписка Azure, Имя сервера, Тип конечной точки и Имя базы данных. Если вы выбрали Enter manually (Вводить вручную), выполните приведенные ниже шаги.
Для параметра Полное доменное имя введите
<server name>.<dns prefix>.database.windows.netили<server name>.public.<dns prefix>.database.windows.net,3342в качестве частной или общедоступной конечной точки вашего Управляемого экземпляра SQL Azure соответственно. Если ввести частную конечную точку, параметр Тестировать подключение будет неприменим, так как пользовательский интерфейс ADF не может связаться с ним.В поле Имя базы данных введите
msdb.
В поле Тип проверки подлинности выберите Проверка подлинности SQL, Управляемое удостоверение, Субъект-служба или Управляемое удостоверение, назначаемое пользователем.
Если вы выбрали Проверка подлинности SQL, введите соответствующие значения в поля Имя пользователя и Пароль или выберите ваш Azure Key Vault, где он хранится в секретности.
Если вы выбрали Управляемое удостоверение, предоставьте своему управляемому удостоверению ADF, назначаемому системой, доступ к Управляемому экземпляру SQL Azure.
Если вы выбрали Субъект-служба, введите соответствующие значения в поля Идентификатор субъекта-службы и Ключ субъект-службы или выберите свой Azure Key Vault, где он хранится в секретности.
Если вы выбрали Управляемое удостоверение, назначаемое пользователем, предоставьте своему управляемому удостоверению ADF, назначаемому пользователем, доступ к Управляемому экземпляру SQL Azure. Затем можно выбрать любые существующие учетные данные, созданные с помощью управляемых удостоверений, назначаемых пользователем, или создать новые.
Если вы выбрали Файловая система, в поле Узел введите UNC-путь папки, в которую развернуты ваши пакеты, а также введите соответствующие значения в полях Имя пользователя и Пароль или выберите свой Azure Key Vault, где он хранится в секретности.
Если применимо, выберите Тестировать подключение, и если результат будет успешным, выберите Создать.
Добавленные хранилища пакетов будут отображаться на странице Параметры развертывания. Чтобы удалить их, установите соответствующие флажки, а затем выберите Удалить.
Если применимо, выберите Тестировать подключение, и в случае его успешности выберите Продолжить.
Страница "Дополнительные параметры"
На странице Расширенные параметры на панели Настройка среды выполнения интеграции выполните описанные ниже действия.
В раскрывающемся списке Максимальное количество параллельных выполнений на каждом узле выберите максимальное количество пакетов, которые будут выполняться одновременно на одном узле кластера интегрированной среды выполнения. Отображается только поддерживаемое число пакетов. Если возникла необходимость использовать больше одного ядра для запуска большого пакета с высокими требованиями к вычислительным ресурсам или памяти, выберите меньшее число. Более высокое число позволит запустить несколько небольших пакетов на одном ядре.
Установите флажок Customize your Azure-SSIS Integration Runtime with additional system configurations/component installations (Настроить для Azure-SSIS Integration Runtime дополнительные конфигурации системы и (или) установки компонентов), чтобы добавить стандартные (быстрые) пользовательские настройки для Azure-SSIS IR. См. сведения о пользовательской установке для среды выполнения интеграции Azure-SSIS.
Установите флажок Select a VNet for your Azure-SSIS Integration Runtime to join, allow ADF to create certain network resources, and optionally bring your own static public IP addresses (Выбрать виртуальную сеть для присоединения Azure-SSIS Integration Runtime, позволить Фабрике данных Azure создавать некоторые сетевые ресурсы и (необязательно) предоставить собственные общедоступные статические IP-адреса), чтобы присоединить Azure-SSIS IR к виртуальной сети.
Его следует установить, если сервер Базы данных SQL Azure используется с правилами брандмауэра для IP-адресов или конечными точками служб в виртуальной сети или с управляемым экземпляром и частной конечной точкой для размещения SSISDB или вам нужен доступ к локальным данным без настройки локальной среды выполнения интеграции. См. сведения о создании среды выполнения интеграции Azure SSIS в виртуальной сети.
Установите флажок Set up Self-Hosted Integration Runtime as a proxy for your Azure-SSIS Integration Runtime (Настроить локальную среду выполнения интеграции в качестве прокси-сервера для Azure-SSIS Integration Runtime), если вы хотите использовать локальную среду выполнения интеграции в качестве прокси-сервера для Azure-SSIS IR. См. подробнее о настройке автономной среды выполнения интеграции в качестве прокси-сервера.
Выберите Continue (Продолжить).
На странице Сводка области Настройка среды выполнения интеграции проверьте все параметры подготовки, добавьте в закладки рекомендуемые ссылки на документацию и выберите Создать, чтобы запустить создание среды для выполнения интеграции.
Примечание
С исключением времени, затраченного на пользовательскую установку, и при условии, что среда выполнения интеграции SSIS не использует стандартное внедрение виртуальной сети, в большинстве случаев этот процесс завершится в течение 5 минут.
Если вы используете SSISDB, Фабрика данных Azure подключится к серверу базы данных для подготовки SSISDB.
При подготовке Azure-SSIS IR также устанавливается распространяемый компонент Access и пакет функций Azure для служб SSIS. Эти компоненты обеспечивают подключение к файлам Excel или Access и другим источникам данных Azure помимо тех, которые уже поддерживаются встроенными компонентами. Дополнительные сведения о встроенных и предварительно установленных компонентах см. в статье Встроенные и предварительно установленные компоненты в Azure-SSIS IR. Дополнительные сведения о других компонентах, доступных для установки, см. в руководстве по пользовательской установке для среды выполнения интеграции Azure-SSIS.
Панель "Подключения"
На панели Подключения центра Управление перейдите на страницу Среды выполнения интеграции и выберите Обновить.
Вы можете изменить или перенастроить свою Azure-SSIS IR, выбрав ее имя. С помощью соответствующих кнопок можно выполнять мониторинг, запуск, остановку или удаление Azure-SSIS IR, автоматически создавать конвейер ADF с помощью действия "Выполнение пакета SSIS" для запуска в Azure-SSIS IR, а также просматривать код JSON и полезные данные Azure-SSIS IR. Изменить или удалить Azure-SSIS IR можно только после ее остановки.
Развертывание пакетов служб SSIS.
Если вы используете SSISDB, можете развернуть в нее свои пакеты и запустить их в Azure-SSIS IR с помощью средств SSDT или SSMS с поддержкой Azure. Эти средства подключаются к серверу базы данных через конечную точку сервера.
- Для сервера Базы данных SQL Azure используется формат конечной точки
<server name>.database.windows.net. - Для управляемого экземпляра с частной конечной точкой используется формат
<server name>.<dns prefix>.database.windows.net. - Для управляемого экземпляра с общедоступной конечной точкой используется формат
<server name>.public.<dns prefix>.database.windows.net,3342.
Если вы не используете SSISDB, вы можете развертывать пакеты в файловой системе, службе "Файлы Azure" или базе данных MSDB, размещенной в Управляемом экземпляре SQL Azure, и запускать их в Azure-SSIS IR с помощью программ командной строки dtutil и AzureDTExec.
Дополнительные сведения см. в статье Развертывание проектов и пакетов служб Integration Services (SSIS).
В обоих случаях вы также можете запустить развернутые пакеты в Azure-SSIS IR, используя действие "Выполнить пакеты служб SSIS" в конвейерах Фабрики данных Azure. См. сведения о запуске выполнения пакета SSIS с использованием действия Фабрики данных.
Ознакомьтесь также со следующей документацией по SSIS:
- Руководство. Развертывание и выполнение пакета служб SQL Server Integration Services (SSI) в Azure
- Подключение к каталогу SSIS (SSISDB) в Azure
- Планирование выполнения пакетов служб SQL Server Integration Services (SSIS), развернутых в Azure
- Connect to on-premises data sources with Windows Authentication (Подключение к локальным источникам данных с помощью аутентификации Windows)
Дальнейшие действия
Дополнительные сведения о настройке Azure-SSIS Integration Runtime см. в следующей статье: