События
31 мар., 23 - 2 апр., 23
Самое большое событие обучения Fabric, Power BI и SQL. 31 марта – 2 апреля. Используйте код FABINSIDER, чтобы сэкономить $400.
Зарегистрироваться сегодняЭтот браузер больше не поддерживается.
Выполните обновление до Microsoft Edge, чтобы воспользоваться новейшими функциями, обновлениями для системы безопасности и технической поддержкой.
ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure
Azure Synapse Analytics
Совет
Попробуйте использовать фабрику данных в Microsoft Fabric, решение для аналитики с одним интерфейсом для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !
В этой статье описывается функция проектов SQL Server Integration Services (SSIS) с поддержкой Azure в SQL Server Data Tools (SSDT). Она позволяет оценивать совместимость пакетов SSIS с облаком и запускать их в среде выполнения Azure-SSIS Integration Runtime (IR) в Фабрике данных Azure (ADF). Эту функцию можно использовать для тестирования существующих пакетов перед их репликацией в режиме lift-and-shift или переносом их в Azure, а также для разработки новых пакетов, предназначенных для работы в Azure.
С помощью этой функции можно присоединять вновь созданную или существующую среду выполнения Azure-SSIS IR к проектам SSIS, а затем запускать в ней пакеты. Поддерживается выполнение пакетов, которые подлежат развертыванию в каталоге SSIS (SSISDB), размещенном на сервере Базы данных SQL Azure или в управляемом экземпляре (модель развертывания для проектов). Кроме того, поддерживается выполнение пакетов, которые подлежат развертыванию в файловой системе, службе "Файлы Azure" или базе данных SQL Server (MSDB), размещенных в Управляемом экземпляре SQL Azure (модель развертывания для пакетов).
Чтобы использовать эту функцию, скачайте и установите последнюю версию SSDT с расширением SSIS Projects для Visual Studio (VS) отсюда. Как вариант, можно скачать и установить последнюю версию SSDT в виде автономного установщика отсюда.
В SSDT можно создавать проекты SSIS с поддержкой Azure по шаблону Проект служб Integration Services (с поддержкой Azure).
После создания проекта с поддержкой Azure вам будет предложено подключиться к SSIS в Фабрике данных Azure.
Если вы хотите сразу подключиться к Azure-SSIS IR, см. дополнительные сведения в разделе "Подключение к Azure-SSIS IR". Вы также можете подключиться позже. В этом случае щелкните правой кнопкой мыши узел проекта в окне "Обозреватель решений" SSDT, чтобы открыть контекстное меню. Затем выберите пункт Подключиться к службам SSIS в Фабрике данных Azure в подменю Службы SSIS в Фабрике данных Azure.
В существующих проектах служб SSIS поддержка Azure включается следующим образом:
Щелкните правой кнопкой мыши узел проекта в окне "Обозреватель решений" SSDT, чтобы открыть контекстное меню. Затем выберите пункт Проект с поддержкой Azure в подменю Службы SSIS в Фабрике данных Azure, чтобы запустить Мастер проектов с поддержкой Azure.
На странице Выбор конфигурации Visual Studio выберите существующую конфигурацию VS, чтобы применить соответствующие параметры запуска пакета в Azure. Если проекта еще нет, его можно создать — см. статью "Создание конфигурации VS". Мы рекомендуем использовать по крайней мере две разные конфигурации VS для запуска пакетов в локальной и облачной средах, чтобы можно было включить поддержку Azure в проекте в соответствии с конфигурацией облака. В этом случае, если вы параметризовали свои пакеты и проект, то сможете задать для них разные значения параметров во время выполнения в зависимости от среды, в которой они выполняются (на локальном компьютере или в Azure). Пример см. в разделе "Смена среды выполнения пакетов".
Для включения поддержки Azure в существующих проектах SSIS необходимо в качестве версии целевого сервера указать последнюю версию, поддерживаемую Azure-SSIS IR. В настоящее время Azure-SSIS IR основывается на SQL Server 2017. Убедитесь, что ваши пакеты не содержат дополнительных компонентов, которые не поддерживаются в SQL Server 2017. Кроме того, убедитесь, что все совместимые дополнительные компоненты установлены в Azure-SSIS IR с помощью пользовательских программ установки — см. статью "Настройка Azure-SSIS IR". Нажмите кнопку Далее для продолжения.
Чтобы завершить подключение проекта к Azure-SSIS IR, см. раздел "Подключение к Azure-SSIS IR".
Подключив проекты с поддержкой Azure к службам SSIS в ADF, вы сможете передавать пакеты в службу Файлов Azure и запускать их в Azure-SSIS IR. Для этого выполните следующее.
Ознакомьтесь со сведениями на странице Общие сведения о службах SSIS в Фабрике данных Azure и нажмите кнопку Далее для продолжения.
На странице Выбор SSIS IR в ADF выберите имеющиеся ADF и Azure-SSIS IR для запуска пакетов. Если у вас нет Azure-SSIS IR и ADF, их можно создать.
На странице Выбор хранилища Azure выберите учетную запись хранения Azure для отправки пакетов в Файлы Azure. Если у вас нет учетной записи, ее можно создать.
Нажмите кнопку Подключиться, чтобы завершить подключение проекта к Azure-SSIS IR. Выбранные среда выполнения Azure-SSIS IR и учетная запись хранения Azure будут отображаться в составе узла Связанные ресурсы Azure в окне "Обозреватель решений" SSDT. Отображаемое там состояние Azure-SSIS IR будет регулярно обновляться. Для управления средой выполнения Azure-SSIS IR щелкните ее узел правой кнопкой мыши, чтобы открыть контекстное меню, а затем выберите пункт Запуск/Остановка/Управление. После этого вы перейдете на портал ADF, где сможете выполнить соответствующую операцию.
Перед запуском пакетов в Azure вы можете оценить на предмет возможных проблем совместимости с облачной средой. Сюда относятся проблемы, блокирующие миграцию, а также дополнительные сведения, которые следует иметь в виду.
Пакеты в проекте можно оценивать по одному или одновременно.
В окне Отчет об оценке SSDT отображается перечень возможных проблем совместимости с облачной средой. Для каждой из проблем дается подробное описание и рекомендации по ее устранению. Отчет об оценке можно также экспортировать в CSV-файл и поделиться им с пользователями, которые должны устранить выявленные проблемы.
Убедившись в том, что какие-то из возможных проблем совместимости с облачной средой не относятся к вашему случаю или надлежащим образом устранены в ваших пакетах, вы можете подавить соответствующие правила оценки. Тем самым вы уменьшите объем неактуальных сведений в последующих отчетах об оценке.
Нажмите ссылку Настройка подавления правил оценки в окне Отчет об оценке SSDT, чтобы открыть окно Параметры подавления правил оценки, где можно выбрать, какие из правил оценки будут подавляться.
То же самое можно сделать иначе. Щелкните правой кнопкой мыши узел проекта в окне "Обозреватель решений" SSDT, чтобы открыть контекстное меню. Выберите элемент Параметры поддержки Azure в подменю Службы SSIS в Фабрике данных Azure, чтобы открыть окно со страницами свойств проекта. Выберите свойство Идентификаторы подавленных правил оценки в разделе Параметры поддержки Azure. В заключение нажмите кнопку с многоточием (...), чтобы открыть окно Параметры подавления правил оценки, где можно выбрать, какие из правил оценки будут подавляться.
Перед запуском пакетов в Azure можно настроить для них параметры поддержки Azure. Например, можно включить проверку подлинности Windows в Azure-SSIS IR для доступа к локальным или облачным хранилищам данных, выполнив следующие действия.
Щелкните правой кнопкой мыши узел проекта в окне "Обозреватель решений" SSDT, чтобы открыть контекстное меню. Выберите пункт Параметры поддержки Azure в подменю Службы SSIS в Фабрике данных Azure, чтобы открыть окно со страницами свойств проекта.
Выберите свойство Включить проверку подлинности Windows в разделе Параметры поддержки Azure, а затем в раскрывающемся списке выберите значение true. Далее выберите свойство Учетные данные проверки подлинности Windows и нажмите кнопку с многоточием (...) напротив этого свойства, чтобы открыть окно Учетные данные проверки подлинности Windows.
Введите учетные данные проверки подлинности Windows. Например, для доступа к Файлам Azure можно ввести значения Azure
, YourStorageAccountName
и YourStorageAccountKey
в поля Домен, Имя пользователяи Пароль соответственно.
После подключения проектов с поддержкой Azure к SSIS в ADF, оценки их совместимости с облачной средой и устранения потенциальных проблем можно приступить к запуску и тестированию пакетов в среде выполнения Azure-SSIS IR.
Нажмите кнопку Запуск на панели инструментов SSDT. В раскрывающемся меню выберите пункт Выполнить в Azure.
То же самое можно сделать иначе. Щелкните правой кнопкой мыши узел проекта в окне "Обозреватель решений" SSDT, чтобы открыть контекстное меню. Выберите пункт Выполнить пакет в Azure.
Примечание
Для запуска пакетов в Azure необходима работающая среда выполнения Azure-SSIS IR, поэтому если ваша среда Azure-SSIS IR остановлена, откроется диалоговое окно для ее запуска. Без учета времени выполнения пользовательских программ установки этот процесс должен занять не более 5 минут, но на присоединение Azure-SSIS IR к виртуальной сети может потребоваться приблизительно 20–30 минут. После запуска пакетов в Azure можно остановить работу Azure-SSIS IR для управления затратами на выполнение. Для этого щелкните правой кнопкой мыши узел вашей среды выполнения Azure-SSIS IR в окне "Обозреватель решений SSDT, чтобы открыть меню, а затем выберите пункт Запуск/Остановка/Управление. После этого вы перейдете на портал ADF, где сможете выполнить соответствующую операцию.
Если ваши пакеты содержат задачи "Выполнение пакета", которые ссылаются на дочерние пакеты, хранящиеся в локальных файловых системах, выполните следующие дополнительные действия.
Отправьте дочерние пакеты в Файлы Azure той же учетной записи хранения Azure, которая подключена к вашим проектам, и получите новый UNC-путь к ним, например \\YourStorageAccountName.file.core.windows.net\ssdtexecution\YourChildPackage1.dtsx
.
Замените путь к файлам этим дочерних пакетов в диспетчере подключения файлов для задач "Выполнение пакета", указав вместо имеющегося пути полученный только что UNC-путь.
Если пакеты содержат задачи "Выполнение пакета", ссылающиеся на дочерние пакеты в том же проекте, никаких дополнительных действий не требуется.
Для запуска пакетов SSIS в Azure не поддерживаются уровни защиты EncryptSensitiveWithUserKey/EncryptAllWithUserKey. Поэтому, если ваши пакеты настроены для использования этих уровней защиты, они будут временно преобразовываться в пакеты с уровнями защиты EncryptSensitiveWithPassword/EncryptAllWithPassword соответственно. Кроме того, при отправке пакетов в Файлы Azure для запуска в среде выполнения Azure-SSIS IR будут создаваться случайные пароли шифрования.
Примечание
Если ваши пакеты содержат задачи "Выполнение пакета", которые ссылаются на дочерние пакеты, настроенные для использования уровней защиты EncryptSensitiveWithUserKey/EncryptAllWithUserKey, перед запуском этих пакетов вам необходимо будет перенастроить их вручную для использования уровней защиты EncryptSensitiveWithPassword/EncryptAllWithPassword соответственно.
Если пакеты уже настроены для использования уровней защиты EncryptSensitiveWithPassword/EncryptAllWithPassword, они останутся без изменений. При отправке пакетов в Файлы Azure для запуска в среде выполнения Azure-SSIS IR также будут создаваться случайные пароли шифрования.
Если в рамках модели развертывания проекта вы параметризуете свои пакеты или проект, то сможете создать несколько конфигураций VS для смены сред выполнения пакетов. В этом случае можно будет во время выполнения присваивать параметрам проекта или пакета значения, определяемые средой. Рекомендуется использовать по крайней мере две разные конфигурации VS для запуска пакетов в локальной и облачной средах, чтобы можно было включать поддержку Azure в проектах в соответствии с конфигурацией облака. Ниже приведен пошаговый пример смены среды выполнения пакетов с локального компьютера на Azure и наоборот.
Пусть пакет содержит задачу "Файловая система", которая задает атрибуты файла. При запуске на локальном компьютере задаются атрибуты файла, хранящегося в локальной файловой системе. При запуске в Azure-SSIS IR нужно, чтобы она задавала атрибуты файла, хранящегося в Файлах Azure. Сначала создайте параметр пакета типа String и назовите его FilePath. В нем будет храниться значение пути к целевому файлу.
Затем на странице Общие окна Редактор задачи "Файловая система" параметризуйте свойство SourceVariable в разделе Соединение с источником, используя параметр пакета FilePath.
По умолчанию у вас есть конфигурация VS с именем Разработка для запуска пакетов в локальной среде. Если вы еще этого не сделали, создайте конфигурацию VS для запуска пакетов в облачной среде с именем Azure (см. статью "Практическое руководство. Создание и изменение конфигураций").
При просмотре параметров пакета нажмите кнопку Добавить параметры в конфигурации, чтобы открыть окно Управление значениями параметров для этого пакета. Затем задайте разные значения пути к целевому файлу для параметра FilePath в конфигурациях Разработка и Azure.
Если вы еще этого не сделали, включите поддержку Azure в проекте в соответствии с конфигурацией облака (см. раздел "Включение поддержки Azure в существующих проектах SSIS"). Затем, если вы этого еще не сделали, настройте параметры поддержки Azure, чтобы включить проверку подлинности Windows для доступа Azure-SSIS IR к Файлам Azure (см. раздел "Настройка параметров поддержки Azure").
Запустите пакет на выполнение в Azure. Если нужно сменить среду выполнения пакета обратно на локальный компьютер, выберите конфигурацию Разработка.
Если вы пользуетесь файлами конфигурации пакетов в рамках модели развертывания пакетов, то можете во время выполнения присваивать свойствам пакета значения, зависящие от среды. Эти файлы будут автоматически отправляться вместе с вашими пакетами в Файлы Azure для запуска в среде выполнения Azure-SSIS IR.
После запуска пакета его журналы отображаются в отформатированном виде в окне Ход выполнения SSDT. Журналы длительно выполняющегося пакета обновляются поминутно. Выполнение пакета можно немедленно отменить, нажав кнопку Остановить на панели инструментов SSDT. Кроме того, необработанные данные журналов можно временно найти по следующему UNC-пути: \\<YourStorageAccountName>.file.core.windows.net\ssdtexecution\<YourProjectName-FirstConnectTime>\<YourPackageName-tmp-ExecutionTime>\logs
, но они будут удалены из этого расположения через сутки.
Добившись надлежащего выполнения своих пакетов в Azure из SSDT, вы можете развернуть их и запускать как действия "Выполнить пакет SSIS" в конвейерах ADF (см. статью Запуск пакетов SSIS как действий ''Выполнить пакет SSIS'' в конвейерах ADF").
События
31 мар., 23 - 2 апр., 23
Самое большое событие обучения Fabric, Power BI и SQL. 31 марта – 2 апреля. Используйте код FABINSIDER, чтобы сэкономить $400.
Зарегистрироваться сегодня