Среда выполнения интеграции в Фабрике данных Azure

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

Совет

Data Factory в Microsoft Fabric — это новая версия Фабрика данных Azure с более простой архитектурой, встроенным искусственным интеллектом и новыми функциями. Если вы новичок в интеграции данных, начните с Fabric Data Factory. Существующие рабочие нагрузки ADF могут обновляться до Fabric для доступа к новым возможностям в области обработки и анализа данных, аналитики в режиме реального времени и отчетов.

Интеграционная среда выполнения (IR) — это вычислительная инфраструктура, используемая конвейерами Фабрика данных Azure и Azure Synapse для предоставления следующих возможностей интеграции данных в различных сетевых средах:

  • Поток данных. Выполнение потока данных в управляемой вычислительной среде Azure.
  • Перемещение данных: копирование данных между хранилищами данных в общедоступной или частной сети (как для локальных, так и для виртуальных частных сетей). Служба поддерживает встроенные соединители, преобразование форматов, сопоставление столбцов, высокопроизводительную и масштабируемую передачу данных.
  • Диспетчер действий: распределение и мониторинг операций преобразования, которые выполняются в различных вычислительных службах, таких как Azure Databricks, Azure HDInsight, ML Studio (классическая версия), База данных SQL Azure, SQL Server и другие.
  • Выполнение пакетов SSIS: Выполнение пакетов SQL Server Integration Services (SSIS) в нативной среде в управляемой вычислительной среде Azure.

В конвейерах Фабрики данных и Synapse действия определяют выполняемые операции. Связанная служба обозначает целевое хранилище данных или службу вычислений. Среда выполнения интеграции соединяет между собой действия и связанные службы. Связанная служба или действие ссылается и предоставляет среду вычислений, в которой действие выполняется напрямую или отправляется. Эта связь позволяет выполнять действие в ближайшем регионе целевого хранилища данных или вычислительной службы, чтобы повысить производительность, а также обеспечить гибкость в соответствии с требованиями к безопасности и соответствию требованиям.

Среды выполнения интеграции можно создавать непосредственно в Фабрика данных Azure и интерфейсе Azure Synapse через центр управления, а также из любых действий, наборов данных или потоков данных, ссылающихся на них.

Типы сред выполнения интеграции

Data Factory предлагает три типа интеграционных систем выполнения (IR), и вам следует выбрать тот, который лучше всего соответствует вашим возможностям интеграции данных и требованиям сетевой среды. Существуют три типа IR:

  • Azure
  • Самостоятельный хостинг
  • Azure-SSIS

Примечание.

В настоящее время конвейеры Synapse поддерживают только среду выполнения Azure или локальную среду выполнения интеграции.

В следующей таблице описаны возможности и поддержка сетей для каждого типа интеграции среды выполнения.

Тип IR Поддержка общедоступной сети Поддержка Приватный канал
Azure Поток данных
Перемещение данных
Диспетчеризация действий		 Поток данных
Перемещение данных
Диспетчеризация действий
Самостоятельный хостинг Перемещение данных
Диспетчеризация действий		 Перемещение данных
Диспетчеризация действий
Azure-SSIS Выполнение пакета SSIS Выполнение пакета SSIS

Примечание.

Элементы управления исходящего трафика зависят от службы в Azure IR. В Synapse рабочие пространства имеют опции ограничения исходящего трафика из управляемой виртуальной сети при использовании Azure IR. В Data Factory все порты открываются для исходящей связи при использовании Azure IR. Azure-SSIS IR можно интегрировать с виртуальной сетью для предоставления элементов управления исходящими данными .

Среда выполнения интеграции Azure

Возможности среды выполнения интеграции Azure:

  • выполнение потоков данных в Azure;
  • Выполнение действий копирования между облачными хранилищами данных
  • Распределение следующих операций преобразования в общедоступной сети:
    • Настраиваемая активность .NET
    • Действия функции Azure
    • Действие Databricks Notebook/ Jar/ Python
    • Действие Получить метаданные
    • Активность Hive в HDInsight
    • Операция HDInsight Pig
    • Действие MapReduce в HDInsight
    • Действие HDInsight Spark
    • Действие потоковой передачи HDInsight
    • Действие поиска
    • Действие выполнения пакета в Machine Learning Studio (classic)
    • Обновление ресурса в "Классической версии Студии машинного обучения"
    • Активность хранимой процедуры
    • Валидация действия
    • Веб-активность

Сетевая среда Azure IR

Интеграция Azure поддерживает подключение к хранилищам данных и вычислительным сервисам с общедоступными конечными точками. При включении Managed виртуальная сеть Azure интеграция поддерживает подключение к хранилищам данных через Приватный канал в частной сетевой среде. В Synapse рабочие области имеют возможность ограничить исходящий трафик из управляемой виртуальной сети. В Фабрике данных все порты открыты для исходящих подключений. Среда выполнения интеграции Azure-SSIS может быть интегрирована с виртуальной сетью для предоставления элементов управления исходящими данными .

Вычислительные ресурсы и масштабирование Azure IR

Среда выполнения интеграции Azure предоставляет полностью управляемые вычисления в Azure без использования серверов. Вам не нужно беспокоиться о подготовке инфраструктуры, установке программного обеспечения, исправлении или масштабировании емкости. Кроме того, вы платите только за то, что используете.

Среда выполнения интеграции Azure предоставляет вычисления в собственном коде для безопасного, надежного и высокопроизводительного перемещения данных между облачными хранилищами данных. Вы можете настроить количество единиц интеграции данных для копирования, и размер вычислительной мощности Azure IR будет эластично масштабироваться соответственно, не требуя явной настройки размера времени выполнения интеграции Azure.

Диспетчеризация активности — это лёгкая операция для маршрутизации активности на целевую вычислительную службу, поэтому нет необходимости увеличивать размер вычислительных данных в этом сценарии.

Сведения о создании и настройке Azure IR см. в статье "Создание и настройка среды выполнения интеграции Azure".

Примечание.

Операционная среда интеграции Azure обладает свойствами, связанными с Поток данных runtime, который определяет базовую вычислительную инфраструктуру, используемую для запуска потоков данных.

Локальная среда выполнения интеграции

Самостоятельно размещённый IR обладает следующими возможностями.

  • Запуск копирования между облачным хранилищем данных и хранилищем данных в частной сети.
  • Отправка следующих действий преобразования для вычислительных ресурсов в локальной среде или виртуальной сети Azure.
    • Действия функции Azure
    • Настраиваемое действие (выполняется в пакетной службе Azure)
    • Действие Получить метаданные
    • Операция Hive в HDInsight (использование собственного кластера (BYOC))
    • Действие Pig в HDInsight (BYOC)
    • Действие MapReduce в HDInsight (BYOC)
    • Активность Spark в HDInsight (BYOC)
    • Активность потоковой аналитики в HDInsight (BYOC)
    • Действие поиска
    • Действие выполнения пакета в Machine Learning Studio (classic)
    • Обновление ресурса в "Классической версии Студии машинного обучения"
    • Действие Execute Pipeline в Машинном обучении
    • Активность хранимой процедуры
    • Валидация действия
    • Веб-активность

Примечание.

Используйте самостоятельную интеграционную среду выполнения для поддержки хранилищ данных, требующих драйвера для самостоятельного подключения, таких как SAP HANA и MySQL. Для получения дополнительной информации смотрите поддерживаемые хранилища данных.

Примечание.

Java Runtime Environment (JRE) является зависимостью от самостоятельно размещаемого IR. Убедитесь, что на одном узле установлен JRE.

Локальная сетевая среда IR

Если вы хотите безопасно выполнять интеграцию данных в среде частной сети, которая не связана напрямую с общедоступной облачной средой, вы можете установить локальную среду IR в локальной среде за брандмауэром или внутри виртуальной частной сети. Локальная среда выполнения интеграции использует только исходящие HTTP-подключения к Интернету.

Вычислительные ресурсы и масштабирование локальной среды IR

Установите самостоятельную локальную версию IR на локальном компьютере или на виртуальной машине в частной сети. В настоящее время локальная среда IR поддерживается только в операционной системе Windows. Чтобы обеспечить высокий уровень доступности и масштабируемости, горизонтально увеличьте масштаб самостоятельно размещенной интеграционной службы (IR), связав логический экземпляр с несколькими локальными машинами в режиме "активный — активный". Дополнительные сведения см. в статье Создание и настройка локальной среды IR.

Azure-SSIS среда выполнения интеграции

Чтобы переместить уже существующую рабочую нагрузку SSIS, создайте Azure SSIS IR для выполнения пакетов служб SSIS в собственной среде.

Сетевая среда Azure-SSIS IR

Среда Azure-SSIS IR может быть развернута в общей или частной сети. Доступ к локальным данным обеспечивается за счет присоединения среды Azure-SSIS IR к виртуальной сети, подключенной к локальной сети.

Вычислительные ресурсы и масштабирование Azure-SSIS IR

Azure-SSIS IR — это полностью управляемый кластер виртуальных машин Azure, выделенный для выполнения пакетов служб SSIS. Вы можете использовать собственную Базу данных Azure SQL или Управляемый экземпляр Azure SQL для каталога проектов и пакетов SSIS (SSISDB). Чтобы увеличить вычислительную мощность, укажите размер узлов, а чтобы увеличить количество ресурсов, укажите количество узлов в кластере. Вы можете управлять затратами на работу интеграционного процесса Azure-SSIS, останавливая и запуская его по мере ваших требований.

Для получения дополнительной информации см. Создание и настройка среды выполнения интеграции Azure-SSIS. После создания среды вы сможете развернуть существующие пакеты служб SSIS и управлять ими практически так же, как при использовании локальной SSIS, с помощью привычных средств, например SQL Server Data Tools (SSDT) и SQL Server Management Studio (SSMS).

Дополнительные сведения о среде выполнения Azure-SSIS см. в следующих статьях:

  • Учебник: развертывание пакетов SSIS (служб интеграции SQL Server) в Azure. Эта статья содержит пошаговые инструкции по созданию Azure-SSIS IR с использованием базы данных SQL Azure для размещения каталога SSIS.
  • Создание среды выполнения интеграции Azure SSIS. Эта статья дополняет соответствующее руководство и содержит инструкции по использованию Управляемого экземпляра SQL и присоединению среды IR к виртуальной сети.
  • Мониторинг Azure-SSIS IR. В этом статье показано, как извлечь сведения о среде Azure-SSIS IR, и приведено описание состояний в возвращаемых данных.
  • Manage an Azure-SSIS integration runtime (Управление средой выполнения интеграции Azure SSIS). В этой статье показано, как остановить, запустить или удалить Azure SSIS IR. В ней также показано, как масштабировать Azure-SSIS IR, добавив больше узлов в IR.
  • Присоединить Azure-SSIS IR к виртуальной сети В этой статье содержатся общие сведения о присоединении среды выполнения интеграции Azure–SSIS к виртуальной сети Azure. Здесь также приводятся инструкции по использованию портала Azure для настройки виртуальной сети и присоединения к ней Azure-SSIS IR.

Расположение среды выполнения интеграции

Связь между расположением фабрики и местоположением IR

Когда вы создаёте экземпляр Data Factory или рабочее пространство Synapse, нужно указать его местоположение. Здесь хранятся метаданные для экземпляра, а запуск конвейера осуществляется отсюда. Метаданные хранятся только в выбранном регионе и не хранятся в других регионах.

Сейчас, чтобы переместить данные между хранилищами данных или обработать данные с помощью служб вычислений, конвейер может обращаться к хранилищам данных и службам вычислений в других регионах Azure. Это поведение реализуется через глобально доступную среду IR для обеспечения соответствия данных, эффективности и снижения расходов на исходящий трафик.

Местоположение IR определяет местоположение его бэк-энд-вычислительной базы, а также место, где выполняются перемещение данных, диспетчеризация активности и выполнение пакета SSIS. Расположение IR может отличаться от расположения Фабрики данных, которой она принадлежит.

Расположение Azure IR

Можно задать регион расположения Azure IR, в котором выполняется действие или отправка в выбранном регионе.

По умолчанию используется автоматическое обнаружение Azure IR в общедоступной сети. С помощью этого параметра:

  • Для действия копирования прилагаются все усилия для автоматического обнаружения расположения хранилища данных приемника, а затем используется среда выполнения IR в том же регионе, если доступно, или ближайшая в той же географической области. Если регион хранилища данных приемника не может быть обнаружен, вместо этого используется среда выполнения IR в регионе экземпляра.

    Например, на востоке США была создана рабочая площадка Data Factory или Synapse,

    • При копировании данных в объект Blob Azure в регионе Запад США, если объект Blob обнаружен в регионе Запад США, действие копирования выполняется в среде IR в регионе Запад США, если обнаружение региона завершается ошибкой, действие копирования выполняется в среде IR в регионе Восток США.
    • При копировании данных в Salesforce, для которого регион не обнаруживается, действие копирования выполняется в среде IR на востоке США.

    Совет

    Если у вас строгие требования к соблюдению данных и нужно убедиться, что данные не покидают определённую территорию, вы можете явно создать Azure IR в определённом регионе и направить связанный сервис к этому IR, используя свойство ConnectVia. Например, если вы хотите скопировать данные из blob в UK South в рабочее пространство Azure Synapse в UK South и хотите убедиться, что данные не покидают UK, создайте Azure IR в UK South и свяжите оба связанных сервиса с этим IR.

  • Для выполнения активности Lookup/GetMetadata/Delete (Pipeline activities), диспетчеризации трансформационной активности (внешние активности) и операций авторизации (тестовое подключение, список папок и таблиц просмотра, а также предварительный просмотр данных) используется IR в том же регионе, что и Data Factory или рабочее пространство Synapse.

  • Для Поток данных используется ИК в области Data Factory или рабочего пространства Synapse.

    Совет

    Рекомендуется по возможности обеспечить выполнение потоков данных в том же регионе, в котором размещены соответствующие хранилища данных. Вы можете сделать это либо с помощью авторазрешения для Azure IR (если местоположение хранилища данных совпадает с местоположением Data Factory или Synapse workspace), либо создав новый экземпляр Azure IR в том же регионе, что и ваши хранилища, и затем выполнив потоки данных на нём.

Если включить Managed виртуальная сеть с авторазрешением для Azure IR, используется ИК в области Data Factory или Synapse workspace.

Вы можете отслеживать, какая среда IR действует во время выполнения активности, в представлении мониторинга активности конвейера в Data Factory Studio или Synapse Studio, или в нагрузке мониторинга активности.

Расположение локальной среды IR

Самостоятельно размещённый IR логически регистрируется в Data Factory или рабочем пространстве Synapse, и вы предоставляете вычислительные данные, используемые для поддержки его функциональности. Поэтому для самостоятельно размещенного IR нет явного свойства расположения.

Если самостоятельно размещаемый интеграционный узел используется для перемещения данных, он извлекает данные из источника и записывает их в конечное место назначения.

Расположение среды Azure-SSIS IR

Примечание.

Среды выполнения интеграции Azure-SSIS в настоящее время не поддерживаются в конвейерах Synapse.

От выбора расположения для службы Azure SSIS IR зависит производительность рабочих процессов извлечения, преобразования и загрузки.

  • Расположение вашего Azure-SSIS IR не обязательно должно совпадать с расположением вашего фабрики данных, но должно совпадать с расположением вашей базы данных Azure SQL или управляемого экземпляра SQL, где находится SSISDB. Таким образом, ваша операционная среда интеграции Azure-SSIS сможет легко получить доступ к SSISDB без чрезмерного трафика между разными локациями.
  • Если у вас нет существующей базы данных SQL или управляемого экземпляра SQL, но у вас есть локальные источники данных или назначения, следует создать новую базу данных SQL Azure или управляемый экземпляр SQL в том же расположении виртуальной сети, подключенной к вашей локальной сети. Таким образом можно создать среду Azure-SSIS IR с помощью новой Базы данных SQL Azure или Управляемого экземпляра SQL и присоединить ее к этой виртуальной сети. Все находится в одном расположении, минимизируя перемещение данных и связанные затраты, а также максимизируя производительность.
  • Если местоположение вашего существующего База данных SQL Azure или Управляемый экземпляр SQL не совпадает с местоположением виртуальной сети, подключённой к вашей локальной сети, сначала создайте Azure-SSIS IR с помощью существующего База данных SQL Azure или Управляемый экземпляр SQL и присоединиться к другой виртуальной сети в том же месте. Затем настройте подключение между виртуальными сетями в разных расположениях.

На следующей схеме показаны параметры расположения Фабрики данных и ее среды выполнения интеграции.

Диаграмма, показывающая настройки местоположения Data Factory и его интеграционные времена.

Определение, какой IR использовать

Если действие связывается с несколькими типами среды выполнения интеграции, оно разрешается одной из них. Самостоятельная интеграционная среда выполнения имеет приоритет над интеграционным временем Azure в Фабрика данных Azure или Synapse workspace, использующих управляемую виртуальную сеть. И последняя имеет приоритет перед глобальной средой выполнения интеграции Azure.

Например, одно действие копирования используется для копирования данных из источника в приемник. Глобальная среда выполнения интеграции Azure связана с источником через связанную службу, а среда выполнения интеграции Azure в управляемой виртуальной сети Фабрика данных Azure связана с связанной службой для приемника. В результате обе связанные службы, как для источника, так и для приемника, используют среду выполнения интеграции Azure в управляемой виртуальной сети Фабрика данных Azure. Но если локальная среда выполнения интеграции связана с связанной службой для источника, то связанная служба источника и приемника используют локальную среду выполнения интеграции.

Действие копирования

Для действия Copy нужны связанные службы источника и приемника данных, которые определяют направление потока данных. Далее описан алгоритм выбора экземпляра среды выполнения интеграции, который будет выполнять копирование.

  • Копирование между двумя облачными источниками данных: если связанные службы источника и приемника используют Azure IR, региональный Azure IR используется, если он указан, или расположение Azure IR автоматически определяется, если был выбран параметр авторешение IR (по умолчанию), как описано в разделе Расположение среды выполнения интеграции.
  • Копирование между облачным источником данных и источником данных в частной сети: если связанная служба источника или приемника использует самостоятельно размещаемую IR, то действие копирования выполняется в этой самостоятельно размещаемой IR.
  • Копирование между двумя источниками данных в частной сети. Обе связанные службы источника и приемника должны указывать на один экземпляр среды выполнения интеграции, и именно эта среда используется для выполнения действия копирования.

Действие поиска и получения метаданных

Действие поиска и получения метаданных выполняется в среде выполнения интеграции, ассоциированной со связанной службой хранилища данных.

Внешняя активность преобразования

Каждое внешнее преобразование, использующее внешний вычислительный движок, имеет целевой сервис, связанный с вычислениями, который указывает на интеграционную среду выполнения. Этот экземпляр IR определяет расположение, из которого диспетчеризируется это запрограммированное вручную внешнее действие преобразования.

Деятельность потока данных

Действия Потока данных выполняются в связанной с ними среде выполнения интеграции Azure. Свойства потока данных в вашем Azure IR определяют используемые вычислительные вычисления Spark и полностью управляются сервисом.

Интеграция в CI/CD

Среды выполнения интеграции не меняются часто и одинаковы на всех стадиях в вашем CI/CD. Data Factory требует, чтобы имя и тип среды выполнения интеграции были одинаковыми на всех стадиях CI/CD. Если вы хотите совместно использовать среды выполнения интеграции на всех стадиях, рассмотрите возможность использования отдельной фабрики, чтобы содержать общие среды выполнения интеграции. Эту общую фабрику можно использовать во всех средах в качестве связанного типа среды выполнения интеграции.

Связанный контент

См. следующие статьи:

  • Last updated on