Бөлісу құралы:

Создание локальной среды выполнения интеграции и управление ею

  • Мақала

Среда выполнения интеграции (IR) — это вычислительная инфраструктура, которую Microsoft Purview использует для проверки данных в разных сетевых средах.

Локальная среда выполнения интеграции (SHIR) может использоваться для сканирования источника данных в локальной или виртуальной сети. Для установки локальной среды выполнения интеграции требуется локальный компьютер или виртуальная машина в частной сети.

В этой статье рассматриваются как настройка локальной среды выполнения интеграции, так и устранение неполадок и управление.

Статья Section
Настройка новой локальной среды выполнения интеграции Требования к компьютеру
Требования к компьютеру для конкретного источника перечислены в разделе Предварительные требования в каждой исходной статье.
Руководство по настройке
Сеть Требования к сети
Прокси-серверы
Частные конечные точки
Устранение неполадок прокси-сервера и брандмауэра
Устранение неполадок с подключением
Управление Общие

Примечание.

Невозможно предоставить общий доступ к Integration Runtime Microsoft Purview Azure Synapse Analytics или Фабрика данных Azure Integration Runtime на одном компьютере. Его необходимо установить на отдельном компьютере.

Предварительные требования

  • Поддерживаемые версии Windows:
    • Windows 8.1
    • Windows 10
    • Windows 11
    • Windows Server 2012
    • Windows Server 2012 R2
    • Windows Server 2016
    • Windows Server 2019
    • Windows Server 2022

Установка локальной среды выполнения интеграции на контроллере домена не поддерживается.

Важно!

Проверка некоторых источников данных требует дополнительной настройки на локальном компьютере среды выполнения интеграции. Например, JDK, Распространяемый компонент Visual C++ или конкретный драйвер. Сведения о необходимых компонентах см. в каждой статье. Все требования будут перечислены в разделе Предварительные требования .

  • Чтобы добавить SHIR в Microsoft Purview и управлять им, вам потребуются разрешения администратора источника данных в Microsoft Purview.

  • Для локальной среды выполнения интеграции требуется 64-разрядная операционная система с платформа .NET Framework 4.7.2 или более поздней версии. Дополнительные сведения см. в разделе платформа .NET Framework требования к системе.

  • Рекомендуемая минимальная конфигурация для локального компьютера среды выполнения интеграции — процессор с частотой 2 ГГц с 8 ядрами, 28 ГБ ОЗУ и 80 ГБ свободного места на жестком диске. Для сканирования некоторых источников данных может потребоваться более высокая спецификация компьютера в зависимости от вашего сценария. Также проверка предварительные требования в соответствующей статье соединителя.

  • Если хост-компьютер в режиме гибернации, локальная среда выполнения интеграции не отвечает на запросы данных. Настройте соответствующую план управления питанием на компьютере перед установкой локальной среды выполнения интеграции. Если компьютер настроен для режима гибернации, локальный установщик среды выполнения интеграции запрашивает сообщение.

  • Для успешной установки и настройки локальной среды выполнения интеграции необходимо быть администратором компьютера.

  • Запуски сканирования выполняются с определенной частотой в соответствии с настроенным расписанием. Использование процессора и ОЗУ на компьютере выполняется по той же схеме, что и пиковое время, и время простоя. Использование ресурсов также в значительной степени зависит от объема сканируемых данных. При выполнении нескольких заданий сканирования вы увидите, что использование ресурсов в пиковое время повышается.

Важно!

Если для сканирования файлов Parquet используется среда выполнения интеграции Self-Hosted, необходимо установить на компьютере ir IR 64-разрядную версию JRE 8 (среда выполнения Java) или OpenJDK . Ознакомьтесь с разделом Среда выполнения Java в нижней части страницы , чтобы ознакомиться с руководством по установке.

Рекомендации по использованию локальной среды ir

  • Для сканирования нескольких источников данных можно использовать одну локальную среду выполнения интеграции.
  • На любом компьютере можно установить только один экземпляр локальной среды выполнения интеграции. Если у вас есть две учетные записи Microsoft Purview, которым необходимо проверять локальные источники данных, установите локальную среду ir на двух компьютерах, по одной для каждой учетной записи Microsoft Purview.
  • Локальная среда выполнения интеграции не обязательно должна находиться на том же компьютере, что и источник данных, за исключением случаев, когда в соответствующей статье об источнике не указано специальное условие. Наличие локальной среды выполнения интеграции рядом с источником данных сокращает время подключения локальной среды выполнения интеграции к источнику данных.

Настройка локальной среды выполнения интеграции

Чтобы создать и настроить локальную среду выполнения интеграции, используйте следующие процедуры.

Создание локальной среды выполнения интеграции

Примечание.

Чтобы добавить SHIR в Microsoft Purview или управлять им, вам потребуются разрешения администратора источника данных в Microsoft Purview.

  1. На домашней странице портала управления Microsoft Purview выберите Карта данных в области навигации слева.

  2. В разделе Источники и сканирование на панели слева выберите Среды выполнения интеграции, а затем выберите + Создать.

    Выберите IR.

  3. На странице Настройка среды выполнения интеграции выберите Локальный , чтобы создать локальную среду ir, а затем нажмите кнопку Продолжить.

    Создайте новый SHIR.

  4. Введите имя среды ir и нажмите кнопку Создать.

  5. На странице параметров Integration Runtime выполните действия, описанные в разделе Настройка вручную. Вам потребуется скачать среду выполнения интеграции с сайта загрузки на виртуальную машину или компьютер, где вы планируете ее запустить.

    получение ключа

    • Скопируйте и вставьте ключ проверки подлинности.

    • Скачайте локальную среду выполнения интеграции с Microsoft Integration Runtime на локальном компьютере Windows. Запустите установщик. Поддерживаются версии локальной среды выполнения интеграции, такие как 5.4.7803.1 и 5.6.7795.1.

    • На странице Регистрация Integration Runtime (Self-hosted) вставьте один из двух ключей, сохраненных ранее, и выберите Зарегистрировать.

      входной ключ.

    • На странице Новый узел Integration Runtime (Self-hosted) нажмите кнопку Готово.

  6. После успешной регистрации локальной среды выполнения интеграции вы увидите следующее окно:

    успешно зарегистрировано.

Вы можете зарегистрировать несколько узлов для локальной среды выполнения интеграции с помощью одного ключа. Дополнительные сведения см. в разделе Высокий уровень доступности и масштабируемость.

Управление локальной средой выполнения интеграции

Вы можете изменить локальную среду выполнения интеграции, перейдя к средам выполнения интеграции на портале управления Microsoft Purview, наведите указатель мыши на ir и нажмите кнопку Изменить .

изменить сведения об ir.

Вы можете удалить локальную среду выполнения интеграции, перейдя в среду выполнения интеграции, наведя указатель мыши на ir, а затем нажмите кнопку Удалить .

Значки и уведомления области уведомлений

Если вы наведете курсор на значок или сообщение в области уведомлений, вы увидите сведения о состоянии локальной среды выполнения интеграции.

Уведомления в области уведомлений

Учетная запись службы для локальной среды выполнения интеграции

Учетной записью службы входа по умолчанию локальной среды выполнения интеграции является NT SERVICE\DIAHostService. Его можно увидеть в разделе Службы —> служба Integration Runtime —> Свойства —> Вход.

Учетная запись службы для локальной среды выполнения интеграции

Убедитесь, что учетная запись имеет разрешение Вход как услуга. В противном случае локальная среда выполнения интеграции не может успешно запуститься. Разрешение можно проверка в разделе Локальная политика безопасности —> Параметры безопасности —> Локальные политики —> Назначение прав пользователя —> Вход как услуга

Снимок экрана: локальная политика безопасности — назначение прав пользователя

Снимок экрана: назначение прав пользователя

Высокая доступность и масштабируемость

Локальную среду выполнения интеграции можно связать с несколькими локальными машинами или виртуальными машинами в Azure. Эти компьютеры называются узлами. С локальной средой выполнения интеграции можно связать до четырех узлов. Преимущества наличия нескольких узлов:

  • Выше доступность локальной среды выполнения интеграции, чтобы она больше не была единственной точкой сбоя для сканирования. Такая доступность помогает обеспечить непрерывность при использовании до четырех узлов.
  • Выполнение дополнительных одновременных проверок. Каждая локальная среда выполнения интеграции может одновременно выполнять множество проверок, автоматически определяемых на основе ЦП или памяти компьютера. Вы можете установить больше узлов, если требуется больше параллелизма.
  • При проверке таких источников, как BLOB-объект Azure, Azure Data Lake Storage 1-го поколения, Azure Data Lake Storage 2-го поколения и Файлы Azure, каждый запуск сканирования может использовать все эти узлы для повышения производительности сканирования. Для других источников сканирование будет выполняться на одном из узлов.

Вы можете связать несколько узлов, установив локальное программное обеспечение среды выполнения интеграции из Центра загрузки. Затем зарегистрируйте его с помощью того же ключа проверки подлинности.

Примечание.

Перед добавлением другого узла для обеспечения высокой доступности и масштабируемости убедитесь, что на первом узле включен параметр Удаленный доступ к интрасети . Для этого выберите Microsoft Integration Runtime Configuration Manager>Настройки>Удаленный доступ к интрасети.

Требования к сети

Для правильной работы локального компьютера среды выполнения интеграции необходимо подключиться к нескольким ресурсам:

  • Службы Microsoft Purview, используемые для управления локальной средой выполнения интеграции.
  • Источники данных, которые нужно проверить с помощью локальной среды выполнения интеграции.
  • Управляемая учетная запись хранения, созданная Microsoft Purview. Помимо прочего, Microsoft Purview использует эти ресурсы для приема результатов сканирования, поэтому локальная среда выполнения интеграции должна иметь возможность подключаться к этим ресурсам.

Существует два брандмауэра, которые следует учитывать:

  • Корпоративный брандмауэр, работающий на центральном маршрутизаторе организации
  • Брандмауэр Windows, настроенный в качестве управляющей программы на локальном компьютере, где установлена локальная среда выполнения интеграции.

Ниже приведены домены и исходящие порты, которые необходимо разрешить в корпоративных брандмауэрах и брандмауэрах Windows или компьютера.

Совет

Для доменов с< managed_storage_account> добавьте имя управляемых ресурсов, связанных с учетной записью Microsoft Purview. Их можно найти на вкладке портал Azure —> учетная запись Microsoft Purview —> Управляемые ресурсы.

Доменные имена Исходящие порты Описание
*.frontend.clouddatahub.net 443 Требуется для подключения к службе Microsoft Purview. В настоящее время требуется подстановочный знак, так как не существует выделенного ресурса.
*.servicebus.windows.net 443 Требуется для настройки проверки на портале управления Microsoft Purview. Эта конечная точка используется для интерактивной разработки из пользовательского интерфейса, например для проверки подключения, просмотра списка папок и списка таблиц для область сканирования. Чтобы избежать использования подстановочных знаков, см . раздел Получение URL-адреса Ретранслятора Azure.
<purview_account>.purview.azure.com 443 Требуется для подключения к службе Microsoft Purview. Если вы используете частные конечные точки Purview, эта конечная точка покрывается частной конечной точкой учетной записи.
<managed_storage_account>.blob.core.windows.net 443 Требуется для подключения к учетной записи хранения BLOB-объектов Azure, управляемой Microsoft Purview. Если вы используете частные конечные точки Purview, эта конечная точка покрывается частной конечной точкой приема.
<managed_storage_account>.queue.core.windows.net 443 Требуется для подключения к учетной записи хранения очереди Azure, управляемой Microsoft Purview. Если вы используете частные конечные точки Purview, эта конечная точка покрывается частной конечной точкой приема.
download.microsoft.com 443 Требуется для скачивания обновлений локальной среды выполнения интеграции. Если автоматическое обновление отключено, можно пропустить настройку этого домена.
login.windows.net
login.microsoftonline.com		 443 Требуется для входа в Azure Active Directory.

Примечание.

Так как в настоящее время Azure Relay не поддерживает тег службы, необходимо использовать тег службы AzureCloud или Интернет в правилах NSG для связи с Azure Relay.

В зависимости от источников, которые требуется проверить, также необходимо разрешить другие домены и исходящие порты для других источников Azure или внешних источников. Ниже приведено несколько примеров:

Доменные имена Исходящие порты Описание
<your_storage_account>.dfs.core.windows.net 443 При проверке Azure Data Lake Store 2-го поколения.
<your_storage_account>.blob.core.windows.net 443 При проверке хранилища BLOB-объектов Azure.
<your_sql_server>.database.windows.net 1433 При сканировании базы данных Azure SQL.
*.powerbi.com и *.analysis.windows.net 443 При проверке клиента Power BI.
<your_ADLS_account>.azuredatalakestore.net 443 При проверке Azure Data Lake Store 1-го поколения.
Различные домены Зависимые Домены и порты для любых других источников, которые будет проверять SHIR.

Для некоторых облачных хранилищ данных, таких как база данных Azure SQL и служба хранилища Azure, может потребоваться разрешить IP-адрес локального компьютера среды выполнения интеграции в конфигурации брандмауэра или создать частную конечную точку службы в сети локальной среды выполнения интеграции.

Важно!

В большинстве сред также необходимо убедиться, что dns настроен правильно. Для подтверждения можно использовать nslookup с компьютера SHIR для проверка подключения к каждому из доменов. Каждый nslookup должен возвращать IP-адрес ресурса. Если вы используете частные конечные точки, должен быть возвращен частный IP-адрес, а не общедоступный. Если IP-адрес не возвращается или при использовании частных конечных точек возвращается общедоступный IP-адрес, необходимо указать связь DNS-виртуальной сети или пиринг между частной конечной точкой и виртуальной сетью.

Получение URL-адреса Azure Relay

Один обязательный домен и порт, которые необходимо поместить в список разрешенных брандмауэра, предназначен для связи с Azure Relay. Локальная среда выполнения интеграции использует ее для интерактивной разработки, например для проверки подключения и просмотра списка папок или таблиц. Если вы не хотите разрешать .servicebus.windows.net и хотите иметь более конкретные URL-адреса, вы можете просмотреть все полные доменные имена, необходимые локальной среде выполнения интеграции. Выполните следующие действия:

  1. Перейдите на портал управления Microsoft Purview —> Карта данных —> среды выполнения интеграции и измените локальную среду выполнения интеграции.

  2. На странице Правка выберите вкладку Узлы .

  3. Выберите Просмотреть URL-адреса служб , чтобы получить все полные доменные имена.

    Снимок экрана: получение URL-адресов ретранслятора Azure для среды выполнения интеграции.

  4. Эти полные доменные имена можно добавить в список разрешенных правил брандмауэра.

Примечание.

Сведения о протоколе подключений ретранслятора Azure см. в статье Протокол гибридных подключений ретранслятора Azure.

Рекомендации по прокси-серверу

Если ваша корпоративная сетевая среда использует прокси-сервер для доступа к Интернету, настройте локальную среду выполнения интеграции для использования соответствующих параметров прокси-сервера. Прокси-сервер можно задать на начальном этапе регистрации или после его регистрации.

Указание прокси-сервера

После настройки локальная среда выполнения интеграции использует прокси-сервер для подключения к службам, использующим протокол HTTP или HTTPS. Именно поэтому во время начальной настройки вы выбираете ссылку Изменить .

Настройка прокси-сервера

Microsoft Purview поддерживает два варианта конфигурации:

  • Не используйте прокси-сервер. Локальная среда выполнения интеграции явно не использует прокси-сервер для подключения к облачным службам.
  • Использование системного прокси-сервера. Локальная среда выполнения интеграции использует параметр прокси-сервера, настроенный в файлах конфигурации исполняемого файла. Если в этих файлах не указан прокси-сервер, локальная среда выполнения интеграции подключается к службам напрямую, не проходя через прокси-сервер.
  • Использование настраиваемого прокси-сервера. Настройте параметр прокси-сервера HTTP для локальной среды выполнения интеграции вместо использования конфигураций в diahost.exe.config и diawp.exe.config. Требуются значения Address и Port . Значения имя пользователя и пароль являются необязательными в зависимости от параметра проверки подлинности прокси-сервера. Все параметры шифруются с помощью Windows DPAPI в локальной среде выполнения интеграции и хранятся локально на компьютере.

Примечание.

Подключение к источникам данных через прокси-сервер не поддерживается для соединителей, отличных от источников данных Azure и Power BI.

Служба узла среды выполнения интеграции автоматически перезапускается после сохранения обновленных параметров прокси-сервера.

После регистрации локальной среды выполнения интеграции, если вы хотите просмотреть или обновить параметры прокси-сервера, используйте Microsoft Integration Runtime Configuration Manager.

  1. Откройте Microsoft Integration Runtime Configuration Manager.
  2. Выберите вкладку Параметры.
  3. В разделе Прокси-сервер HTTP выберите ссылку Изменить , чтобы открыть диалоговое окно Установка прокси-сервера HTTP .
  4. Нажмите кнопку Далее. Затем появится предупреждение с запросом разрешения на сохранение параметра прокси-сервера и перезапуск службы узла среды выполнения интеграции.

Примечание.

Если вы настроили прокси-сервер с проверкой подлинности NTLM, служба узла среды выполнения интеграции запускается под учетной записью домена. Если позже вы измените пароль для учетной записи домена, не забудьте обновить параметры конфигурации для службы и перезапустить службу. Из-за этого требования рекомендуется получить доступ к прокси-серверу с помощью выделенной учетной записи домена, которая не требует частого обновления пароля.

При использовании системного прокси-сервера убедитесь, что прокси-сервер разрешает исходящий трафик правилам сети.

Настройка параметров прокси-сервера

Если для прокси-сервера HTTP выбран параметр Использовать системный прокси-сервер, локальная среда выполнения интеграции использует параметры прокси-сервера в следующих четырех файлах по пути C:\Program Files\Microsoft Integration Runtime\5.0\ для выполнения различных операций:

  • .\Shared\diahost.exe.config
  • .\Shared\diawp.exe.config
  • .\Gateway\DataScan\Microsoft.DataMap.Agent.exe.config
  • .\Gateway\DataScan\DataTransfer\Microsoft.DataMap.Agent.Connectors.Azure.DataFactory.ServiceHost.exe.config

Если в этих файлах не указан прокси-сервер, локальная среда выполнения интеграции подключается к службам напрямую, не проходя через прокси-сервер.

Следующая процедура содержит инструкции по обновлению файлаdiahost.exe.config .

  1. В проводник создайте безопасную копию C:\Program Files\Microsoft Integration Runtime\5.0\Shared\diahost.exe.config в качестве резервной копии исходного файла.

  2. Откройте Блокнот от имени администратора.

  3. В Блокноте откройте текстовый файл C:\Program Files\Microsoft Integration Runtime\5.0\Shared\diahost.exe.config.

  4. Найдите тег system.net по умолчанию, как показано в следующем коде:

    <system.net>
    <defaultProxy useDefaultCredentials="true" />
</system.net>

    Затем можно добавить сведения о прокси-сервере, как показано в следующем примере:

    <system.net>
  <defaultProxy>
    <proxy bypassonlocal="true" proxyaddress="<your proxy server e.g. http://proxy.domain.org:8888/>" />
  </defaultProxy>
</system.net>

    Тег прокси-сервера позволяет другим свойствам указывать необходимые параметры, например scriptLocation. Синтаксис см. в разделе <Прокси-элемент> (параметры сети).

    <proxy autoDetect="true|false|unspecified" bypassonlocal="true|false|unspecified" proxyaddress="uriString" scriptLocation="uriString" usesystemdefault="true|false|unspecified "/>

  5. Сохраните файл конфигурации в исходном расположении.

Повторите ту же процедуру, чтобы обновить файлыdiawp.exe.config и Microsoft.DataMap.Agent.exe.config .

Затем перейдите по пути C:\Program Files\Microsoft Integration Runtime\5.0\Gateway\DataScan\DataTransfer, создайте файл с именем "Microsoft.DataMap.Agent.Connectors.Azure.DataFactory.ServiceHost.exe.config" и настройте параметр прокси-сервера следующим образом. Вы также можете расширить параметры, как описано выше.

<?xml version="1.0" encoding="utf-8"?>
<configuration>
  <system.net>
    <defaultProxy>
      <proxy bypassonlocal="true" proxyaddress="<your proxy server e.g. http://proxy.domain.org:8888/>" />
    </defaultProxy>
  </system.net>
</configuration>

Локальный трафик должен быть исключен из прокси-сервера, например, если учетная запись Microsoft Purview находится за частными конечными точками. В таких случаях обновите следующие четыре файла в пути, чтобы включить список обходов C:\Program Files\Microsoft Integration Runtime\5.0\ с обязательным списком обходов:

  • .\Shared\diahost.exe.config
  • .\Shared\diawp.exe.config
  • .\Gateway\DataScan\Microsoft.DataMap.Agent.exe.config
  • .\Gateway\DataScan\DataTransfer\Microsoft.DataMap.Agent.Connectors.Azure.DataFactory.ServiceHost.exe.config

Пример списка обходов для сканирования базы данных Azure SQL и хранилища ADLS 2-го поколения:

 <system.net>
   <defaultProxy>
     <bypasslist>
       <add address="scaneastus4123.blob.core.windows.net" />
       <add address="scaneastus4123.queue.core.windows.net" />
       <add address="Atlas-abc12345-1234-abcd-a73c-394243a566fa.servicebus.windows.net" />
       <add address="contosopurview123.purview.azure.com" />
       <add address="contososqlsrv123.database.windows.net" />
       <add address="contosoadls123.dfs.core.windows.net" />
       <add address="contosoakv123.vault.azure.net" />
     </bypasslist>
     <proxy proxyaddress=http://proxy.domain.org:8888 bypassonlocal="True" />
   </defaultProxy>
 </system.net>

Перезапустите локальную службу узла среды выполнения интеграции, которая будет принимать изменения. Чтобы перезапустить службу, используйте апплет служб из панель управления. Или в Integration Runtime Configuration Manager нажмите кнопку Остановить службу, а затем выберите Запустить службу. Если служба не запускается, скорее всего, вы добавили неправильный синтаксис тега XML в измененный файл конфигурации приложения.

Важно!

Не забудьте обновить все четыре файла, упомянутые выше.

Кроме того, необходимо убедиться, что Microsoft Azure входит в список разрешенных для вашей компании. Вы можете скачать список допустимых IP-адресов Azure. Диапазоны IP-адресов для каждого облака с разбивкой по регионам и службам с тегами в этом облаке теперь доступны в MS Download:

Если вы видите сообщения об ошибках, подобные приведенным ниже, вероятной причиной является неправильная настройка брандмауэра или прокси-сервера. Такая конфигурация предотвращает подключение локальной среды выполнения интеграции к службам Microsoft Purview. Чтобы убедиться, что брандмауэр и прокси-сервер правильно настроены, см. предыдущий раздел.

  • При попытке зарегистрировать локальную среду выполнения интеграции появляется следующее сообщение об ошибке: "Не удалось зарегистрировать этот Integration Runtime узел! Убедитесь, что ключ проверки подлинности действителен и служба узла службы интеграции запущена на этом компьютере".

  • При открытии Integration Runtime Configuration Manager отображается состояние Отключено или Подключение. При просмотре журналов событий Windows в разделе Просмотр событий>Журналы> приложений и служб Microsoft Integration Runtime отображаются сообщения об ошибках, подобные следующему:

    Unable to connect to the remote server
A component of Integration Runtime has become unresponsive and restarts automatically. Component name: Integration Runtime (Self-hosted)

Установка среды выполнения Java

Если вы сканируете файлы Parquet с помощью локальной среды выполнения интеграции с Microsoft Purview, вам потребуется установить среду выполнения Java или OpenJDK на локальном компьютере IR.

При сканировании файлов Parquet с помощью локальной среды ir служба находит среду выполнения Java, сначала проверив реестр (HKEY_LOCAL_MACHINE\SOFTWARE\JavaSoft\Java Runtime Environment\{Current Version}\JavaHome) на наличие JRE, если он не найден, а затем проверив системную переменную JAVA_HOME для OpenJDK. Вы можете задать JAVA_HOME в разделе Параметры системы, Переменные среды на компьютере. Создайте или измените переменную JAVA_HOME, чтобы она указывала на java jre на компьютере. Пример: C:\Program Files\Java\jdk1.8\jre

  • Чтобы использовать JRE: для 64-разрядной среды ir требуется 64-разрядная версия JRE. Его можно найти здесь.
  • Использование OpenJDK: поддерживается с версии IR 3.13. Упакуйте jvm.dll со всеми остальными необходимыми сборками OpenJDK на локальном компьютере IR и задайте системную переменную среды JAVA_HOME соответствующим образом.

Дальнейшие действия