Выберите правильную конфигурацию среды выполнения интеграции для своего сценария.

Среда выполнения интеграции (IR) — это вычислительная инфраструктура, которую Microsoft Purview использует для проверки данных в разных сетевых средах. В этой статье представлены различные типы среды выполнения интеграции, доступные в Microsoft Purview, и приведены рекомендации по выбору правильной конфигурации среды выполнения интеграции для вашего сценария.

Типы сред выполнения интеграции

Purview предоставляет следующие типы сред выполнения интеграции:

  • среда выполнения интеграции Azure. Среда выполнения интеграции Azure — это полностью управляемые и эластичные вычисления, которые можно использовать для сканирования Azure или не Azure источников данных. Среда Azure IR поддерживает подключения к хранилищам данных и службам вычислений с общедоступными конечными точками. Это среда выполнения интеграции по умолчанию, которую не нужно создавать для начала работы.

  • Управляемая среда выполнения интеграции виртуальная сеть. Вы можете создать управляемую среду выполнения интеграции виртуальная сеть, которая находится в управляемом виртуальная сеть Purview. Он может использовать частные конечные точки для безопасного подключения и сканирования поддерживаемых источников данных. Дополнительные сведения см. в разделе Управляемые виртуальная сеть и управляемые частные конечные точки.

  • Локальная среда выполнения интеграции. Локальная среда выполнения интеграции может использоваться для сканирования источников данных в локальной или виртуальной сети. Его можно установить на локальном компьютере или виртуальной машине в частной сети. Дополнительные сведения см. в статье Создание локальных сред выполнения интеграции и управление ими.

  • Локальная среда выполнения интеграции, поддерживаемая Kubernetes. Эта среда выполнения интеграции размещена в кластере Kubernetes и может использоваться для сканирования источников данных в локальной или виртуальной сети. Поддержка Kubernetes повышает общую производительность и позволяет среде выполнения интеграции масштабироваться вместе с заданием. Дополнительные сведения см. в статье Создание поддерживаемых kubernetes локальных сред выполнения интеграции и управление ими.

  • Среда выполнения интеграции AWS. Среда выполнения интеграции AWS — это полностью управляемая и эластичная среда вычислений, размещенная Microsoft Purview в AWS. Это применимо при сканировании источников данных Amazon, таких как S3, RDS.

Выбор правильной среды выполнения интеграции

Выберите подходящую среду выполнения интеграции в соответствии со своими потребностями. Рассмотрите существующую архитектуру и требования для интеграции данных. Также подумайте о том, как удовлетворить растущие бизнес-потребности и любое будущее увеличение рабочей нагрузки.

Следующие рекомендации помогут вам принять решение:

  1. Какие типы источников данных нужно сканировать?

    Ознакомьтесь с разделом Поддерживаемые источники данных , чтобы узнать о поддерживаемых типах IR для источников данных, которые требуется сканировать.

  2. Что такое управление доступом к сети в источнике данных?

    Различные источники данных имеют разные параметры сетевого брандмауэра, чтобы защитить их от случайного доступа через Интернет. Эти параметры применяются к локальным, облачным хранилищам данных и хранилищам данных SaaS. В следующей таблице перечислены некоторые распространенные параметры брандмауэра. Выберите поддерживаемый тип IR в соответствии с вашим сценарием.

    Брандмауэр источника данных Azure IR Управляемое виртуальная сеть IR ШИР Поддерживаемый Kubernetes SHIR
    Разрешить общий доступ ✓ ✓ ✓ ✓
    Разрешение службы Azure или доверенной службы ✓ ✓ ✓ ✓
    Разрешение доступа из определенной виртуальной сети Azure ✓ (с поддержкой управляемой частной конечной точки) ✓ ✓
    Разрешить определенный IP-адрес или диапазон IP-адресов ✓ ✓
    Доступ к другим локальным или частным сетям ✓ ✓

  3. Какой параметр брандмауэра в Microsoft Purview?

    Purview предоставляет различные параметры брандмауэра сети. Дополнительные сведения см . в статье Настройка брандмауэра Microsoft Purview. Выберите поддерживаемый тип IR в соответствии с вашим сценарием.

    Брандмауэр Purview Azure IR Управляемое виртуальная сеть IR ШИР Поддерживаемый Kubernetes SHIR
    Включена из всех сетей ✓ ✓ ✓ ✓
    Отключено во всех сетях ✓ (требуется управляемая частная конечная точка) ✓ (необходимо создать частную конечную точку из сети) ✓ (необходимо создать частную конечную точку из сети)

  4. Какой уровень безопасности требуется во время передачи данных?

    Расположение среды выполнения интеграции определяет расположение внутренних вычислений и место выполнения операций сканирования. Чтобы рассмотреть вопрос о месте расположения данных:

    • При использовании Azure IR Purview автоматически определяет расположение источника данных и использует ir в этом регионе. Если Purview не может определить регион, он использует регион учетной записи Purview.

    • При использовании управляемого виртуальная сеть IR она выполняется в регионе, настроенном для управляемой виртуальной сети.

    • При использовании SHIR можно полностью выбрать расположение на локальных или Azure виртуальных машинах.

      Чтобы защититься от атак типа "злоумышленник в середине" во время передачи данных, используйте частную конечную точку и приватный канал для обеспечения безопасности данных.

    • Управляемые частные конечные точки можно создавать в хранилищах данных при использовании управляемого виртуальная сеть IR. Служба Purview поддерживает частные конечные точки в управляемой виртуальной сети.

    • Вы также можете создавать частные конечные точки в виртуальной сети, а SHIR может использовать их для доступа к хранилищам данных.

  5. Какой уровень обслуживания вы можете обеспечить?

    Обслуживание инфраструктуры, серверов и оборудования является одной из важных задач ИТ-отдела предприятия. Обычно это занимает много времени и усилий.

  6. Производительность и масштабируемость

    При необходимости используйте полностью управляемую и автомасштабируемую среду выполнения Azure IR, управляемое виртуальная сеть IR или локальную среду выполнения интеграции, поддерживаемую Kubernetes. Благодаря эластичности они могут повысить производительность и масштабируемость, особенно при сканировании крупномасштабных систем данных.

Гибернация среды выполнения интеграции управляемой виртуальной сети

Если среда выполнения интеграции неактивна (более 90 дней не выполняется никаких проверок в среде выполнения интеграции), управляемый виртуальная сеть Integration Runtime автоматически переходит в режим гибернации. Его состояние отображается как Гибернировано при выборе среды выполнения интеграции.

Что это изменение означает для вас

  1. При запуске тестового подключения в гибернируемой среде выполнения интеграции тестовое подключение завершается сбоем. Через 15 минут появится сообщение о попытке проверить подключение. К этому времени управляемый виртуальная сеть возвращается в нормальное состояние. После этого вы можете выполнять тестовые подключения и проверки в обычном режиме.

  2. При выполнении сканирования непосредственно с помощью параметра Выполнить сканирование сейчас или Изменить параметры сканирования без запуска тестового подключения из гибернированного Integration Runtime или проверки через API отображается сообщение о том, что эта проверка занимает до 15 дополнительных минут. Это дополнительное время для пробуждения Integration Runtime в режиме гибернации и начала процесса сканирования. Состояние сканирования отображается как Queued_Waking up IR вместо состояния в очереди , которое отображается в случае обычной проверки. После первой проверки вы можете выполнять все следующие проверки в обычном режиме.

Поддерживаемые источники данных

В следующей таблице показаны все источники данных, поддерживаемые Purview scan, и поддерживаемые типы среды выполнения интеграции.

Категория Поддерживаемо хранилище данных Azure IR/AWS IR Управляемое виртуальная сеть IR ШИР Kubernetes SHIR
Azure Несколько источников ✓
Хранилище BLOB-объектов Azure ✓ ✓ (включая управляемую частную конечную точку) ✓ ✓
Azure Cosmos DB (API для NoSQL) ✓ ✓ (включая управляемую частную конечную точку) ✓ ✓
Azure Data Explorer ✓ ✓ (только версия 2) ✓ ✓
Azure Data Lake Storage 1-го поколения ✓ ✓ (только версия 2) ✓
Azure Data Lake Storage 2-го поколения ✓ ✓ (включая управляемую частную конечную точку) ✓ ✓
База данных Azure для MySQL ✓ ✓ (включая управляемую частную конечную точку) ✓ ✓
База данных Azure для PostgreSQL ✓ ✓ (включая управляемую частную конечную точку) ✓ ✓
хранилище метаданных Azure Databricks Hive ✓ ✓
Каталог Unity Azure Databricks ✓ ✓ (только версия 2, включая управляемую частную конечную точку) ✓
Выделенный пул SQL Azure (ранее — SQL DW) ✓ ✓ (включая управляемую частную конечную точку) ✓ ✓
Файлы Azure ✓ ✓ (включая управляемую частную конечную точку) ✓ ✓
База данных SQL Azure ✓ ✓ (включая управляемую частную конечную точку) ✓ ✓
Управляемый экземпляр SQL Azure ✓ ✓ (включая управляемую частную конечную точку) ✓ ✓
аналитика Azure Synapse (рабочая область) ✓ ✓ (включая управляемую частную конечную точку) ✓ ✓
База данных Amazon RDS ✓ ✓
Amazon Redshift ✓ ✓
Cassandra ✓ ✓ (только версия 2) ✓ ✓
Db2 ✓ ✓
Google BigQuery ✓ ✓
База данных хранилища метаданных Hive ✓ ✓
MongoDB ✓ ✓
MySQL ✓ ✓ (только версия 2) ✓ ✓
Oracle ✓
PostgreSQL ✓ ✓ (только версия 2) ✓ ✓
Хранилище SAP для бизнеса ✓ ✓
SAP HANA ✓ ✓
Снежинка ✓ ✓ (только версия 2, включая управляемую частную конечную точку) ✓
Сервер SQL Server. ✓ ✓
SQL Server на Azure Arc ✓ ✓
Teradata ✓
File Amazon S3 ✓
HDFS ✓ ✓
Службы и приложения Dataverse ✓ ✓ (только версия 2) ✓
Erwin ✓
Looker ✓ ✓ (только версия 2) ✓ ✓
Ткань ✓ ✓ (только версия 2) ✓ ✓
Power BI ✓ ✓ (только версия 2) ✓ ✓
Qlik Sense ✓ ✓ (только версия 2) ✓
Salesforce ✓ ✓ (только версия 2) ✓ ✓
SAP ECC ✓ ✓
SAP S/4HANA ✓ ✓
Tableau ✓ ✓ (только версия 2) ✓
  • Последнее обновление: